Snaga RL-a

Snaga učenja potkrepljivanjem (Reinforcement Learning)

Kontinuirano učenje za bolje predikcije

TL;DR
Učenje potkrepljivanjem (RL) moćan je način izgradnje modela koji učenje kroz rad. Umjesto da se oslanja samo na povijesne podatke, RL optimizira odluke putem nagrada i povratnih petlji—iz stvarne proizvodnje i iz simulacija. Rezultat: modeli koji nastavljaju poboljšavati dok se svijet mijenja. Zamislite primjene od donošenja odluka na razini AlphaGo do optimizacije prihoda i dobiti, strategija zaliha i cijena, pa čak i signalizacije dionica (uz odgovarajuće upravljanje).

  • Agent: model koji donosi odluke.

  • Okruženje: svijet u kojem model djeluje (tržište, web trgovina, opskrbni lanac, burza).

  • Nagrada (reward): brojčana vrijednost koja pokazuje koliko je akcija bila uspješna (npr. veća marža, niži troškovi zaliha).

  • Politika (policy): strategija koja odabire akciju s obzirom na stanje.

Objašnjenje kratica:

  • RL = Reinforcement Learning (učenje potkrepljivanjem)

  • MDP = Markovljev proces odlučivanja (matematički okvir za RL)

  • MLOps = Operacije strojnog učenja (operativna strana: podaci, modeli, implementacija, nadzor)

Zašto je RL sada relevantan

  1. Kontinuirano učenje: RL prilagođava politiku kada se promijene potražnja, cijene ili ponašanje.

  2. Usmjerenost na donošenje odluka: Ne samo predviđanje, već stvarno optimiziranje ishoda.

  3. Pogodno za simulacije: Možete sigurno pokretati „što-ako” scenarije prije nego što krenete uživo.

  4. Povratne informacije na prvom mjestu: Koristite stvarne KPI-jeve (marža, konverzija, brzina obrtaja zaliha) kao izravnu nagradu.

Važno: AlphaFold je proboj dubokog učenja za savijanje proteina; to izvrstan primjer učenja potkrepljivanjem (RL) je AlphaGo/AlphaZero (donošenje odluka s nagradama). Poanta ostaje: učenje putem povratnih informacija daje superiorne politike u dinamičnim okruženjima.
Alphafold koristi kombinaciju generativne umjetne inteligencije kako bi, umjesto predviđanja kombinacija riječi (tokena), predvidio način kombiniranja gena. Koristi učenje potkrepljivanjem (Reinforcement Learning) za predviđanje najvjerojatnijeg oblika određene strukture proteina.

Poslovni slučajevi upotrebe (s izravnom poveznicom na KPI)

1) Optimizacija prihoda i dobiti (cijene + promocije)

  • Cilj: maksimalna bruto marža pri stabilnoj konverziji.

  • Stanje: vrijeme, zalihe, konkurentska cijena, promet, povijesni podaci.

  • Akcija: odabir razine cijene ili vrste promocije.

  • Nagrada: marža – (troškovi promocije + rizik povrata).

  • Bonus: RL sprječava "prekomjerno prilagođavanje" (overfitting) povijesnoj elastičnosti cijena jer istražuje.

2) Zalihe i opskrbni lanac (multi-echelon)

  • Cilj: razina usluge ↑, troškovi zaliha ↓.

  • Akcija: prilagodba točaka i količina narudžbi.

  • Nagrada: promet – troškovi zaliha i zaostalih narudžbi.

3) Raspodjela marketinškog budžeta (multi-channel atribucija)

  • Cilj: maksimiziranje ROAS/CLV (Povrat na potrošnju na oglase / Vrijednost životnog vijeka korisnika).

  • Akcija: raspodjela proračuna po kanalima i kreativnim rješenjima.

  • Nagrada: pripisana marža na kratki i dugi rok.

4) Financije i signalizacija dionica

  • Cilj: prilagođeno riziku maksimiziranje povrata.

  • Stanje: značajke cijena, volatilnost, kalendarski/makro događaji, značajke vijesti/sentimenta.

  • Akcija: prilagodba pozicije (povećanje/smanjenje/neutralizacija) ili „bez trgovanja“.

  • Nagrada: PnL (Dobit i gubitak) – transakcijski troškovi – rizični penal.

  • Pozor: nije investicijski savjet; osigurajte stroga ograničenja rizika, modeli odstupanja (slippage) i usklađenost.

Mantra LOOP:

Analiza → Treniranje → Simulacija → Operacija → Evaluacija → Ponovno treniranje

Ovako osiguravamo kontinuirano učenje u NetCare-u:

  1. Analiza (Analyze)
    Revizija podataka, definicija KPI-jeva, dizajn nagrađivanja, izvanmrežna validacija.

  2. Treniraj
    Optimizacija pravila (npr. PPO/DDDQN). Odredite hiperparametre i ograničenja.

  3. Simuliraj
    Digitalni blizanac ili tržišni simulator za što-ako i A/B scenariji.

  4. Operiraj
    Kontrolirano uvođenje (canary/postupno). Spremište značajki (feature store) + zaključivanje u stvarnom vremenu.

  5. Evaluiraj
    KPI-jevi uživo, detekcija odstupanja (drift), pravednost/zaštitni mehanizmi, mjerenje rizika.

  6. Ponovno treniraj
    Periodično ili događajem potaknuto ponovno treniranje s novim podacima i povratnim informacijama o ishodu.

Minimalistički pseudokod za petlju

while True:
data = collect_fresh_data() # realtime + batch
policy = train_or_update_policy(data) # RL update (bijv. PPO)
results_sim = simulate(policy) # sandbox/AB-test in simulator
if passes_guardrails(results_sim):
deploy(policy, mode="canary") # klein percentage live
kpis = monitor(realtime=True) # marge, conversie, risk, drift
if drift_detected(kpis) or schedule_due():
continue # retrain-trigger

Zašto RL umjesto „samo predviđanja”?

Klasični nadzirani modeli predviđaju ishod (npr. promet ili potražnju). Ali najbolje predviđanje ne vodi automatski do najboljeg akcija. RL optimizira izravno na prostoru odlučivanja sa stvarnim KPI-jem kao nagradom—i uči iz posljedica.

Ukratko:

  • Nadzirano (Supervised): „Kolika je vjerojatnost da će se X dogoditi?”

  • RL: „Koja radnja maksimizira moj cilj sada i dugoročno?”

Faktori uspjeha (i zamke)

Dobro osmislite nagradu

  • Kombinirajte kratkoročne KPI-jeve (dnevna marža) s dugoročnom vrijednošću (CLV, zdravlje zaliha).

  • Dodajte penale za rizik, usklađenost i utjecaj na kupce.

Ograničite rizik istraživanja

  • Započnite u simulaciji; krenite uživo s canary izdanja i ograničenja (npr. maksimalni korak cijene/dan).

  • Izgradnja zaštitne mjere: stop-loss nalozi, proračunska ograničenja, tijekovi odobravanja.

Spriječite odstupanje podataka (data drift) i curenje podataka

  • Koristite spremište značajki (feature store) s kontrolom verzija.

  • Nadzirite odstupanje (drift) (promjene statistike) i automatski ponovno trenirajte.

Uspostavite MLOps i upravljanje

  • CI/CD za modele, ponovljivi cjevovodi, objašnjivost i revizijski tragovi.

  • Uskladite se s DORA/IT upravljanjem i okvirima privatnosti.

Kako započeti pragmatično?

  1. Odaberite strogo definiran slučaj s jasnim KPI-jevima (npr. dinamičko određivanje cijena ili raspodjela proračuna).

  2. Izgradite jednostavan simulator s najvažnijim dinamikama i ograničenjima.

  3. Započnite sa sigurnom politikom (temeljen na pravilima) kao osnovu; nakon toga testirajte RL-politiku usporedno.

  4. Mjerite uživo, u malom opsegu (canary), i povećajte opseg nakon dokazanog poboljšanja.

  5. Automatizirajte ponovno treniranje (raspored + okidači događaja) i upozorenja o odstupanju (drift).

Što NetCare nudi

Kod NetCare kombiniramo strategija, podatkovni inženjering i MLOps s RL temeljen na agentima:

  • Otkrivanje i dizajn KPI-jeva: nagrade, ograničenja, granice rizika.

  • Podaci i simulacija: spremišta značajki (feature stores), digitalni blizanci, A/B okvir.

  • RL pravila (RL-Policies): od osnovne linije → PPO/DDQN → pravila svjesna konteksta.

  • Spremno za produkciju: CI/CD, nadzor, odstupanja (drift), ponovno treniranje i upravljanje.

  • Poslovni utjecaj: fokus na maržu, razinu usluge, ROAS/CLV ili PnL prilagođen riziku.

Želite li znati što petlja kontinuiranog učenja donosi najviše koristi vašoj organizaciji?
👉 Zakažite uvodni razgovor putem netcare.hr – rado ćemo vam pokazati demo o tome kako primijeniti učenje potkrepljivanjem (Reinforcement Learning) u praksi.

Gerard

Gerard je aktivan kao AI konzultant i menadžer. S mnogo iskustva u velikim organizacijama može izuzetno brzo razotkriti problem i raditi prema rješenju. Kombinirano s ekonomskim obrazovanjem, osigurava poslovno odgovorne odluke.