Kibernetička sigurnost i arhitektura budućnosti

Umjetna inteligencija ubrzano mijenja IT okruženje. Dok se mnoge organizacije usredotočuju na povećanje produktivnosti i uklanjanje ručnog rada, u pozadini se odvija temeljitija transformacija: asimetrična utrka s vremenom u kibernetičkoj sigurnosti.

Hitnost je jasna: organizacije koje svoju sigurnost i arhitekturu ne prilagode tom tempu bit će zbog kibernetičkih incidenata ili nemogućnosti osiguranja istisnute s tržišta. Kako bismo razumjeli i upravljali tom transformacijom, moramo sagledati tri uzastopna vala pitanja sigurnosti umjetne inteligencije — i arhitekturu potrebnu za opstanak.

Tri vala transformacije sigurnosti umjetne inteligencije

1. val: tehničke ranjivosti u kodu (2025. – 2027.)

• Problem: Trenutačna eksplozija curenja podataka i provala posljedica je povijesnog sustizanja. Alati umjetne inteligencije pregledavaju desetljeća naslijeđenog koda koji su napisali ljudi. Napadači u velikom opsegu pronalaze klasične pogreške — poput SQL injekcija, curenja memorije i zastarjelih biblioteka.

• Dinamika: Ova se faza temelji na pristupu „Shift-Left” i automatskoj higijeni koda. Tvrtke koje očiste svoje razvojne cjevovode te ih opreme automatskim testovima i zakrpama mogu svoje tradicionalne baze koda brzo učiniti sigurnijima nego ikad prije.

• Rješenje: Kontinuirano automatsko zakrpavanje i čišćenje koda. CI/CD cjevovodi opreme AI čuvarima koji kontinuirano analiziraju baze koda, automatski generiraju zakrpe i uvode ih nakon uspješnog prolaska integracijskih testova.

2. val: zlouporaba poslovne logike (2026. – 2028.)

• Problem: Čim se tehnički ulaz zatvori, borba se seli na funkcionalnu logiku. API može biti tehnički 100 % sigurno kodiran (bez SQL injekcija ili prekoračenja međuspremnika), ali ako korisnik ili skripta određenim slijedom radnji (poput utrka za popuste, manipulacija BOLA-om ili preskakanja koraka procesa) može utjecati na sustav, nastaje izravna financijska šteta.

• Dinamika: Napadači više ne probijaju sustav; oni ga navode da radi na način koji organizaciju košta novca. To dovodi do kontinuirane, nevidljive erozije marži.

• Rješenje: Formalna verifikacija i strogi konačni automati (FSM).

  • Automati konačnih stanja (FSM): Poslovni procesi ne zapisuju se kao zasebne API krajnje točke, već se matematički modeliraju kao zatvoreni konačni automat. Sustav se može pomaknuti samo iz stanja A (CART_CREATED) u stanje B (PAYMENT_PENDING) i C (ORDER_COMPLETED). Manipuliranje koracima ili njihovo preskakanje tehnički je onemogućeno na razini poslužitelja.

  • Idempotentnost i atomske transakcije: Radnje se čine idempotentnima i obrađuju putem strogih razina izolacije u bazama podataka. Uvjeti utrke (slanje više zahtjeva istodobno radi kumuliranja popusta) automatski se blokira na razini baze podataka ili stavlja u red čekanja.

  • Formalna verifikacija pomoću umjetne inteligencije: AI agenti uključuju se u proces izgradnje kako bi matematičkom verifikacijom dokazali dokazali da softver može poprimiti samo predviđena logička stanja, još prije nego što se kôd uvede u produkciju.

3. val: manipulacija AI agenata i donošenja odluka (2027. – 2030. i dalje)

• Problem: U jednom potpuno agentski svijetu autonomni AI agenti surađuju i donose odluke na temelju podataka iz vanjskog svijeta (e-poruke, računi, dokumenti). Napadači se u ovoj fazi usmjeravaju na Indirektna prompt-injekcija, Trovanje podataka i preuzimanje ciljeva agenata.

• Dinamika: Izvorni kôd i logika su ispravni, ali AI agenta zavarava kontekst koji čita. Pitanje se pomiče s „je li kôd siguran?” na „je li donošenje odluka agenta pouzdano?”.

• Rješenje: Komunikacijski model A2A u 3 sloja (agent-agent).

Arhitektonsko rješenje za 3. val: troslojni A2A model

Kako bi AI agenti mogli fleksibilno pregovarati o složenim situacijama i rubnim slučajevima, a da organizaciju ne izlože rizicima Trećeg vala, nužna je višeslojna komunikacijska arhitektura. Načelo je jednostavno: pregovara se slobodnim jezikom, ali izvršava se putem formalnog ugovora.

Tri sloja A2A arhitekture:

1. sloj: sloj slobodnog pregovaranja (izražavanje i kreativnost)

Ovdje agenti međusobno komuniciraju u bogatom kontekstu kako bi razmotrili složena pitanja, cijene i okvirne uvjete.

• Rizik: To je najranjiviji sloj na utjecaj, prompt-injekciju i manipulaciju.

• Zaštitna mjera: Na ovom sloju agentima je dopušteno nikakvu izravnu radnju izvršavati radnje u produkcijskoj infrastrukturi. To je izolirano testno okruženje. Osim toga, ovaj sloj nadziremo pomoću Kognitivno ograničavanje učestalosti (kako bismo spriječili da agent neograničeno ispituje parametre) i Međumodelska validacija (drugi, drukčije trenirani model umjetne inteligencije procjenjuje pregovarački ishod kako bi otkrio manipulaciju).

2. sloj: sloj formalizacije i namjere (pravno osiguranje)

Čim agenti u Sloju 1 postignu dogovor o rješenju ili transakciji, ishod se oslobađa svakog slobodnog jezika i narativa.

• Zaštitna mjera: Ishod se pretvara u formalni, strukturirani ugovor (putem jednog Jezik specifičan za domenu ili unaprijed definirane JSON sheme). U njemu se izričito definiraju obveze, ograničenja i uvjeti. Ovaj sloj djeluje kao digitalni „javni bilježnik” koji provjerava je li prijedlog u skladu s unaprijed postavljenim poslovnim okvirima.

3. sloj: deterministički izvršni sloj (nepokolebljivi temelj)

To je razina na kojoj se provodi stvarna transakcija ili promjena sustava. Ovdje više ne komuniciraju AI agenti, već robusni matematički sustavi putem nadzirane logike iz Valа 2.

• Zaštitna mjera:

  • Kriptografska verifikacija: Poruke između sustava zaštićene su putem Uzajamni TLS (mTLS), opremljene jedinstvenim jednokratnim vrijednostima (kako bi se spriječili napadi ponavljanjem) i potpisane kriptografskim ključevima.

  • Deterministički pristupnici: API pristupnici provjeravaju, bez posredovanja umjetne inteligencije, nalazi li se zahtjev unutar strogih ograničenja (poput maksimalnog iznosa transakcije).

Nova uloga ljudskih stručnjaka

Ovaj slojeviti pristup pokazuje da uloga ljudskih stručnjaka ne nestaje, već se premješta na okvire sustava:

• Nabavljač osmišljava strategije, parametre i granice unutar kojih agent u 1. sloju smije pregovarati.

• Pravnik osmišljava predloške, ontologije i formalno-logičke okvire za 2. sloj.

• Arhitekt sigurnosti izgrađuje determinističko nadzirano okruženje za izvršavanje u 3. sloju i osigurava FSM logiku iz 2. jaza.

Strogim odvajanjem „faze razmišljanja i pregovaranja” od „faze izvršavanja” zadržavamo fleksibilnost agenata umjetne inteligencije, dok nadzor nad poslovanjem i dalje u potpunosti ostaje u rukama organizacije.

Trebate li pomoć pri transformaciji prema kibernetičkoj sigurnosti vođenoj umjetnom inteligencijom i automatizaciji? Javite se još kontakt danas