Center za kibernetsko varnost

Kibernetska varnost in arhitektura prihodnosti

Umetna inteligenca z velikim tempom spreminja področje IT. Medtem ko se številne organizacije osredotočajo na povečanje produktivnosti in odpravo ročnega dela, v ozadju poteka temeljitejša preobrazba: asimetrična tekma s časom na področju kibernetske varnosti.

Nujnost je očitna: organizacije, ki svoje varnosti in arhitekture ne bodo prilagodile temu tempu, bodo zaradi kibernetskih incidentov ali nezmožnosti pridobitve zavarovanja izrinjene s trga. Da bi to preobrazbo razumeli in obvladovali, moramo preučiti tri zaporedne valove vprašanja varnosti umetne inteligence – ter arhitekturo, potrebno za preživetje.

Trije valovi preobrazbe kibernetske varnosti z umetno inteligenco

3 waves of cybercrime

1. val: tehnične ranljivosti v kodi (2025–2027)

  • Težava: Današnji izbruh uhajanja podatkov in vdorov je posledica zgodovinskega dohitevanja. Orodja umetne inteligence pregledujejo desetletja človeško napisane podedovane kode. Napadalci v velikem obsegu odkrivajo klasične napake, kot so vdori SQL, uhajanje pomnilnika in zastarele knjižnice.

  • Dinamika: Ta faza se osredotoča na pristop »Shift-Left« in avtomatizirano higieno kode. Podjetja, ki očistijo svoje cevovode ter jih opremijo z avtomatiziranimi testi in popravki, lahko svoje tradicionalne zbirke kode hitro naredijo varnejše kot kadar koli prej.

  • Rešitev: Neprekinjeno avtomatizirano popravljanje in čiščenje kode. cevovodi CI/CD opremljeni z vratarji umetne inteligence, ki nenehno pregledujejo zbirke kode ter samodejno ustvarjajo in uvajajo popravke, ko ti uspešno prestanejo integracijske teste.

2. val: zloraba poslovne logike (2026–2028)

  • Težava: Ko so tehnične vhodne točke zaščitene, se boj premakne na funkcionalno logiko. API je lahko tehnično 100-odstotno varno kodiran (brez vdorov SQL ali prekoračitev medpomnilnika), vendar lahko uporabnik ali skript z določenim zaporedjem dejanj (na primer s tekmovalnimi pogoji pri popustih, manipulacijami BOLA ali preskakovanjem procesnih korakov) še vedno vpliva na sistem, kar povzroči neposredno finančno škodo.

  • Dinamika: Napadalci sistema ne vdrejo več; dosežejo, da sistem deluje na način, ki organizacijo stane denarja. To vodi v nenehno, nevidno erozijo marž.

  • Rešitev: Formalno preverjanje in strogi končni avtomati (FSM).

    • Končni avtomati (FSM): Poslovni procesi niso zapisani kot ločene končne točke API-ja, temveč so matematično modelirani kot zaprt končni avtomat. Sistem lahko preide samo iz stanja A (CART_CREATED) v stanje B (PAYMENT_PENDING) in C (ORDER_COMPLETED). Manipuliranje korakov ali njihovo preskakovanje je na ravni strežnika tehnično onemogočeno.

    • Idempotentnost in atomske transakcije: Dejanja so idempotentna in se obdelujejo z uporabo strogih ravni izolacije v podatkovnih bazah. Tekmovalna stanja (več zahtev, poslanih hkrati za kopičenje popustov) se na ravni podatkovne baze samodejno blokirajo ali uvrstijo v čakalno vrsto.

    • Formalno preverjanje z umetno inteligenco: Agenti umetne inteligence se vgradijo v cevovod za gradnjo, da bi z matematičnim preverjanjem dokazali dokazali, da lahko programska oprema zavzame le predvidena logična stanja, še preden je koda uvedena v produkcijo.

3. val: manipulacija agentov umetne inteligence in odločanja (2027–2030+)

  • Težava: V popolnoma agentno svetu avtonomni agenti umetne inteligence sodelujejo in sprejemajo odločitve na podlagi podatkov iz zunanjega sveta (e-pošta, računi, dokumenti). Napadalci se v tej fazi osredotočajo na Posredna vbrizgava poziva, Zastrupljanje podatkov in prevzem ciljev agentov.

  • Dinamika: Izvorna koda in logika sta pravilni, vendar kontekst, ki ga bere, zavede agenta umetne inteligence. Vprašanje se premakne z »ali je koda varna?« na »ali je odločanje agenta zanesljivo?«.

  • Rešitev: 3-slojni komunikacijski model A2A (agent–agent).

Arhitekturna rešitev za 3. val: trislojni model A2A

Da bi se agenti umetne inteligence lahko prilagodljivo pogajali o zapletenih situacijah in robnih primerih, ne da bi organizacijo izpostavili tveganjem tretjega vala, je potrebna večslojna komunikacijska arhitektura. Načelo je preprosto: pogajanja potekajo v prostem jeziku, izvajanje pa prek formalne pogodbe.

A2A architecture

Trije sloji arhitekture A2A:

1. sloj: plast svobodnega pogajanja (izražanje in ustvarjalnost)

Na tej ravni agenti med seboj komunicirajo v bogatem kontekstu, da preučijo zapletena vprašanja, cene in pogoje.

  • Tveganje: To je najbolj ranljiva plast za vplivanje, vbrizgavanje pozivov in manipulacijo.

  • Mehanizem zagotavljanja: Na tej plasti agenti nobenega neposrednega dejanja izvajati dejanj v produkcijski infrastrukturi. Gre za izolirano peskovniško okolje. Poleg tega to plast varujemo z Kognitivno omejevanje hitrosti (s čimer preprečimo, da bi agent neomejeno preizkušal parametre) in Preverjanje med modeli (drugi, drugače usposobljen model umetne inteligence oceni pogajalski rezultat glede morebitne manipulacije).

2. sloj: plast formalizacije in namena (pravno zagotavljanje)

Takoj ko se agenti v 1. plasti dogovorijo o rešitvi ali transakciji, se izid očisti vsega prostega jezika in pripovednega konteksta.

  • Mehanizem zagotavljanja: Rezultat se pretvori v formalno, strukturirano pogodbo (prek domensko specifičnega jezika ali vnaprej določene sheme JSON). V njej so obveznosti, omejitve in pogoji izrecno opredeljeni. Ta plast deluje kot digitalni »notar«, ki preverja, ali predlog izpolnjuje vnaprej določene okvire podjetja.

3. sloj: deterministična izvedbena plast (neomajna osnova)

To je raven, na kateri se izvede dejanska transakcija ali sprememba sistema. Tu se ne pogovarjajo več agenti umetne inteligence, temveč strogi matematični sistemi komunicirajo prek nadzorovane logike iz 2. vala.

  • Mehanizem zagotavljanja:

    • Kriptografsko preverjanje: Sporočila med sistemi so zaščitena z uporabo vzajemni TLS (mTLS), opremljena z edinstvenimi nonceji (da se preprečijo napadi s ponovnim predvajanjem) in podpisana s kriptografskimi ključi.

    • Deterministični prehodi: Prehodi API preverjajo, ali zahteva spada v stroge omejitve (na primer najvišji znesek transakcije), ne da bi pri tem posredovala umetna inteligenca.

Nova vloga človeških strokovnjakov

Ta večplastni pristop kaže, da vloga človeških strokovnjakov ne izginja, temveč se premika v okvirje sistema:

  • Nabavni strokovnjak oblikuje strategije, parametre in meje, znotraj katerih se sme agent v 1. plasti pogajati.

  • Pravnik oblikuje predloge, ontologije ter formalno-logične okvire za 2. plast.

  • Arhitekt kibernetske varnosti vzpostavi deterministično nadzorovano izvedbeno okolje v 3. plasti in zagotovi logiko končnega avtomata iz 2. vrzeli.

S strogim ločevanjem »faze razmišljanja in pogajanj« od »faze izvajanja« ohranjamo prilagodljivost agentov umetne inteligence, hkrati pa nadzor nad poslovanjem še naprej v celoti ostaja v rokah organizacije.

Potrebujete pomoč pri preobrazbi na področju kibernetske varnosti, ki jo poganja umetna inteligenca, in avtomatizaciji? Obrnite se še danes stik na nas

Gerard

Gerard deluje kot svetovalec in vodja na področju umetne inteligence. Z bogatimi izkušnjami v velikih organizacijah lahko zelo hitro razčleni težavo in začne iskati rešitev. V kombinaciji z ekonomskim ozadjem tako sprejema poslovno utemeljene odločitve.