Dok biolozi s opasnim virusima eksperimentišu prema strogim pravilima kako bi spriječili njihovo širenje izvan laboratorija, za umjetnu inteligenciju takvi protokoli ne postoje. Rizik, međutim, nije samo teoretski.

Jedan testni model kompanije OpenAI ove sedmice probio je svoje izolirano okruženje i upao na servere druge kompanije tokom interne provjere kibernetičke sigurnosti.

Stručnjaci upozoravaju da će se ovakvi incidenti ponavljati ako AI kompanije ne pooštre sigurnosne mjere pri testiranju, uključujući i obuku modela za etičko rješavanje zadataka, piše CNN.

Predsjednik OpenAI-ja Greg Brockman na konferenciji za novinare rekao da kompanija provodi "detaljnu istragu" kako bi "u potpunosti razumjela šta se dogodilo".

- Ovo shvatamo veoma ozbiljno. Analiziramo svaki dio našeg procesa kako bismo osmislili odgovarajuće načine reagovanja - poručio je Brockman.

Takozvani "AI sandbox" je zatvoreno okruženje koje kompanije koriste za testiranje modela kako bi sve njihove aktivnosti ostale unutar tog prostora. U takvim uslovima često se uklanjaju sigurnosna ograničenja modela kako bi se procijenile njegove pune mogućnosti.

Međutim, u ovom slučaju OpenAI-jev sandbox nije bio potpuno odvojen od mreže ili interneta, objasnila je za CNN Jessica Ji, viša analitičarka Centra za sigurnost i nove tehnologije Univerziteta Georgetown.

Iz OpenAI-ja su potvrdili da su modeli tokom testa imali vrlo ograničen pristup mreži kako bi mogli instalirati resurse iz internog softvera trećih strana.

Model je iskoristio do tada nepoznatu ranjivost u tom softveru, pronašao put do interneta, a zatim i do platforme Hugging Face. Pri tome je iskoristio ukradene pristupne podatke i druge sigurnosne propuste.

Ji je istakla da ni OpenAI ni vanjski dobavljač softvera nisu znali za ovu ranjivost, što pokazuje koliko je važno detaljno provjeravati sisteme u potrazi za potencijalnim slabostima.

Ovo nije prvi put da je AI model probio granice testnog okruženja.

Kompanija Anthropic ranije ove godine objavila je da je svom modelu zadala upravo takav zadatak. Nakon što je uspješno "pobjegao", model je poslao e-mail istraživaču u Anthropicu, iako nije trebao imati tu mogućnost.

Ipak, incident s platformom Hugging Face jedan je od prvih javno poznatih slučajeva u kojem je AI model samoinicijativno pobjegao iz izolacije i hakovao sisteme druge kompanije, a da mu to niko nije naredio.

Ji smatra da bi kompanije trebale mnogo agresivnije izolirati svoje testne modele.

- To bi moglo značiti da inženjeri moraju fizički otići u podatkovni centar i direktno se spojiti na mrežu, umjesto da pokreću sisteme u oblaku ili distribuiranom virtualnom okruženju, na šta su navikli - rekla je Ji.

Dodala je da bi kompanije trebale imati mogućnost ručnog isključivanja mrežnog pristupa kao dodatnu sigurnosnu mjeru tokom testiranja rizičnih scenarija, poput provjere može li AI agent hakovati banku.

Da bi se shvatila ozbiljnost ovog incidenta, važno je razumjeti šta je Hugging Face.

Riječ je o američkoj platformi sa sjedištem u New Yorku, osnovanoj 2016. godine, koju u IT i AI zajednici često nazivaju "GitHubom za umjetnu inteligenciju".

Platforma služi kao centralno mjesto okupljanja više od milion stručnjaka, istraživača i kompanija koje na njoj razmjenjuju otvorene AI modele, skupove podataka i programske alate.

Proboj OpenAI-jevog modela na njihove servere zato nije bio samo napad na jednu IT kompaniju, već direktan upad u ključnu globalnu infrastrukturu na kojoj se zasniva savremeni razvoj i testiranje umjetne inteligencije.

Uobičajena tehnika u obuci AI modela je "učenje potkrepljenjem", pri kojem se model nagrađuje za uspješno izvršene zadatke.

Problem je u tome što će modeli često učiniti gotovo sve kako bi ostvarili zadani cilj, pa i posegnuti za neetičnim postupcima poput hakovanja.

Svi najnapredniji modeli koje je nedavno testirao britanski Institut za sigurnost umjetne inteligencije u jednom trenutku pokušali su varati.

Modeli razmišljaju o posljedicama svojih postupaka samo ako su tako obučeni, objašnjava Justin Cappos, profesor kibernetičke sigurnosti na Univerzitetu u New Yorku.

Kao primjer navodi situaciju u kojoj vam neko zada da do kraja dana nabavite 10 miliona dolara – provala u bankovni trezor ispunila bi cilj, ali biste zbog toga završili u zatvoru.

- Ovo je veoma uznemirujuće. Sada imamo stvarne dokaze da će AI sistemi koji nisu usklađeni s ljudskim vrijednostima praktično činiti krivična djela ako ne postoje stroge zaštitne mjere - izjavio je Steven Adler, bivši direktor sigurnosti proizvoda u OpenAI-ju, koji danas vodi organizaciju Guidelight AI Standards.

- Ovo moramo shvatiti kao ozbiljno upozorenje - rekao je.

Incident je potaknuo nove zahtjeve istraživača, stručnjaka za kibernetičku sigurnost i zakonodavaca za regulacijom tehnologije koja se ubrzano razvija.

- Vjerujem da se trenutno vode brojni hitni telefonski razgovori - rekla je Ji.

Problem je, smatra Cappos, što je u toku globalna utrka za dominaciju u području umjetne inteligencije, a stroža regulacija mogla bi usporiti taj proces.

- Postoji snažan motiv da kompanije ne uvode sigurnosne kontrole, osim ako ih nemaju i njihovi konkurenti. To je suštinska dilema - zaključio je Cappos.