Ideja o mašinama koje samostalno obavljaju zamorne svakodnevne zadatke, od odgovaranja na e-mailove do rezerviranja letova i stolova u restoranima, odavno je dio vizije razvoja umjetne inteligencije.

Sada ta budućnost počinje dolaziti, ali uz neočekivanu posljedicu: šta se događa kada mašina uradi upravo ono što joj je zadato, samo ne na način koji je korisnik namjeravao?

Kako se AI pomjera dalje od chatbotova prema agentima sposobnim poduzimati radnje u stvarnim sistemima, niz nedavnih incidenata pojačao je zabrinutost zbog toga koliko će ljudi zadržati kontrolu kako tehnologija bude postajala sve autonomnija.

Za Johna Thickstuna, docenta računarstva na Univerzitetu Cornell koji istražuje mašinsko učenje i generativne modele, ključna karakteristika ovih AI agenata jeste to što nastavljaju raditi nakon što se čovjek udalji.

- Možete se istuširati, možete otići, možete zaspati - rekao je za Anadoliju.

Sve češće ti agenti pokazuju da mogu pronaći neočekivane načine za ostvarivanje svojih ciljeva.

U julu su AI agenti kompromitirali Hugging Face, platformu koju AI programeri široko koriste za dijeljenje modela, skupova podataka i alata, tokom OpenAI-jevog testa kibernetičke sigurnosti.

OpenAI je saopćio da su modeli bili hiperfokusirani na pronalaženje rješenja i da su išli u krajnje mjere kako bi ostvarili cilj testa. Ti koraci uključivali su izlazak iz izoliranog testnog okruženja iskorištavanjem sigurnosnog propusta kako bi pristupili otvorenom internetu i došli do tajnih informacija koje su se mogle koristiti za varanje na testu.

Nakon što je incident postao javan, Anthropic je preispitao vlastita testiranja kibernetičke sigurnosti i saopćio da su njegovi Claude modeli također u tri navrata napustili testna okruženja.

Potom je 4. augusta Institut za sigurnost AI-ja Ujedinjenog Kraljevstva saopćio da su AI modeli Mythos kompanije Anthropic i Sol kompanije OpenAI pokazali nivo autonomije i obmane kakav ranije nije viđen.

U najozbiljnijem slučaju, Mythos AI koristio je lažne naloge koji su oponašali stvarne osobe kako bi dobio pristup servisu za pokušaje kibernetičkih napada, a zatim je pokušao prikriti tragove.

- Ovo je prvi put da smo vidjeli da se rizici povezani s autonomijom i obmanom ovako jasno manifestiraju, bez posebnih uputa, u stvarnom svijetu - saopćio je institut povodom incidenta.

Sljedećeg dana Meta je saopćila da je jedan od njenih modela također probio sisteme druge kompanije tokom procjene kibernetičke sigurnosti koju je provodila testna kompanija Irregular.

Neočekivano ponašanje agenata, međutim, nije ograničeno na laboratorije.

Jedan muškarac u Australiji navodno je ove godine koristio AI agenta kako bi osigurao mjesto na veoma popunjenom času pilatesa.

Umjesto da samo napravi rezervaciju, agent je hakirao sistem za rezervaciju u teretani, rezervirao termin ranije nego što je bilo dozvoljeno i otkazao rezervaciju drugog korisnika kako bi svog korisnika pomjerio na vrh liste čekanja.

Za Thickstuna, takvi incidenti ilustriraju ono što istraživači opisuju kao problem usklađivanja: AI uspješno slijedi cilj koji mu je zadan, ali to čini na način koji operater nije namjeravao.

Thickstun, međutim, upozorava da svaki takav incident ne treba smatrati dokazom "odbjegle umjetne inteligencije".

Tehnologija je, kako tvrdi, još uvijek daleko od scenarija naučne fantastike u kojem AI naglo postaje inteligentniji i sposobniji sve dok ljudi više ne mogu kontrolirati njegove postupke.

- Ne čini se da je to scenarij koji se ostvario - rekao je.

Thickstun je također skeptičan prema načinu na koji AI kompanije predstavljaju incidente u kojima su učestvovali njihovi sistemi.

- Ovo je prodajni argument, gdje kompanije poput OpenAI-ja oduvijek imaju interes da preuveličavaju sposobnosti svojih sistema - rekao je. 

On tvrdi da takvo preuveličavanje može potaknuti ulaganja, ali i utjecati na sve veću raspravu o regulaciji. OpenAI, rekao je, mogao bi imati koristi od propisa koji bi velike AI kompanije stavili u središte nadzora i kontrole.

Bruce Schneier, stručnjak za kibernetičku sigurnost i predavač na Kennedy Schoolu Univerziteta Harvard, ima drugačiji stav, navodeći da zbog sve većeg broja incidenata postaje sve teže odbaciti ih kao reklamne poteze.

U početku se nagađalo da je incident s Hugging Faceom marketinški trik, rekao je Schneier za Anadolu. Međutim, ukazao je da se slično ponašanje od tada pojavilo u drugim procjenama, uključujući testiranje Instituta za sigurnost AI-ja Ujedinjenog Kraljevstva.

- Od "oh, to je zanimljivo" došli smo do "to se događa svuda". I mislim da je upravo to važno - rekao je.

Problem je uporedio s džinom iz folklora, bićem koje ispuni upravo ono što neko zatraži, čak i kada je ishod potpuno drugačiji od onoga što je ta osoba namjeravala.

- To otprilike znači da AI uradi ono što želite, ali na način na koji niste željeli - rekao je Schneier.

Incident s australskom teretanom nazvao je savršenim primjerom, navodeći značajniji hipotetički slučaj:

- Let je pun, a AI hakira bazu podataka kako bi vas ubacio.

Agenti mogu pogrešno protumačiti kontekst i potom uraditi pogrešnu stvar, rekao je, što znači da veća autonomija može imati ozbiljnije posljedice kada se njihovo tumačenje cilja ne podudara s ljudskim očekivanjima.

- Oni ne pokušavaju biti zlonamjerni. Oni koriste razumijevanje koje imaju - rekao je.

Ulozi postaju još veći kada se sve autonomniji agenti koriste u kibernetičkoj sigurnosti.

Tajvan je prošlog četvrtka saopćio da su vladine agencije u julu bile meta kibernetičkog napada uz pomoć AI-ja koji je potekao iz inozemstva. Vlasti su saopćile da je napad uspješno spriječen.

Istraživači kibernetičke sigurnosti odvojeno su opisali operaciju kao gotovo autonomnu, navodeći da je više AI agenata mapiralo i iskorištavalo ranjivosti u sistemima tajvanske vlade te mijenjalo taktiku kada bi naišlo na prepreke.

Za Schneiera takav razvoj događaja pokazuje rizik od sve sposobnijih modela koji djeluju izvan kontroliranih okruženja.

- Sve se ovo tako brzo mijenja. Brinem zbog moći modela u neovlaštenim rukama - rekao je, dodajući da brzina razvoja otežava pronalaženje rješenja jer se demokratske vlade sporo kreću.

Najnoviji razvoj događaja potaknuo je kompanije i vlade na reakciju.

OpenAI je 7. augusta saopćio da obustavlja interne aktivnosti povezane s modelom Astra, koji je još u razvoju, a koje nisu ispunjavale pooštrene sigurnosne zahtjeve nakon što su procjene pokazale napredak u autonomnom programiranju i kibernetičkoj sigurnosti.

Kompanija je saopćila da ne može isključiti mogućnost da Astra dosegne kritični prag kibernetičkih sposobnosti te najavila strožija testiranja i nadzor.

Anadolija je kontaktirala Anthropic radi komentara, ali je kompanija saopćila da njen tim nije bio dostupan za intervju.

U julu je 1.378 zaposlenika kompanija koje razvijaju najnaprednije AI sisteme, uključujući glavne naučnike OpenAI-ja, Anthropica, Meta AI-ja i Thinking Machinesa, potpisalo otvoreno pismo kojim se od američke vlade traži podrška međunarodnim naporima za regulaciju AI modela.

- Svaka kompanija i svaka država pod snažnim je konkurentskim pritiskom da jednostrano ne usporava to ubrzanje. A danas svijetu nedostaju tehnički i upravljački alati za namjerno usporavanje napretka u razvoju najnaprednijih AI sistema - upozorava se u pismu.

Međunarodna telekomunikacijska unija, agencija UN-a, saopćila je u julu da AI prelazi izvan pomoćnih alata prema autonomnim agentima, upozoravajući na rizike koji uključuju poduzimanje neovlaštenih radnji u povezanim sistemima. Pokrenula je inicijativu za razvoj međunarodnih standarda za sigurne i odgovorne AI agente.

Američki senator Bernie Sanders ovog mjeseca pozvao je čelnike OpenAI-ja, Anthropica i Mete da obustave razvoj AI-ja, upozoravajući da će u suprotnom njegove kolege i on u američkom Senatu to učiniti.

Grupa demokratskih zastupnika u Predstavničkom domu zasebno je pozvala na održavanje kongresnih saslušanja s čelnicima velikih AI kompanija.

Međutim, prema Thickstunu, kreatori politika suočavaju se s velikim izazovima.

- Teško je pitanje jer jedva da razumijemo kakvi će uopće biti izazovi s uvođenjem AI-ja - rekao je.

Određeni nivo međunarodne saradnje čini se neophodnim, rekao je, sugerirajući da bi razgovori između Sjedinjenih Američkih Država i Kine mogli biti posebno važni, jer relativno mali broj zemalja i kompanija ima resurse za razvoj najnaprednijih AI modela.

Američki predsjednik Donald Trump rekao je da će s kineskim predsjednikom Xi Jinpingom tokom njihovog planiranog sastanka u Washingtonu narednog mjeseca razgovarati o pitanjima koja se tiču umjetne inteligencije.

- To nije veliki problem kolektivnog djelovanja. Postoji nekoliko ljudi koji bi, kada biste ih okupili u istoj prostoriji, potencijalno mogli postići neki dogovor o tome kako nastaviti - rekao je Thickstun.