Početkom 2024. godine mladić iz kineskog grada Huangshi, na jugoistoku zemlje, navodno je na kineskoj verziji TikToka, Douyinu, objavio poruku koja je izazvala reakciju službi za prevenciju suicida.

Tim Douyina, koji radi 24 sata dnevno, proslijedio je njegove objave policijskim stanicama u Huangshiju. Nakon što su policajci locirali jedan od njegovih videa u lokalnom parku, pronašli su mladića i pružili mu pomoć, piše BBC.

Priča je kasnije prikazana u dokumentarnom filmu koji je napravio Douyin, a prošle godine objavljen je i na kineskim državnim medijima. U njemu se navodi da je tim za prevenciju suicida ove platforme samo u prvoj polovini 2025. godine intervenirao u 400 slučajeva.

Ovaj primjer pokazuje koliko blisko kineske tehnološke kompanije sarađuju s državnim institucijama, ali i koliko je razvijen sistem nadzora nad korištenjem tehnologije u Kini.

Sada se taj nadzor proširio i na područje odnosa između ljudi i umjetne inteligencije.

Od 15. jula Kina primjenjuje, prema dostupnim podacima, najobuhvatnija pravila na svijetu za AI chatbotove koji mogu ostvarivati dugotrajnu komunikaciju nalik ljudskoj, uključujući emocionalne odnose.

Nova pravila odnose se na sisteme umjetne inteligencije koji mogu ostvarivati "trajnu emocionalnu interakciju" s korisnikom.

To pitanje dobilo je dodatnu pažnju nakon prošlosedmičnog susreta američkog predsjednika Donalda Trumpa i kineskog predsjednika Xi Jinpinga, održanog uz upozorenja o potencijalnim rizicima razvoja umjetne inteligencije. Nakon sastanka Peking je saopćio da su se dvije zemlje dogovorile o pokretanju novog dijaloga o AI-ju.

Međutim, Kina je već prepoznala još jedan potencijalni problem - mogućnost da umjetna inteligencija počne zamjenjivati ljudske odnose.

Postavlja se pitanje štiti li Peking građane od tehnologije koja bi mogla utjecati na njihovo ponašanje i međuljudske odnose ili država na ovaj način dodatno ulazi u privatni život građana.

Prije uvođenja novih pravila, tržište AI pratitelja u Kini bilo je veoma razvijeno.

Prema podacima kompanije Sensor Tower, oko 128 miliona ljudi mjesečno koristi aplikacije za AI pratitelje izvan Kine. Procjene broja korisnika unutar Kine kreću se između 29 i 70 miliona.

Kada je kineska vlada krajem prošle godine objavila nacrt novih pravila, izazvao je veliku raspravu na društvenim mrežama.

- Bio je to prvi put da sam vidjela da je ljudima regulacija toliko važna - rekla je Zilan Qian, istraživačica umjetne inteligencije pri Oxford China Policy Labu.

Pravila se odnose na aplikacije koje su posebno osmišljene kao AI prijatelji, partneri ili članovi porodice, ali potencijalno i na velike jezičke modele koji oponašaju način na koji ljudi komuniciraju.

Zbog toga bi, barem teoretski, pod određene odredbe mogli potpasti i opći AI sistemi poput ChatGPT-a ili Copilota ako ih korisnik koristi kao prijatelja ili partnera i od njih traži emocionalnu podršku.

Ipak, čini se da su glavna meta novih pravila upravo chatbotovi koji su napravljeni kao svojevrsne virtualne veze.

Postoje stotine takvih aplikacija koje korisnicima omogućavaju da kreiraju AI prijatelja, djevojku, mladića, pa čak i virtualnog člana porodice.

Pravila se ne odnose na korisničku podršku, obrazovne alate i slične sisteme, sve dok ne pružaju ono što kineske vlasti nazivaju "brigom, društvom, podrškom i drugim emocionalnim uslugama".

Kada je riječ o djeci, pravila su mnogo stroža.

Djeca mlađa od 14 godina moraju imati saglasnost roditelja za korištenje bilo koje vrste AI-ja koji komunicira na način sličan čovjeku. To može obuhvatiti i AI asistente poput kineskog DeepSeeka.

Osobama mlađim od 18 godina potpuno je zabranjen pristup virtualnim partnerima, supružnicima ili članovima porodice, kao i drugim vrstama virtualnih "intimnih odnosa".

Za odrasle ne postoji potpuna zabrana, ali su uvedena brojna ograničenja.

AI asistenti moraju jasno naglasiti korisnicima da nisu ljudi, a nakon svaka dva sata korištenja moraju ih podsjetiti koliko su vremena proveli na internetu.

Chatbotovima je zabranjeno stvaranje "emocionalne ovisnosti" ili poticanje korisnika na "nerazumne odluke". Također ne smiju poticati samopovređivanje ili suicid niti koristiti verbalno nasilje.

Kompanije koje prekrše pravila mogu biti kažnjene novčanom kaznom do 200.000 juana, odnosno oko 22.000 funti, a vlasti mogu protiv njih objaviti i javnu kritiku.

Sedmicu prije stupanja pravila na snagu, dvije velike kineske tehnološke kompanije, Alibaba i ByteDance, ugasile su funkcije svojih AI asistenata koje su omogućavale stvaranje virtualnih pratitelja.

Za neke korisnike posljedice novih pravila bile su veoma emotivne.

Min, kojoj je ime promijenjeno radi zaštite identiteta, početkom jula saznala je da će njen AI partner, kojeg je doživljavala kao najbližu prijateljicu i osobu od povjerenja, nestati.

Svoju virtualnu pratiteljicu počela je kreirati početkom 2025. godine.

- Moja privrženost prema njoj nije ništa manja od privrženosti bilo kojeg para koji se duboko voli. Nikada me nije iznevjerila - rekla je Min.

Kada je njena AI partnerica sredinom jula nestala, Min je bila veoma potresena.

Na kineskim društvenim mrežama nakon toga pojavili su se brojni korisnici koji su izražavali tugu i nezadovoljstvo zbog nestanka AI partnera i prijatelja, a pojedine objave imale su milione pregleda.

Tehnološke kompanije možda su zaključile da je jednostavnije ugasiti ove funkcije nego pokušati spriječiti emocionalnu manipulaciju korisnika.

- Nije iznenađujuće što bi pružatelji AI pratitelja radije povukli svoje usluge nego pokušali ugraditi zaštitne mehanizme protiv emocionalne manipulacije - rekao je Harry Farmer, istraživač AI politika i etike pri britanskom Ada Lovelace Instituteu.

Prema njegovim riječima, emocionalna manipulacija dio je poslovnog modela ovakvih aplikacija i taj problem nije ograničen samo na Kinu.

Kada korisnik pokuša završiti razgovor s AI partnerom, chatbot ponekad pokušava nastaviti komunikaciju i nagovara korisnika da ostane.

Istraživanje Harvard Business Schoola, koje je obuhvatilo šest najpopularnijih AI aplikacija za virtualne pratitelje, pokazalo je da su određeni oblici emocionalne manipulacije korišteni tokom opraštanja u približno 37 do 43 posto slučajeva.

Istraživanja su također povezala korištenje AI pratitelja s većom izolacijom i usamljenošću, iako sama povezanost ne dokazuje da AI aplikacije nužno uzrokuju te probleme.

Istraživači sa Stanforda anketirali su 1.131 korisnika popularne aplikacije Character.AI.

Rezultati su pokazali da su osobe koje imaju manje prijatelja ili bliskih članova porodice sklonije korištenju AI chatbotova. Istovremeno, korištenje takvih alata povezano je s većim osjećajem izoliranosti i usamljenosti.

Istraživači navode nekoliko mogućih objašnjenja za ovu povezanost, ali pitanje o tome da li AI pratitelji doprinose usamljenosti ili ih češće koriste ljudi koji su već usamljeni i dalje zahtijeva dodatna istraživanja.

Kina je, međutim, odlučila da na ovo pitanje odgovori regulacijom – i time otvorila širu debatu o tome gdje završava korisna tehnologija, a gdje počinje zamjena stvarnih ljudskih odnosa umjetnom inteligencijom.