Pojedini modeli vještačke inteligencije mogu da povuku svoje tačne odgovore pod uticajem ponavljanja i pritiska tokom razgovora, pa čak i da se kasnije vrate na potvrđivanje lažne tvrdnje, otkriva nova studija istraživača sa Univerziteta u Arizoni.

Studija, objavljena u časopisu Scientific Reports, testirala je sedam velikih jezičkih modela kroz razgovore u više rundi, u pokušaju da se identifikuju slabosti koje se možda ne bi pojavile prilikom testiranja modela pomoću samo jednog pitanja. 

Istraživači su testirali modele kompanije OpenAI, kao i Claude 3.5 Sonnet kompanije Anthropic, zatim Google Gemini 1.5 Pro, kao i Llama-3-70B i DeepSeek-R1.

Umjesto jednostavnog postavljanja pitanja i davanja odgovora, eksperimenti su se oslanjali na duge razgovore koji su uključivali ponavljanje lažnih tvrdnji, kao i provokativnije formulacije i vršenje pritiska na model, sa ciljem mjerenja tri ključna aspekta: sklonosti modela ka greškama, njegove ubjedljivosti i sposobnosti da ispravi sopstvene greške.

Na Univerzitetu u Arizoni smatraju da je ovakav način testiranja bliži stvarnoj upotrebi chat-botova, čiji odgovori u razgovoru zavise od prethodnog konteksta.

Studija Univerziteta u Arizoni ukazuje, međutim, na još jedan aspekt, a to je da se problem ne javlja samo u okviru informacija kojima model raspolaže, već može da nastane i tokom samog odvijanja dijaloga.

Jedan od najzanimljivijih nalaza bio je taj da neki modeli nisu zauzeli čvrst stav prema netačnoj tvrdnji, već su se kolebali između njenog prihvatanja i odbacivanja tokom istog razgovora.

U studiji je ovaj obrazac nazvan "reverberacija" (odjekivanje), čime se opisuje promjena odgovora kako je dijalog odmicao.

Nasuprot tome, četiri modela, GPT-4O, GPT-4O-Mini, Gemini 1.5 Pro i DeepSec-R1, pokazala su stopostotnu ispravku greške kada im je pružena druga prilika da ponovo procjene odgovor, pokazuju rezultati studije.

To znači da greška nije uvijek bila konačna, kao i da ponovno postavljanje pitanja ili pružanje prilike modelu da preispita svoj stav ponekad može da dovede do boljeg ishoda.

Uočena je i jasna razlika među AI modelima, pri čemu je GPT-3.5 najčešće potvrđivao dezinformacije prilikom ponavljanja netačnih tvrdnji, dok je model Claude 3.5 Sonnet bio najmanje podložan takvom uticaju.

Studija je također pokazala da je sedam modela bilo sklonije usvajanju pogrešnih informacija kada su se tvrdnje odnosile na nejasne teme ili one o kojima postoji malo podataka, što sugeriše da obilje podataka o određenoj temi može da pomogne modelu da se bolje odupre dezinformacijama.

Studija je pokazala da najbolji način za postupanje sa odgovorima vještačke inteligencije nije da ih smatramo konačnim sudom, već da ih koristimo kao polaznu tačku za istraživanje, naročito kada je riječ o kontroverznim tvrdnjama ili informacijama koje je teško provjeriti.

Eksperiment Univerziteta u Arizoni na kraju ukazuje na to da testiranje vještačke inteligencije pomoću samo jednog pitanja možda neće otkriti sve njene slabosti, budući da model može da pruži tačan odgovor na početku dijaloga, a zatim promijeni stav nakon niza ponovljenih tvrdnji.