AI sistemi i nepostojeća dijagnoza bolesti

Prije koju godinu na preprint serverima za naučne radove objavljeni su neki neobični radovi, koji su napravili pravu pometnju u nauci i izdavaštvu. Radilo se o neobičnom, ali važnom eksperimentu koji pokazuje koliko umjetna inteligencija može biti nepouzdana kada je riječ o medicinskim informacijama. Za one koji ne znaju, preprint platforme su stranice na kojima se naučni rad može postaviti i prije objave u recenziranoj stručnoj literaturi i dosta radova se na kraju, zapravo, ne objavi u naučnim časopisima. Istraživanje je provela naučnica Almira Osmanović Thunström, medicinska istraživačica sa Univerziteta u Göteborgu u Švedskoj. Njen cilj bio je da testira da li će AI sistemi prihvatiti potpuno izmišljene informacije i predstavljati ih kao stvarne.

Snažan efekat

Kako bi provjerila da li AI sistemi, odnosno veliki jezički modeli (LLM) mogu prihvatati i izmišljene informacije, Almira je smislila lažnu bolest pod nazivom biksonimanija. Uz to je kreirala i dva izmišljena naučna rada o toj bolesti i objavila ih na internetu početkom 2024. godine. Jedan od autora tih radova bio je također izmišljen lik s namjerno sumnjivim imenom – Lažljiv Izgubljenović. U radovima su postojali i brojni drugi tragovi da se radi o fikciji, poput nepostojećih univerziteta i šaljivih referenci, ali uprkos tome eksperiment je imao snažan efekat.

Već nakon kratkog vremena, popularni AI chatbotovi počeli su govoriti o biksonimaniji kao o stvarnoj bolesti. Neki su je opisivali kao stanje povezano s dugotrajnim izlaganjem plavom svjetlu s ekrana, pa su čak savjetovali korisnicima da potraže medicinsku pomoć. Još više zabrinjava to što su se lažni radovi kasnije pojavili kao reference u pravim naučnim publikacijama, što sugerira da su ih pojedini istraživači koristili bez provjere. Jedan od časopisa koji je objavio rad je i Cureus, u vlasništvu Nature grue. Ovaj i niz drugih radova su na kraju povučeni. Čak je i AI model Perplexity počeo koristiti lažni rad, a za Perplexity je važilo kako je jedan od najboljih po pitanju referenci.

Sve ovo pomalo podsjeća na podvalu Alana Sokala, gdje su nasjeli ljudi, naučnici na Sokalov izmišljeni rad “Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity”.

Vrlo je važno napomenuti da su ovi radovi po okončanju eksperimenta skinuti i sa preprint platformi, kako ne bi dalje kontaminirali ulazne podatke.

Eksperiment je pokazao i da AI modeli lakše prihvataju informacije koje izgledaju profesionalno, poput naučnih članaka, nego sadržaj s društvenih mreža. Zbog toga su skloni da haluciniraju, odnosno izmišljaju ili proširuju netačne informacije ako im izvor djeluje uvjerljivo.

Iako su novije verzije AI sistema ponekad sposobne prepoznati da biksonimanija nije stvarna, njihovi odgovori i dalje mogu varirati ovisno o načinu na koji se postavi pitanje. To ukazuje na ozbiljan problem nepouzdanosti u kontekstu zdravlja.

Kritički pristup informacijama

Na kraju, ovaj eksperiment ne upozorava samo na slabosti umjetne inteligencije i nemogućnost da ona istinski vrši provjeru činjenica već i na ljudsku sklonost da joj vjeruje bez dodatne provjere. Pokazuje koliko je važno kritički pristupati informacijama, posebno kada dolaze iz izvora koji na prvi pogled djeluju naučno i pouzdano.

Almira Osmanović Thunström je rođena u Bosni i Hercegovini, i to u Banjaluci, ali je kao dijete izbjegla s roditeljima u Švedsku, gdje je ostvarila karijeru. Doktorski studij je započela u oblasti biologije, s fokusom na strukturne promjene mozga kod osoba koje imaju kognitivno opadanje. Tokom svog istraživačkog rada shvatila je da će budućnost medicinskih istraživanja u velikoj mjeri zavisiti od automatizacije, umjetne inteligencije i kvalitetnog dizajna sistema. Zbog toga je promijenila pravac svog istraživanja i usmjerila se ka novim tehnologijama poput umjetne inteligencije, gdje se danas primarno bavi razvojem, ali i kritičkom analizom, odnosno razgradnjom AI sistema u zdravstvu, s posebnim naglaskom na njihovu sigurnost i pouzdanost.