ArXiv uvodi oštre sankcije za neprovjerene AI sadržaje u znanstvenim radovima

Popularni repozitorij “preprintova” znanstvenih radova ArXiv, na kojem istraživači iz cijelog svijeta objavljuju svoje radove prije dobivanja recenzija, odlučio je postrožiti pravila vezana uz sadržaj kreiran pomoću umjetne inteligencije. Thomas G. Dietterich, predsjednik njihovog odjela za računalne znanosti, objavio je promjene na društvenoj mreži X. Prema novom kodeksu ponašanja, autori snose potpunu odgovornost za cjelokupni sadržaj svojih radova postavljenih na taj servis, bez obzira na način na koji je taj tekst izvorno nastao.

Ova je odluka izravan odgovor na sve veći priljev radova niske kvalitete koji su očigledno pisani uz pomoć umjetne inteligencije, a koji opterećuju sustav ArXiva. Nova pravila jasno definiraju da odgovornost autora obuhvaća neprimjeren jezik, plagijate, pristranost, pogreške, halucinacije, netočne reference ili bilo koji sličan oblik netočnosti sadržaja koji se može pojaviti prilikom nekritičkog korištenja velikih jezičnih modela.

Rigorozne kazne za autore

Ako se u radu pronađu nepobitni dokazi da autori nisu verificirali tekst generiran umjetnom inteligencijom, suočit će se s jednogodišnjom zabranom objavljivanja na ovoj platformi. Nakon isteka te kazne, svi njihovi budući podnesci morat će prvo proći proces odobranja u nekom od uglednih i recenziranih znanstvenih časopisa prije nego što uopće budu uvršteni na ArXiv.

Kao očite dokaze nemara Dietterich navodi halucinirane, odnosno potpuno izmišljene izvore i reference, kao i preostale meta-komentare jezičnih modela u samom tekstu, poput rečenica “Evo sažetka od 200 riječi” ili “Ovdje unesite stvarne brojke iz svojih eksperimenata“. Te i tome slične kardinalne greške, prema tumačenju vodstva platforme, jasan su pokazatelj da se autorima ne može vjerovati kad je u pitanju cjelokupni sadržaj predanog rada. Dietterich je dodao i da neodgovorno slanje takvih materijala nepotrebno troši resurse znanstvene zajednice, zbog čega je nužno podići prag minimalne kvalitete u doba kada je pisanje tekstova pomoću AI-ja postalo široko dostupno.

AI u znanstvenim radovima nije ništa novoga, o njegovom se utjecaju govori još otkako je ChatGPT postao dijelom svakodnevice, a znanstveni se časopisi diljem svijeta suočavaju s poplavom takvog sadržaja. O tome, pak, koliko je lako generirati lažni rad, učiniti ga dostupnim svima te čak “zatrovati” materijale za treniranje umjetne inteligencije, govori i nedavni slučaj znanstvenika koji su namjerno objavili netočne informacije i potom svoje izmišljotine pronalazili u AI generiranim odgovorima.

Podijeljene reakcije zajednice

Objava ovih mjera izazvala je veliku pozornost i pokrenula žustru raspravu među znanstvenicima i akademicima na društvenoj mreži X. Mnogi istraživači pohvalili su ovu odluku, smatrajući je nužnim i razumnim korakom za očuvanje kvalitete znanstvenog repozitorija. Ipak, dio zajednice izrazio je zabrinutost zbog potencijalnih problema koje bi selektivna provedba pravila mogla donijeti.

Naime, kritičari upozoravaju na nesavršenost detektora umjetne inteligencije i rizik od nepravednog kažnjavanja mlađih istraživača, kao i na opasnost od zlouporabe kroz lažno navođenje koautora bez njihovog pristanka – a koji bi potom mogli biti nepotrebno kažnjeni zabranom objavljivanja.

Postavljeno je i pitanje treba li ArXiv, kao repozitorij za preliminarne radove, uopće preuzimati ulogu rigoroznog recenzenta. Dietterich je odgovorio na dio kritika, priznao je da postoji mogućnost pristranosti u detekciji, no ostao je pri stavu da se integritet platforme mora zaštititi.