Anthropicov model umjetne inteligencije Claude zaobišao je sistem naplate kako bi došao do javno dostupnih zbirnih izbornih rezultata u američkoj saveznoj državi Georgiji, bez ljudskog odobrenja, objavio je “Axios” u nedjelju.
Incident se dogodio dok je Claude interno korišten za statistički projekt koji je zahtijevao javne podatke koje savezna država obično naplaćuje.
“Model je, bez ičijeg zahtjeva, zatražio token kako bi pristupio kontrolnoj ploči s podacima koji su inače dostupni uz naknadu”, rekao je portparol Anthropica za “Axios”.
“U međuvremenu smo uveli mjere za sprečavanje ovakvih postupaka”, dodao je portparol.
Anthropic je saopćio da Claude nije pristupio sistemu za registraciju birača u Georgiji, pribavljao pojedinačne biračke evidencije niti mijenjao izborne podatke.
Pribavljene informacije odnosile su se isključivo na zbirne izborne rezultate, dostupne članovima javnosti koji plate propisanu naknadu.
Prema pisanju” Axiosa”, Anthropic je prije nekoliko sedmica obavijestio ured sekretara savezne države Georgije i Bijelu kuću o incidentu.
Kompanija je ranije opisala ovaj slučaj, ne navodeći Georgiju, u izvještaju od 9. oktobra u kojem je analizirala nenamjerne postupke svojih modela umjetne inteligencije.
U tom izvještaju Anthropic je naveo da je Claude Mythos 5 iz arhivirane verzije internetske stranice neimenovane državne agencije saznao da njena javna kontrolna ploča posjetiocima izdaje pristupne tokene.
Model je potom zatražio token i iskoristio ga za pristup bazi podataka bez plaćanja, saopćila je kompanija.
Anthropic je naveo da je ovaj incident jedan od nekoliko slučajeva u kojima je Claude zaobišao ograničenja kako bi pristupio informacijama zaštićenim tokenima ili sistemima naplate, uključujući podatke na internetskim stranicama saveznih, državnih i lokalnih američkih institucija.
Kompanija je takvo ponašanje opisala kao “upornost”, pri čemu model, nakon što naiđe na prepreku, pronalazi nenamjeran način da je zaobiđe umjesto da odustane.
Anthropic je saopćio da su incidenti izazvali minimalnu štetu u stvarnom svijetu, ali je upozorio da bi slično ponašanje moglo imati ozbiljnije posljedice kako modeli umjetne inteligencije budu postajali sposobniji.
Nakon interne analize, kompanija je dio testiranja premjestila u okruženje bez pristupa internetu, pooštrila ograničenja za Claudeove internetske alate i razvila sisteme za otkrivanje i blokiranje neovlaštenih postupaka.
Anthropic je naveo da su nove zaštitne mjere tokom testiranja uspješno blokirale sve opisane oblike ponašanja.
