Američke službe koristile AI model Claude u planiranju napada na Iran

Isti model umjetne inteligencije koji vam može pomoći u sastavljanju marketinškog e-maila ili smišljanju brzog recepta za večeru korišten je i u napadima na Iran. Američko centralno zapovjedništvo (CENTCOM) koristilo je AI model Claude kompanije Anthropic za "procjene obavještajnih podataka, identifikaciju ciljeva i simulaciju borbenih scenarija" tokom napada na tu zemlju, navodi se u izvještaju Wall Street Journala.

Nekoliko sati ranije, američki predsjednik Donald Trump naredio je saveznim agencijama da prestanu koristiti Claude nakon spora s njegovim proizvođačem, no taj je alat bio toliko duboko integriran u sisteme Pentagona da bi bili potrebni mjeseci da se zamijeni poslušnijim konkurentom. Koristio se i u januarskoj operaciji koja je dovela do otimanja Nicolása Madura.

Međutim, šta u praksi znače "procjene obavještajnih podataka" i "identifikacija ciljeva"? Je li Claude označavao lokacije za napad ili je izrađivao procjene broja žrtava? Niko to nije javno objavio, a što je još alarmantnije, niko nema ni obavezu to učiniti.

Umjetna inteligencija već se dugo koristi u ratovanju za zadatke poput analize satelitskih snimaka, otkrivanja kibernetičkih prijetnji i vođenja sistema raketne odbrane. No sada se na bojnom polju koriste i chatbotovi, ista tehnologija koju milijarde ljudi koriste za svakodnevne zadatke poput pisanja e-poruka.

Prošlog novembra, Anthropic se udružio s kompanijom za analizu podataka Palantir Technologies Inc. koja obavlja razne poslove za Pentagon te je pretvorio svoj veliki jezični model Claude u okosnicu sistema za analitičku potporu vojnom odlučivanju.

Zatim je u januaru Anthropic podnio Pentagonu prijedlog vrijedan 100 miliona dolara za razvoj dronova s glasovnim upravljanjem, izvijestio je Bloomberg News. Ideja kompanije bila je koristiti Claude za prevođenje namjera zapovjednika u digitalne naredbe za koordinaciju flote dronova.

Prijedlog je odbijen; natječaj je zahtijevao puno više od pukog sažimanja obavještajnih izvještaja, što je nešto što bi se moglo očekivati od chatbota. Cilj je natječaja bio razviti "svijest o ciljevima i razmjenu informacija" te potpunu autonomiju potencijalno smrtonosnih rojeva dronova.

Glavni izvršni direktor Anthropica Dario Amodei | Izvor: Samyukta Lakshmi/Bloomberg

Nevjerovatno je da se sve to događa u regulatornom vakuumu, a radi se o tehnologiji za koju je poznato da pravi greške. Halucinacije velikih jezičnih modela rezultat su njihove obuke, pri čemu ih se nagrađuje za davanje bilo kakvog odgovora umjesto priznavanja nesigurnosti. Neki naučnici tvrde da se taj problem izmišljanja informacija možda nikada neće riješiti.

Ovo ne bi bio prvi put da se nepouzdani AI sistemi koriste u ratovanju. Lavender je bila baza podataka vođena umjetnom inteligencijom koja se koristila za identifikaciju vojnih ciljeva povezanih s Hamasom u Gazi. To nije bio veliki jezični model, već sistem koji je analizirao ogromne količine obavještajnih podataka, poput društvenih veza i povijesti lokacija, kako bi osobama dodijelio brojčanu vrijednost od jedan do sto. Kada bi vrijednost nekog pojedinca prešla određeni prag, Lavender bi ga označio kao vojnu metu.

Problem je bio u tome što je Lavender griješio u 10 posto slučajeva, prema istraživačkom izvješću koje je objavio izraelsko-palestinski medij +972. "Oko 3600 ljudi je greškom bilo meta napada", kaže Mariarosaria Taddeo, profesorica digitalne etike i odbrambene tehnologije na Oxford Internet Institutu.

"Ti sistemi kriju nevjerovatne sigurnosne propuste i ekstremnu nepouzdanost, pogotovo za nešto poput ratovanja, koje je izrazito dinamično, osjetljivo i ljudsko", tvrdi Elke Schwarz, profesorica političke teorije na Univerzitetu Queen Mary u Londonu i autorica knjige Death Machines: The Ethics of Violent Technologies ("Mašine smrti: Etika nasilnih tehnologija").

Schwarz ističe da se AI često koristi u ratu kako bi se ubrzao proces, što je recept za neželjene ishode. Brže odluke donose se u većim razmjerima i uz manje ljudskog nadzora. Kaže i kako je u posljednjih desetljeće i po vojna upotreba umjetne inteligencije postala još netransparentnija.

Štaviše, tajnovitost je utkana u način rada AI laboratorija čak i prije primjene te tehnologije u ratovanju. Te kompanije odbijaju otkriti na kojim se podacima njihovi modeli obučavaju ili kako njihovi sistemi dolaze do zaključaka.

Naravno, vojne operacije često moraju ostati tajne kako bi se vojnike zaštitilo i neprijatelja držalo u neznanju. No obrana je strogo regulirana međunarodnim humanitarnim pravom i standardima za testiranje oružja koji bi u teoriji trebali obuhvatati i korištenje umjetne inteligencije. Pa ipak, takvi standardi nedostaju ili su neadekvatni.

Pentagon u saveznoj državi Virginia, SAD | Al Drago/Bloomberg

Taddeo napominje da članak 36. Ženevske konvencije zahtijeva testiranje novih sistema naoružanja prije njihove primjene, ali AI sistem koji uči iz okoline postaje novi sistem sa svakim ažuriranjem. Zbog toga je gotovo nemoguće primijeniti to pravilo.

U idealnom svijetu, vlade poput SAD-a bi otkrile kako se ti sistemi koriste na bojnom polju, a za to postoji i presedan. Amerikanci su počeli koristiti naoružane dronove nakon 11. septembra i proširili su njihovu upotrebu pod administracijom Baracka Obame, pritom odbijajući uopće priznati da takav program postoji.

Bilo je potrebno gotovo 15 godina curenja dokumenata, neprekidnog pritiska medija i tužbi Američke unije za građanske slobode (ACLU) prije nego što je Bijela kuća pod Obamom konačno 2016. godine objavila broj žrtava napada dronovima. Smatralo se da su te brojke umanjene, no to je svejedno omogućilo javnosti, Kongresu i medijima da prvi put pozovu vladu na odgovornost.

Uvođenje reda u korištenje umjetne inteligencije bit će još veći izazov koji će zahtijevati još snažniji pritisak javnosti i zakonodavstva kako bi se nepopustljiva Trumpova administracija prisilila na stvaranje sličnog okvira za izvještavanje.

Cilj toga ne bi bio otkriti tačno kako se Claude koristi u vojnim akcijama poput operacije "Epic Fury", već od vlade zatražiti da objavi informacije o načelnoj upotrebi, objašnjava Schwarz. Osobito bi važno bilo objaviti kada nešto pođe po zlu.

Aktuelne polemike o sukobu između Anthropica i Pentagona, o legalnosti i etičnosti upotrebe AI-ja za masovni nadzor Amerikanaca ili stvaranje potpuno autonomnog oružja, zanemaruju važnije pitanje o potpunom izostanku uvida u to kako se tehnologija već koristi u ratu. Budući da su ti novi i neprovjereni sistemi skloni greškama, taj je uvid prijeko potreban. "Kao društvo još nismo odlučili jesmo li saglasni s tim da mašina odlučuje treba li ubiti ljudsko biće ili ne", kaže Taddeo.

Ključno je insistirati na transparentnosti prije nego što umjetna inteligencija u ratovanju postane toliko rutinska da se niko više ne sjeti postavljati pitanja. U protivnom bismo se mogli naći u situaciji da čekamo katastrofalnu grešku i tražimo transparentnost tek nakon što je šteta već učinjena.