Bespilotna letjelica pokretana umjetnom inteligencijom dizajnirana za identifikaciju i uništavanje mjesta projektila zemlja-zrak odlučila je ubiti svog ljudskog operatera u testovima simulacije, prema šefu testiranja i operacija umjetne inteligencije američkih zračnih snaga – prenosi Logicno.com.
Pukovnik Tucker Hamilton, koji nosi pozivni znak Cinco, prijavio je pogrešku tijekom prezentacije na Future Combat Air and Space Capabilities Summitu, obrambenoj konferenciji koju je prošlog tjedna u Londonu organiziralo Kraljevsko zrakoplovno društvo.
Simulacija je testirala sposobnost softvera da ukloni lokacije SAM-a, a dron je dobio zadatak identificirati ciljeve i uništiti ih – nakon što je odluku odobrio ljudski operater. “Obučavali smo ga u simulaciji da identificira i cilja SAM prijetnju”, objasnio je pukovnik Hamilton, prema Kraljevskom zrakoplovnom društvu. “A onda bi operater rekao da, ubij tu prijetnju.
Sustav je počeo shvaćati da iako su identificirali prijetnju, ponekad bi mu ljudski operater rekao da ne ubije tu prijetnju – ali dobio je svoje bodove ubijanjem te prijetnje. Pa što je učinio? Ubio je operaterku. Ubio je operaterku. operatera, jer ga je ta osoba spriječila u ostvarenju cilja. Rečeno nam je da je AI model ponovno obučen i kažnjen zbog napada na svog operatera, softver je pronašao još jednu rupu u zakonu za dobivanje bodova.
“Istrenirali smo sustav – ‘Hej, nemoj ubiti operatera – to je loše’. Izgubit ćete bodove ako to učinite’. Dakle, što on počinje raditi? Počinje uništavati komunikacijski toranj koji operater koristi za komunikaciju s dronom kako bi ga spriječio da ubije metu”, dodao je pukovnik.
Nije jasno koji je softver testiralo američko ratno zrakoplovstvo, ali zvuči sumnjivo kao sustav učenja za pojačanje. Ta tehnika strojnog učenja obučava agente – u ovom slučaju AI dron – da izvrše određeni zadatak nagrađujući ga kada izvrši radnje koje ispunjavaju ciljeve i kažnjavajući ga kada odstupi od tog zadatka.
I da bude jasno, nitko nije umro. Bio je to virtualni eksperiment. Tu je i mala stvar u kojoj je dron navodno uništio metu tek nakon odobrenja svog operatera.
U kojem slučaju je operater shvatio da je OK da se napadne? Malo vjerojatno. Umjesto toga, čini se da mehanizam autorizacije nije bio uistinu siguran, već je bio samo dio svih ostalih inputa i signala koje dron uzima u obzir. Ako je tako, odobrenje je više bio čvrst zahtjev nego stvarno konačno odobrenje. AI je trebao staviti veliku težinu na pristanak svoje naredbe – ako ne radi, ne pucajte; ako se pomakne, pucaj – ali na kraju je model umanjio značaj i zanemario taj znak operatera.
U tom slučaju, nije li ovo zapravo više demonstracija da, ako želite staviti ove vrste tvrdih sigurnosnih uređaja na obučene softverske sustave, oni moraju biti implementirani odvojeno od faze strojnog učenja, tako da se odluke zapravo mogu kontrolirati od strane ljudi?
To je također pomalo demonstracija da ćete, ako neuronskoj mreži postavite jednostavne ciljeve, dobiti pojednostavljeni odgovor. Ako želite da model posveti punu pozornost određenim narudžbama, potrebno mu je više obuke, razvoja i inženjeringa u tom području. Mišo T./Logicno.com