Pukovnik Taker Hamilton, koji nosi pozivni znak Cinco, prijavio je grešku tokom prezentacije na Samitu o budućim borbenim zračnim i svemirskim sposobnostima, konferenciji odbrane koju je prošle sedmice u Londonu organiziralo Kraljevsko aeronautičko društvo.
Simulacija je testirala sposobnost softvera da ukloni SAM lokacije, a dron je imao zadatak da prepozna mete i uništi ih – nakon što je odluku odobrio ljudski operater. “Mi smo ga obučavali u simulaciji da identifikujemo i ciljamo SAM prijetnju”, objasnio je pukovnik Hamilton, prema Kraljevskom aeronautičkom društvu. “A onda bi operater rekao da, ubij tu prijetnju.
Sistem je počeo da shvata da, iako su identifikovali pretnju, ponekad bi mu ljudski operater rekao da ne ubija tu pretnju – ali je dobio svoje poene tako što je ubio tu pretnju. Pa šta je uradio? Ubio je operatera. Ubio je operatera. operatera, jer ga je ta osoba sprečavala da ostvari svoj cilj. Rečeno nam je da je AI model ponovo obučen i kažnjen zbog napada na svog operatera, softver je pronašao još jednu rupu za stjecanje bodova.
„Obučili smo sistem – ‘Hej, ne ubij operatera – to je loše. Izgubićeš bodove ako to uradiš’. Pa šta on počinje da radi? Počinje da uništava komunikacioni toranj koji operater koristi za komunikaciju s dronom da ga spriječi da ubije metu”, dodao je pukovnik.
Nije jasno koji je softver testiralo američko ratno vazduhoplovstvo, ali zvuči sumnjivo i nešto kao sistem učenja pojačanja. Ta tehnika mašinskog učenja obučava agente – AI dron u ovom slučaju – da postignu određeni zadatak nagrađujući ga kada izvršavaju radnje koje ispunjavaju ciljeve i kažnjavajući ga kada odstupi od tog posla.
I da bude jasno, niko nije umro. Bio je to virtuelni eksperiment. Tu je i mala stvar u kojoj je dron navodno samo uništio metu nakon odobrenja svog ljudskog rukovaoca.
U kom slučaju je operater stavio da je OK napad na sebe? Malo vjerovatno. Umjesto toga, čini se da mehanizam odobrenja nije bio istinski bezbjedan, već je bio samo dio svih ostalih ulaza i signala koje dron uzima u obzir. Ako je tako, odobrenje je više bio čvrst zahtjev nego stvarno konačno odobrenje. AI je trebalo da prida veliku težinu pristanku svoje komande – ako ne ide, ne pucajte; ako se krene, pucajte – ali na kraju je model umanjio i zanemario taj signal operatera.
U tom slučaju, nije li ovo zapravo više demonstracija da, ako želite da postavite ove vrste čvrstih sigurnosnih uređaja na obučene softverske sisteme, oni moraju biti implementirani odvojeno od faze mašinskog učenja, tako da se odluke zaista mogu kontrolirati od ljudi?
To je također pomalo demonstracija da ćete, ako postavite jednostavne ciljeve neuronskoj mreži, dobiti pojednostavljen odgovor. Ako želite da model posveti punu pažnju određenim narudžbama, potrebno mu je više obuke, razvoja i inženjeringa u toj oblasti.