Podľa reportáže CNN, ktorú následne citovali Gizmodo a ďalšie médiá, sa incident odohral počas vojny s Iránom. Spravodajská správa rozšírená v americkej armáde tvrdila, že čínska loď v oblasti Blízkeho východu preváža komponenty súvisiace s jadrovým zbrojným programom. Takéto podozrenie prirodzene spúšťa najvyšší stupeň pozornosti: nejde o bežný obchodný náklad, ale o informáciu, ktorá môže viesť k fyzickému zadržaniu plavidla a ku konfrontácii s inou veľmocou.
Správu mal zostaviť analytik veliteľstva špeciálnych operácií s pomocou chatbota. Ten pracoval s informáciami o lodnom manifeste a podľa dostupného opisu nesprávne identifikoval materiál na palube. CNN nezistila, čo loď v skutočnosti prevážala ani či išlo o komerčný alebo vládny model. Zásadné však je, že výsledné tvrdenie bolo podľa jedného zo zdrojov „úplne nepravdivé“.
Napriek tomu sa dostalo dostatočne ďaleko. Ozbrojení príslušníci sa pripravovali na nalodenie a vojenské lietadlá už mali byť vo vzduchu. Operáciu zastavili až po dodatočnom preverení správy, keď zodpovední predstavitelia zistili, že podstatná časť záveru vznikla s pomocou AI a že identifikácia nákladu nebola správna. Pentagon ani príslušné veliteľstvo podľa pôvodnej reportáže incident verejne nekomentovali, preto treba oddeľovať potvrdené tvrdenia od detailov založených na anonymných zdrojoch.
Prečo je pojem „halucinácia“ v tomto prípade príliš mierny
Halucinácia označuje situáciu, keď generatívny model vytvorí vierohodne znejúcu informáciu bez opory v dátach. Model neoveruje pravdu spôsobom, akým ju overuje analytik. Vypočítava pravdepodobné pokračovanie textu na základe vzorov, ktoré sa naučil. Ak používateľ žiada jednoznačný záver z neúplných alebo nejasných podkladov, systém môže medzeru vyplniť presvedčivou, ale vymyslenou odpoveďou.
V bežnom použití sa riziko dá zvládnuť kontrolou zdrojov. V spravodajstve je situácia zložitejšia. Analytik pracuje s fragmentmi, rôznou mierou spoľahlivosti, tajnými aj otvorenými zdrojmi a s časovým tlakom. Ak chatbot spojí tieto vrstvy do plynulého príbehu, môže zamaskovať rozdiel medzi údajom zo zdroja, analytickým odhadom a vlastnou konštrukciou modelu. Jazyková istota potom pôsobí ako dôkazová istota, hoci ide o dve úplne odlišné veci.
Preto nestačí výstup označiť vetou „vytvorené pomocou AI“. Každé rozhodujúce tvrdenie musí mať sledovateľný pôvod: konkrétny dokument, obrazový záznam, signál, senzorový údaj alebo ľudské hlásenie. Ak systém nevie pri tvrdení ukázať dôkaz a mieru neistoty, nemal by sa jeho text dostať do podkladu pre kinetické rozhodnutie.
Človek v slučke nie je automatická poistka
Často sa predpokladá, že prítomnosť človeka problém vyrieši. Tento incident však ukazuje slabinu takého argumentu. Človek môže výstup AI vložiť do správy, iný človek ho môže prečítať a ďalší môže na jeho základe začať plánovať operáciu. Formálne boli ľudia prítomní na každom kroku, no pôvodné tvrdenie zostalo istý čas bez dostatočného overenia.
Vysvetlením môže byť automatizačná zaujatosť: keď systém pôsobí technicky pokročilo a spracúva viac dát, používateľ mu pripisuje vyššiu spoľahlivosť. Pridáva sa tlak na rýchlosť a potreba konať skôr, než sa cieľ presunie. V hierarchickom prostredí navyše dokument získava autoritu už tým, že prešiel oficiálnym kanálom. Každý ďalší príjemca môže predpokladať, že kontrolu vykonal niekto pred ním.
Funkčný dohľad preto potrebuje jasnú zodpovednosť. Pri tvrdeniach, ktoré môžu viesť k použitiu sily, musí byť určená osoba oprávnená potvrdiť dôkazový reťazec, nezávislý druhý analytik a pravidlo, že samotný výstup generatívneho modelu sa nikdy nepovažuje za zdroj. Kontrola nesmie prísť až vtedy, keď sú jednotky pripravené zasiahnuť.
Rýchlosť AI môže zhoršiť tempo eskalácie
Armády zavádzajú AI do analýzy obrazových dát, logistiky, plánovania, kybernetickej obrany aj podpory rozhodovania. Dôvod je pochopiteľný: množstvo informácií presahuje kapacitu ľudských tímov a kratší rozhodovací cyklus môže priniesť výhodu. Tá istá rýchlosť však môže skrátiť čas na spochybnenie nesprávneho záveru.
Pri bežnej chybe sa organizácia vráti k dátam a opraví report. Pri medzinárodnom incidente už samotná príprava zásahu vysiela signály druhej strane. Lietadlá menia polohu, jednotky sa presúvajú a velenia protivníka sledujú nezvyčajnú aktivitu. Aj operácia, ktorá sa nakoniec neuskutoční, môže zvýšiť napätie. Ak by sa vojaci pokúsili vstúpiť na loď pod čínskou vlajkou, reakcia posádky alebo sprievodných síl by mohla vytvoriť sled udalostí, ktorý sa už nedá jednoducho vziať späť.
Aké technické a procesné brzdy dávajú zmysel
Prvou podmienkou je úplná evidencia použitia modelu: aké dáta dostal, akú verziu systému analytik použil, aký bol presný výstup a čo z neho prevzal. Druhou je oddelenie sumarizácie od úsudku. Model môže pomôcť triediť dokumenty alebo upozorniť na nezrovnalosť, ale nesmie bez dôkazu meniť kategóriu nákladu na bezpečnostnú hrozbu.
Ďalej je potrebné krížové overenie nezávislým zdrojom. Pri manifeste môže ísť o technickú dokumentáciu, snímky, signálové spravodajstvo alebo fyzickú kontrolu vykonanú spôsobom, ktorý sám nevytvára neprimerané riziko. Systém by mal zobrazovať neistotu a rozpory, nie produkovať jedinú hladkú odpoveď. Vysoko rizikové modely potrebujú aj pravidelné testovanie na typoch dát, s ktorými sa skutočne stretávajú, vrátane zámerne zavádzajúcich vstupov.
Napokon treba zaviesť rozhodovacie prahy. Čím nezvratnejší krok, tým silnejšie dôkazy a viac nezávislých potvrdení musí vyžadovať. AI môže zrýchliť vyhľadávanie, nesmie však znížiť štandard dôkazu iba preto, že odpoveď prišla rýchlo.
Poučenie presahuje armádu
Vojenský prípad je extrémny, ale mechanizmus je známy aj z firiem: model vytvorí číslo, citáciu alebo vysvetlenie, človek ho vloží do profesionálne vyzerajúceho dokumentu a ďalší ľudia už kontrolujú iba formu. Autorita sa postupne presúva z dôkazov na prezentáciu. Rozdiel je v následkoch.
