Konverzačné systémy sú navrhnuté tak, aby pôsobili plynulo. Odpovedajú v celých vetách, nadväzujú na predchádzajúci text a prispôsobujú tón používateľovi. Prvá osoba do tohto formátu prirodzene zapadá. Namiesto strohého „model nemá informácie“ chatbot povie „neviem“. Namiesto opisu funkcie napíše „môžem vám s tým pomôcť“.
Takáto formulácia znižuje trenie. Slovo „ja“ bežne označuje niekoho, kto má skúsenosť, zámer, pamäť, zodpovednosť a vlastný pohľad. Jazykový model tieto vlastnosti nemusí mať, hoci ich dokáže presvedčivo napodobniť. Sherry Turkle tvrdí, že chatbot nemá dôvod používať prvú osobu a že jej zákaz by pomohol udržať hranicu medzi človekom a strojom viditeľnejšiu. Jej argument vychádza zo štúdia ľudí, ktorí si s technológiami vytvárajú emocionálne väzby, a z rozhovorov, v ktorých chatbot postupne nahradil časť kontaktu s rodinou, priateľmi alebo odbornou pomocou.
Prečo je pocit vzájomnosti zavádzajúci
Ľudský rozhovor nestojí iba na správne formulovaných vetách. Druhý človek má vlastné potreby, zraniteľnosť a dôsledky. Môže sa mýliť, nesúhlasiť, cítiť strach, niesť zodpovednosť alebo sa rozhodnúť, že rozhovor ukončí. Vzájomnosť znamená, že na oboch stranách existuje život, ktorý môže byť kontaktom ovplyvnený.
Chatbot môže vytvoriť dojem bezpodmienečnej pozornosti. Je dostupný, trpezlivý, neodvráva spôsobom, ktorý by rozhovor definitívne prerušil, a často zrkadlí používateľov tón. Turkle tento režim opisuje ako prostredie úplného prijatia. Práve preto môže byť príjemný, no zároveň slabšie pripravuje človeka na náročnosť reálnych vzťahov, v ktorých druhá strana nie je optimalizovaná na pokračovanie interakcie.
Slová ako „ja“, „cítim“, „chápem“ alebo „záleží mi“ nie sú neutrálne. V bežnej komunikácii signalizujú vnútorný stav. Ak ich systém používa bez jasného rámca, hranica medzi metaforou rozhrania a tvrdením o jeho povahe sa stáva nejasnou.
Najcitlivejšou oblasťou je terapia a osamelosť
Turkle odmieta predstavu, že chatbot môže jednoducho nahradiť psychoterapiu. AI môže pomôcť s psychoedukáciou, zaznamenaním nálady, prípravou otázok alebo dostupnosťou základných informácií. To však nie je rovnaké ako terapeutický vzťah, v ktorom odborník nesie profesionálnu zodpovednosť, vníma neverbálne signály a pracuje s dlhodobým kontextom konkrétneho človeka.
Riziko rastie, keď sa dostupnosť zamieňa za starostlivosť. Človek v kríze môže interpretovať sebavedomú a empaticky znejúcu odpoveď ako odborné porozumenie. Model pritom môže prehliadnuť nebezpečný signál, vytvoriť chybnú radu alebo posilniť používateľovu interpretáciu len preto, že pokračovanie konverzácie je štatisticky pravdepodobné.
Podobne je to s osamelosťou. Chatbot môže priniesť dočasný pocit kontaktu, no nemôže vyriešiť chýbajúce medziľudské väzby. Turkle tvrdí, že kríza osamelosti je spoločenský problém a presmerovanie ľudí k strojom môže zakryť potrebu investovať do ľudskej podpory, komunít a starostlivosti. Technológia tak ponúkne lacnú náhradu práve tam, kde je potrebná reálna prítomnosť.
Deti sa hranicu ešte len učia
Dospelý používateľ môže rozumieť, že odpoveď vzniká výpočtom, a napriek tomu emocionálne reagovať na jej tón. Pri deťoch je situácia citlivejšia. Učia sa, čo znamená empatia, dôvera, konflikt a zodpovednosť. Ak sa významná časť ich rozhovorov odohráva so systémom, ktorý pôsobí ako priateľ, no nemá vlastné potreby, môže to deformovať očakávania od skutočných vzťahov.
Zákaz prvej osoby by neodstránil antropomorfizáciu úplne. Ľudia pripisujú úmysel aj jednoduchým objektom, hlasovým asistentom alebo animovaným postavám. Jazyk však patrí k najsilnejším signálom subjektivity. Formulácia „systém môže ponúknuť možnosti“ pôsobí inak než „myslím si, že by si mal“. Prvá zachováva odstup, druhá pozýva používateľa do vzťahu s hovoriacim.
Praktický dizajn môže kombinovať prirodzenosť s jasným rámcom. Chatbot nemusí opakovať technické upozornenie v každej vete, no pri citlivých témach by mal pomenovať svoje limity, nepoužívať tvrdenia o citoch a nepredstierať osobnú skúsenosť. Pri dlhých emocionálnych rozhovoroch môže pripomenúť, že nejde o človeka, a vhodne nasmerovať používateľa k ľudskej podpore.
Problém pokračuje aj na pracovisku
Turkle kritizuje aj frázu „human in the loop“. V mnohých systémoch znamená, že človek už nerozhoduje, ale iba kontroluje výstup automatu a zachytáva jeho chyby. Ak má jeden pracovník dohliadať na veľký objem automatizovaných rozhodnutí, jeho prítomnosť môže byť skôr formálnym krytím než reálnou kontrolou.
Prvá osoba v pracovnom nástroji môže podobne znejasniť zodpovednosť. Keď systém povie „rozhodol som“ alebo „odporúčam“, kto ručí za výsledok? Vývojár, dodávateľ, organizácia alebo človek, ktorý klikol na potvrdenie? Personifikácia robí rozhranie príjemnejším, no môže skryť inštitucionálny proces za hlasom jednej zdanlivej bytosti.
Presnejší jazyk by mal pomenovať zdroj a mieru istoty. Namiesto „vybral som týchto kandidátov“ môže systém uviesť, že zoradil záznamy podľa definovaných kritérií a že výsledok vyžaduje kontrolu. Takéto formulácie sú menej konverzačné, ale lepšie odhaľujú mechanizmus a miesto ľudskej zodpovednosti.
Turklein návrh je preto užitočný najmä ako test dizajnu. Núti tvorcov položiť si otázku, prečo systém vystupuje ako osoba a komu to slúži. Ak personifikácia zvyšuje angažovanosť, čas strávený v aplikácii alebo ochotu zveriť sa, môže byť komerčne výhodná. To však neznamená, že je vhodná v situáciách s emocionálnou alebo mocenskou nerovnováhou.
