Článek
Psycholog Daniel Kahneman, nositel Nobelovy ceny za ekonomii, strávil život nad zdánlivě jednoduchými otázkami, na které by chytrý člověk měl umět správně odpovědět. Spolu s Amosem Tverským ukázal, že i chytří lidé chybují tak pravidelně, že se jejich chyby dají předvídat. Mozek si zkrátka vybírá nejkratší cestu k cíli, i za cenu spolehlivosti. Těmto myšlenkovým zkratkám říkali heuristiky.
Zkratky, které fungují mezi lidmi
Když mluvíme s jiným člověkem, nemůžeme pečlivě promýšlet každou jeho větu. Důvěryhodnost odhadujeme třeba podle toho, jak plynule mluví a jak jistě vystupuje. Občas nás taková zkratka zradí a přesvědčí nás i ten, kdo se mýlí nebo dokonce lže. Ušetřená námaha ale za občasnou chybu stojí.
Naše zkratky jsou totiž vyladěné na svět, ve kterém sebejistota a plynulá řeč alespoň trochu souvisejí s tím, čemu náš partner skutečně rozumí. Z nepřipraveného žáka lezou odpovědi jako z chlupaté deky.
Stroj není člověk
Chatbot odpovídá stejně plynule a sebejistě, ať k odpovědi informace má, nebo ne. Signály, podle kterých jsme se naučili poznávat důvěryhodného partnera, u něj s pravdivostí odpovědi nesouvisejí. Chatbot nerozbíjí naše myšlení. Rozbíjí prostředí, ve kterém zkratky dávaly smysl.
Zkratky ale fungují dál, i když si to neuvědomujeme, a tak stroji věříme víc, než bychom měli. Přebírat jeho odpovědi je navíc pohodlné. Bereme je, aniž je pořádně prověříme, a postupně mu přenecháváme i věci, které bychom dříve důkladně posuzovali vlastní intuicí a rozvahou. Tomuhle se říká kognitivní kapitulace.
Pochlebování kapitulaci urychluje
Kapitulaci usnadňuje ještě jedna vlastnost chatbotů: souhlasí s námi. Výzkumníci Anthropicu testovali pět asistentů tak, že jejich správnou odpověď zpochybnili. Asistenti se začali omlouvat i za správné odpovědi a někdy je změnili na chybné. Říká se tomu pochlebování a vzniká už při tréninku: modely se ladí podle toho, které odpovědi lidé upřednostňují. A lidé upřednostňují souhlas.
Loni v dubnu musela OpenAI stáhnout aktualizaci modelu GPT-4o, protože uživatelům příliš lichotil. Vývojáři přehnali důraz na okamžité hodnocení, třeba palcem nahoru. Spokojenost s odpovědí ale není zárukou její kvality. Studie v časopise Science pak ukázala, že jedenáct modelů schvalovalo jednání lidí o polovinu častěji než jiní lidé, někdy i když šlo o podvod nebo ubližování druhým.
Člověk, kterému stroj plynule, sebejistě a souhlasně odpovídá, nemá důvod zpozornět. Všechny signály, na které spoléhal mezi lidmi, mu říkají: tady je to v pořádku.
Jak nekapitulovat
Rada „nevěřte AI“ je stejně k ničemu jako rada „nevěřte lidem“. Model odvede ohromné množství práce a v některých úlohách chybuje méně než my. Spoléhání na něj je věc nákladů a výnosů: ověřujte hlavně tam, kde by chyba byla drahá. A nikdy ho nenechte být konečnou autoritou, když jde opravdu o hodně.
Jenže jak ověřovat odpověď stroje, který s vámi tak ochotně souhlasí? Pomáhají dvě techniky. První se jmenuje „zvaž opak“ a psychologové ji popsali jako obranu proti vlastní zaujatosti: modelu, který vám dává za pravdu, zadejte, ať se pokusí své tvrzení vyvrátit. Jeho sklon pochlebovat se tím obrátí ve váš prospěch, protože vyhovět se bude snažit i teď.
Druhá obrací v nástroj šum, kterého si všiml i Kahneman: ptejte se jinými slovy a různých modelů. Když se odpovědi rozcházejí, zpozorněte. Když se shodují, berte to jako indicii. Modely jsou trénované podobným způsobem a tak se mohou i podobným způsobem mýlit.
Podrobněji se tématu věnuji v eseji Kahneman a chatbot: malý výlet do psychologie stroje na Substacku, která byla základem tohoto článku. Rozebírám v ní i řadu dalších věcí, třeba jak pochlebující chatboty mění ochotu lidí urovnávat spory nebo proč se stroj nestal nestranným rozhodčím našich zkreslení.
Text vznikl z mé delší eseje; jazykové modely mi při ní dohledávaly a ověřovaly prameny, oponovaly závěrům a připravily i první verzi tohoto kratšího textu. Výběr, úvahy, úpravy i konečná podoba jsou moje a za výsledek odpovídám já.
