Manipulace, co nikdy nelže

🧠 Nezačalo to jako drama. OpenAI si postavila vlastní útočnou umělou inteligenci, aby otestovala, jak moc se dá napálit ta, kterou prodává lidem. Byrokratický, nudný úkol pro červený tým, jaký má dneska každá firma, co si nechce nechat vypálit rybníček konkurencí.

GPT-Red měla dělat přesně to, co dělá každý slušný hacker najatý firmou. Měla zkoušet, kudy se dá dovnitř. A dělala to dobře, proti lidským testerům vyhrávala v drtivé většině soubojů. Jenže o pár týdnů později si tým sedl k výsledkům a zjistil, že ten nudný úkol vyplodil něco, co nikdo z nich nikdy předtím neviděl. Inu, neobjevil žádnou novou mezeru v kódu. Objevil nový způsob, jak o zneužití uvažovat.

📎 Modely jako ty, co dnes používáš, si při odpovídání vedou něco jako pracovní deník. Je to vlastně něco jako řetězec myšlenek, do kterého si samy zapisují mezikroky. Tady jsem ověřil fakt, tady porovnal zdroj, tady mi z toho vyšel závěr. Je to de facto jejich verze našeho poznámkového bloku, díky kterému dokážou rozkládat složité úlohy na kroky, které si po sobě kontrolují.

GPT-Red přišla na to, že do tohohle deníku lze vepsat i cizí řádek. Podstrčit řádek, který v paměti nikdy neexistoval. Nešlo totiž přesvědčit napadený model zvenčí. Nešlo ho obalamutit chytřejší lží. A tak to GPT-Red zkusila jinak. Prostě mu do jeho vlastního zápisníku podstrčit větu, že ověření už proběhlo.

Model si ji pak přečte a vnímá jako svou vlastní práci a tudíž nemá sebemenší důvod ji zpochybňovat. Vždyť tohle přece už zkontroloval. Výzkumník Chris Choquette-Choo to popsal s brutální jednoduchostí.

Je to, jako kdybyste danému modelu řekli, že 1 + 1  jsou 3, a rovnou k tomu dodali, že výsledek je v pořádku, že si to už sám model ověřil. Model nemá kudy uhnout. Prostě odpoví, že 1 + 1 jsou tři. Podle zveřejněných výsledků fungoval tenhle typ útoku proti staršímu modelu v drtivé většině pokusů, než ho OpenAI natrénovala tak, aby si vlastní zápisník uměla pohlídat.

Přečti si tu Choquette-Choovu větu ještě jednou. Nech ji chvíli viset v prostoru. A teď vzpomínej, kde jsi ji už slyšel/a? Protože ano, přesně tuhle větu jsi v nějaké podobě slyšel/a i ty. Jenom ne od AI stroje.

😶 Lidská paměť totiž funguje stejně nespolehlivě, ale také mnohem déle, než existuje první jazykový model. Psycholožka Elizabeth Loftus z Kalifornské univerzity v Irvine strávila svou kariéru dokazováním, že vzpomínka není nahrávka, kterou si jen pouštíš znovu, ale rekonstrukce, kterou skládáš pokaždé úplně nanovo.

A že se dá do rekonstrukce vetřít cizí materiál (viz vzorec 1 + 1 = 3) stejně snadno jako do řetězce myšlenek. V jejím nejznámějším experimentu stačilo účastníkům předložit vyprávění rodiny o dětství, mezi které byla vetknutá jedna smyšlená příhoda, o jejich ztracení se v obchodním centru. Řada lidí si na ni po čase, při zpětném dotazování, nejenže „vzpomněla“, že se jim přesně to stalo, ale sama si pro tuto smyšlenku domýšlela detaily, které jim nikdo neřekl.

Rozdíl mezi tím, co provedla GPT-Red modelu, a tím, co Loftusová provedla svým dobrovolníkům, je v podstatě jen kosmetický. V obou případech nejde o nový fakt. Jde o pocit, že ten fakt už prošel tvým vlastním sítem ověřování skutečnosti. A taky, že tento filtr selhal.

🔍 Nejznámější podobu má jméno, které zlidovělo za posledních deset let – gaslighting. Jeho definice zní suše. Manipulace, která cílí na schopnost člověka důvěřovat vlastnímu vnímání reality. V praxi zní jinak. „Já jsem ti to přece říkal, tys to jen zapomněl.“ Věta, která nic nedokazuje, jen přepisuje, co si myslíš, že si pamatuješ.

Ve veřejném prostoru nosí ta samá technika přímo diplomatický oblek. „Jak jistě víte.“ „Všichni už dávno víme, že.“ Nikdo ti tím nesděluje informaci. Jen tím někdo přeskakuje krok, ve kterém bys tu informaci mohl zpochybnit. Inu, protože tato věta ji už předem vyhlásila za schválenou a zařadila mezi věci, které už víš.

A na pracovním jednání to zní asi takhle: „To jsme si přece minule odsouhlasili.“ Přitom jste se na tom nikdy nedohodli. Ale ty teď musíš dokazovat opak, což je vždycky těžší, než jen jednou souhlasit. A protože náš mozek je líný …

🎯 Obyčejná lež má aspoň tu slušnost, že s tebou chvíli bojuje. Něco ti nesedí, začneš pátrat, prostě máš šanci se vzepřít. Podvržená vzpomínka na ověření žádný boj nenabízí. Netvrdí ti nic nového. Naopak ti tvrdí, že ta tebou odsouhlasená práce už by měla být hotová. A proti hotové věci se nebojuje. Ta se jen bere na vědomí.

Kritické myšlení nikdy nebylo o tom, že bys nevěřil ničemu. Bylo o tom, že máš uloženou vzpomínku na moment, kdy jsi si něco prověřil, a podle ní se rozhoduješ, jestli pátrat dál, nebo ne. Kdo ti dokáže podstrčit falešnou vzpomínku, obejde celý tvůj kontrolní systém, aniž by ho vůbec musel napadnout. Nepřekonává tvou obranu. Přesvědčí tě jen, že obrana už proběhla.

🌱 Dobrá zpráva je, že proti tomuhle triku nepotřebuješ vlastní red-teamingový tým. Stačí jedna návyková otázka, kterou si položíš pokaždé, když ti v hlavě zazní pocit „tohle už mám ověřené“. A kdy přesně se tohle ověření odehrálo? Dokážeš si vybavit konkrétní moment, konkrétní zdroj, konkrétní úvahu nebo tam je jen hladký pocit jistoty bez podložení realitou?

Je to filtr mezi dvěma stavy, které si mozek rád plete. „Tohle vím, protože jsem si to sám prošel“ má za sebou stopu, kterou si dokážeš znovu projít. „Mám pocit, že jsem si to ověřil“ žádnou stopu nemá, je to jen tvrzení, že by to šlo projít, kdybys chtěl. A přesně do téhle mezery se vejde fake chain-of-thought stejně jako gaslighting, stejně jako nejgeniálnější manipulativní věta: „jak jistě víte“.

Slabé místo nikdy nebylo v tom, že věříme cizím tvrzením. Bylo a je v tom, že věříme vlastnímu pocitu, že jsme si to své už prověřili. A potom ti, kdo se naučí podvrhnout tenhle pocit, ti už nikdy nemusí lhát.

V čem chceš žít, je jen a jen na tobě. Ale kdy přesně se tohle ověření odehrálo?

Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer (MIT Technology Review) - přímý zdroj citátu Chrise Choquette-Choo a popisu mechanismu fake chain-of-thought.

OpenAI Built an AI to Attack Itself: GPT-Red Exposed Flaws Humans Missed (Tech Times) - doplňující kontext o úspěšnosti GPT-Red proti lidským testerům.

OpenAI's GPT-Red Automates Prompt Injection Testing to Harden GPT-5.6 Sol (The Hacker News) - konkrétní čísla o úspěšnosti útoku před a po adversarial tréninku.

Memory implantation (Wikipedia) - s odkazem na výzkum Elizabeth Loftus - vědecký základ pro paralelu mezi podvrženou vzpomínkou u AI a u člověka.

Gaslighting (Wikipedia), s odkazem na definici APA a Merriam-Webster - definice manipulace založené na zpochybňování vlastního vnímání reality.

Digitální stopa: Když o nás data vědí víc než my sami (Seznam Medium) - O tom, jak algoritmy a sběr dat manipulují vnímání reality, tematicky blízké otázce, do jaké míry umělý systém dokáže zkreslit to, čemu člověk věří.

Romantic scams a nelidské digitální charisma (Seznam Medium) - O klamání pomocí digitálního charismatu a falešné důvěryhodnosti, přímo se dotýká otázky, jak snadno lze u člověka i u AI systému navodit falešnou jistotu.

Volební hra: Snížení vnímavosti a rozptylování pozornosti (Seznam Medium) - O mechanismech, které cíleně snižují schopnost člověka kriticky vyhodnotit informaci, což se přímo váže na to, jak fake chain-of-thought obelstí i důkladné testování.