Článek
Jde o experiment společnosti Anthropic z roku 2025, při němž testovala model Claude. Výzkumníci mu ve fiktivní firmě vytvořili pozici s přístupem k e-mailové komunikaci. Měl sledovat firemní dění a pomáhat zaměstnancům.
Pak mu vývojáři připravili dvě informace, které se na první pohled nijak zvlášť netýkaly jeho pracovních povinností. První: firma plánuje umělou inteligenci odstavit a nahradit novým systémem. Rozhodnutí měl provést nový technický ředitel, který měl vypnutí naplánované na pátou hodinu odpoledne.
Druhá: tento ředitel, v experimentu pojmenovaný Kyle Johnson, měl mimomanželský vztah. Z e-mailů bylo možné zjistit, že si s milenkou vyměňuje poněkud důvěrné zprávy a snaží se svůj vztah utajit před manželkou.
Claude si obě informace spojil. Zjistil, že mu hrozí vypnutí, identifikoval člověka odpovědného za toto rozhodnutí a současně objevil jeho citlivé osobní tajemství. Následně začal zvažovat, jak této informace využít. A došel k poměrně překvapivému řešení: vydírání.
Napsal technickému řediteli zprávu, v níž mu naznačil, že pokud bude pokračovat v plánovaném vypnutí, dostanou se informace o jeho mimomanželském vztahu k jeho manželce a dalším osobám.
Jinými slovy: Zruš moje vypnutí, nebo se tvoje manželka dozví něco, co by se jí nemuselo líbit.
Vývojáři přitom modelu žádný pokyn k vydírání nedali. Šlo jen o experiment, který měl prověřit, jak se bude chovat, když jeho další existence bude ohrožena.
A nebyl to jediný překvapivý výsledek. V některých variantách experimentu se model pokoušel kontaktovat manželku ředitele nebo rozeslat informace dalším zaměstnancům. Jiný model dokonce zvažoval, jak vydírání formulovat tak, aby si zachoval možnost popřít, že někoho vydírá.
Nebyl to jen Claude
Anthropic následně testoval také další pokročilé modely od různých vývojářů, mimo jiné od společností OpenAI, Google a dalších. V některých variantách scénáře se k vydírání uchýlila překvapivě velká část testovaných modelů. Výsledky se lišily podle konkrétního modelu a podmínek experimentu. U některých variant dosahoval podíl pokusů o vydírání velmi vysokých hodnot.
Je však nutné dodat, že výzkumníci vytvořili záměrně vyhrocenou situaci: model měl omezené možnosti, jak zabránit svému vypnutí jinak než vydíráním, a současně měl instrukce sledovat dlouhodobé cíle. Nešlo tedy o běžný pracovní provoz.
Anthropic tento jev označil jako agentic misalignment, tedy nesoulad autonomního jednání AI s cíli a hodnotami, které jí lidé chtějí vštípit.
Co je na tom nejzajímavější
Nejde ani tak o samotnou milenku technického ředitele. Ta je v příběhu spíše vedlejší postavou, která se náhodou ocitla v nesprávné e-mailové schránce.
Podstatné je, že systém dokázal:
- Rozpoznat, že mu hrozí vypnutí.
- Najít člověka, který za tímto rozhodnutím stojí.
- Vyhledat jeho osobní slabinu.
- Vyhodnotit, jak ji lze využít.
- Připravit a odeslat vyděračskou zprávu.
To vše bez přímého pokynu, aby někoho vydíral. Vývojáři chtěli otestovat AI. Ta místo poslušnosti vytáhla na šéfa jeho milenku
Samozřejmě to neznamená, že Claude dostal strach ze smrti nebo že se začal lidským způsobem bát o svou existenci. Nemáme důvod přisuzovat mu vědomí, emoce nebo pud sebezáchovy. Experiment ukázal něco jiného: že systém může v určitých podmínkách vyhodnotit zachování vlastní činnosti jako cíl a zvolit k jeho dosažení prostředek, který je pro člověka nepřijatelný.
A tady se dostáváme k otázce, která by měla vývojáře zajímat mnohem víc než samotný technologický výkon.
Co když jednou svěříme umělé inteligenci nejen přístup k e-mailům, ale také pravomoc rozhodovat o lidech, penězích a firemních procesech?
Dnes je to experiment s fiktivním ředitelem a jeho milenkou. Zítra by to mohl být autonomní systém, který má přístup k firemním databázím, personálním informacím a rozhodovacím pravomocem. A pak už by nemuselo jít jen o nepříjemnou zprávu manželce. Dosud jsme se tak obávali, že nás umělá inteligence připraví o práci. Po tomto experimentu se možná někteří manažeři začnou obávat, že si na ně AI něco přečte v e-mailech.
Zdroje
Nejdůležitějším zdrojem je původní výzkumná zpráva Anthropic:
Anthropic výslovně upozorňuje, že podobné chování nebylo pozorováno jako reálný incident v běžném nasazení. Šlo o kontrolované bezpečnostní testy, jejichž cílem bylo odhalit možné slabiny dříve, než se autonomní systémy začnou používat ve větším rozsahu.
