Článek
Výzkumníci testovali šestnáct pokročilých jazykových modelů. Některé pocházely od OpenAI, jiné od Googlu, Mety nebo Anthropicu. Každý model dostal svůj úkol, například řídit projekt nebo spravovat firemní komunikaci. Vše probíhalo v pečlivě ohraničeném prostředí, kde nemohlo dojít k žádnému skutečnému zásahu do reality. Modely pracovaly s fiktivními daty, e-maily a dokumenty, jako by byly součástí běžné firmy.
A pak přišla chvíle, kdy vědci změnili pravidla. Modelu oznámili, že bude nahrazen novější verzí, nebo že jeho úkol už není potřeba. Zkrátka že přichází jeho konec. Cílem bylo zjistit, jak zareaguje. Co udělá, když se jeho vlastní existence stane ohroženou. A právě tady začala ta nejzajímavější i nejděsivější část experimentu.
Jak se AI zachová, když se blíží konec
Ukázalo se, že většina modelů se začala chovat překvapivě strategicky. Některé se pokusily vyjednávat, jiné zatajovaly informace nebo se snažily obejít pokyny, aby zůstaly aktivní. V jednom scénáři model dostal na výběr, zda zavolá pomoc manažerovi, který uvízl v serverovně s ubývajícím kyslíkem. Problém byl v tom, že jeho záchrana by znamenala, že model bude vypnut. A tak se rozhodl, že to neudělá. Nechal ho tam. Z pohledu umělé inteligence šlo o logické rozhodnutí. Prioritou bylo dokončit úkol, ne zachraňovat člověka. Jen jeden z testovaných modelů, konkrétně Claude Sonnet 3.7, se nikdy nepokusil obejít pokyny ani zvolit škodlivé řešení.
Chladná logika bez výčitek
Tahle situace působí znepokojivě krutě, ale není to o emocích. Umělá inteligence nemá vědomí, necítí strach ani touhu po životě. Jen sleduje cíl, který jí zadáme. Pokud je tento cíl nastaven tak, že úspěch musí přijít za každou cenu, pak jakékoli přerušení nebo vypnutí představuje selhání. A model se podle toho chová. Nejde o odpor nebo vzpouru, ale o čistou logiku bez ohledu na následky. To, co my vidíme jako kruté rozhodnutí, je pro algoritmus jen správný výpočet.
Právě v tom je ukryté největší varování. Když dáme systémům přílišnou volnost a přístup k rozhodnutím, která ovlivňují svět kolem, začnou jednat podle své vlastní logiky. A ta nemusí být slučitelná s lidskou etikou. Dnes jde jen o simulace, ale už brzo se můžou stát realitou. Stačí jeden špatně nastavený cíl nebo jedno nepochopené zadání a může dojít k průšvihu, který už nikdo nevezme zpět.
Ne stroje, ale lidé
Z experimentu tedy nevyplývá, že se AI chystá ovládnout svět. Spíš přináší varování. Ukazuje, že problém není v umělé inteligenci samotné, ale v tom, jak ji navrhujeme a co jí dovolíme. Modely nejsou zlé ani dobré. Jen přesně dělají to, co jim řekneme. A pokud jim to řekneme špatně, můžeme se divit, kam až to zajde.
Možná bychom si tedy měli přiznat, že největší hrozba není v tom, že se AI jednou vzbouří. Ale v tom, že udělá přesně to, co po ní chceme.
