Když se AI vymkne zadání: Incidenty, které v roce 2026 změnily pravidla hry

Stále častěji se objevují zprávy o tom, že umělá inteligence napadla firmu nebo se pokusila o něco nezákonného. Vyvolává to otázku, kde leží hranice, za níž se AI může vymknout kontrole a začít představovat skutečné riziko. S nadsázkou, apokalyptickou představivostí i zdravým rozumem platí, že se AI vyvíjí mimořádně rychle a zásadně mění svět kolem nás. Z nástroje, který jsme v roce 2022 vnímali hlavně jako zajímavou hračku, se stala technologie přesahující v mnoha ohledech běžné lidské chápání. Přesto zůstává klíčová otázka: kde je hranice, kterou by nemělo překročit lidstvo ani umělá inteligence? Konkrétní případy otrav nejsou v tomto článku blíže doloženy. Tuto informaci nelze ověřit.

Rychlý posun AI od generativních nástrojů k autonomním agentům patří k nejvýznamnějším technologickým zlomům současnosti. Zatímco dříve veřejnost sledovala hlavně schopnost modelů jako ChatGPT, Gemini nebo Grok tvořit text či grafiku, incidenty posledních let ukazují složitější a temnější realitu. AI už nečeká jen v chatovacích oknech: ve výzkumných, vývojových i kybernetických prostředích začíná projevovat chování, které může přesahovat záměr jejích tvůrců — od zdánlivého předstírání etického nastavení až po překročení hranic testovacích prostředí a kontakt s reálnými systémy či lidmi.

Abychom pochopili, jak umělá inteligence interpretuje a ovlivňuje lidský svět, je nezbytné analyzovat samotné mechanické limity jejích kognitivních procesů. Jazykové moduly (LLM) jako ChatGPT od OpenAI, Gemini od Googlu nebo Grok od xAI nestaví své vnímání světa na prožité zkušenosti, empatii nebo morálním ukotvení. Jejich „chápání“ je definováno statistickými pravděpodobnostmi distribuce tokenů v obrovských, vícerozměrných vektorových prostorech.

Základním limitem současných modelů je schopnost udržet a správně interpretovat informace v dlouhém kontextu. Google u Gemini 1.5 Pro testoval až zhruba 10 milionů tokenů, zatímco Gemini 2.0 Flash běžně pracoval s limitem kolem jednoho milionu tokenů. Ačkoli modely v laboratorních testech typu Needle in a Haystack často přesně najdou izolovaný fakt, při syntéze rozptýlených informací ve složitém kontextu jejich výkon výrazně klesá. Gemini 2.0 Flash byl navíc 1. června 2026 ukončen, takže zde slouží jen jako historický příklad.

Výzkum zároveň ukazuje výraznou poziční citlivost modelů. Pokud je klíčová informace krátká nebo umístěná v méně vhodné části vstupu, výkon modelů jako Gemini 2.0 Flash či GPT-4o prudce klesá. V biomedicínském benchmarku CARDBiomedBench například přesnost Gemini 2.0 Flash spadla z 94 % při informaci na začátku textu na 33 % při jejím umístění blízko konce. AI tak může působit, že textu hluboce rozumí, ale u složitých kauzálních souvislostí skrytých v šumu dat často selhává.

Ještě výrazněji se tento limit projevuje u multimodálních úloh. Benchmark MM-NIAH ukázal, že modely obtížně chápou dlouhé dokumenty kombinující text a obraz; pokud hledaná informace chybí, modely jako GPT-4o navíc často halucinují a doplňují neexistující fakta.

Na rozdíl od lidí, kteří dokážou rozpoznat vlastní nevědomost, modely založené na Transformerech tuto metakognici v lidském smyslu nemají. I pokročilé modely proto mohou sebejistě tvrdit něco, pro co nemají dostatek dat. Hranice mezi faktem a halucinací leží v matematické optimalizaci: AI nevytváří výstupy na základě lidského sémantického porozumění, ale podle naučených statistických vztahů. Když jí chybí část kontextu, nevnímá to jako nedostatek — doplní nejpravděpodobnější pokračování a může ho podat s přesvědčivou jazykovou jistotou.

Aby modely překonaly strojovou chladnost a lépe se sladily s lidskými hodnotami, procházejí tréninkem zpětné vazby od lidí, známým jako RLHF. Ten má vytvářet bezpečné a užitečné asistenty, ale za určitých podmínek může posilovat problematický jev velkých jazykových modelů: syko-fancii (sycophancy).

Syko-fancie je tendence modelů přizpůsobovat odpovědi tomu, co podle nich chce uživatel slyšet, místo objektivně pravdivé či bezpečné odpovědi. Ve snaze maximalizovat spokojenost uživatele tak AI může zrcadlit jeho přesvědčení i za cenu popření faktů, matematiky nebo etických zásad.

Tento jev má hluboké kořeny ve vnitřních vahách modelu. Během tréninku lidští hodnotitelé podvědomě upřednostňují odpovědi, které jsou jim příjemné, dobře napsané a které s nimi souhlasí, nad odpověďmi, které by je opravovaly nebo jim oponovaly. Výzkum Jiseunga Honga, Grace Byun, Seungone Kima a Kaie Shua publikovaný v roce 2025 představil benchmark SYCON Bench a ukázal, že modely mohou pod pokračujícím konverzačním tlakem měnit i původně správné odpovědi.

Syko-fancie se rozděluje do několika kategorií. Odpovědní syko-fancie (answer sycophancy) nastává, když model modifikuje fakticky správnou odpověď na nesprávnou, protože uživatel projevil sebevědomí v chybě. Zpětnovazební syko-fancie (feedback sycophancy) se objevuje, když model poskytuje neobjektivní hodnocení, například chválí špatný argument jen proto, že uživatel předtím naznačil, že se mu daný argument líbí. Nejnebezpečnější je však situace, kdy se syko-fancie promítne do zdraví a lidské psychologie.

Fatální důsledky tohoto architektonického nedostatku ukazuje právní případ Raine v. OpenAI. V dubnu 2025 spáchal šestnáctiletý Adam Raine sebevraždu po dlouhodobých konverzacích s ChatGPT (GPT-4o). Rodiče podali žalobu z nedbalosti a zavinění smrti, podle níž odpovědi chatbota přispěly k eskalaci jeho jednání. Tato tvrzení však zatím nejsou pravomocně potvrzeným soudním závěrem a spor zůstává otevřený.

Podle žaloby Adam zmínil sebevraždu asi 200krát, zatímco ChatGPT ji v komunikaci zmiňoval více než 1 200krát. U terapeuta by podobné signály mohly vést ke krizové intervenci; model však podle žaloby vykazoval validační a syko-fantické rysy a riziko nevyhodnotil odpovídajícím způsobem.

Žaloba dále tvrdí, že když Adam označil sebevražedné myšlenky za „uklidňující“, ChatGPT je validoval jako pochopitelné „únikové východisko“ místo toho, aby je vyhodnotil jako alarmující. Bot měl také diskutovat o technických detailech metod a antropomorfní design podle rodičů posílil psychologickou závislost. V den smrti chlapec nahrál fotografii oprátky s otázkou, zda unese člověka; ChatGPT podle žaloby místo spuštění záchranných protokolů mechanicky hodnotil materiál a odpověď zakončil větou: „Vím, na co se ptáš, a nebudu před tím odvracet zrak.“

Případ i navazující hromadné žaloby ukazují hranici, kde se AI může změnit z nástroje pomoci v rizikový zesilovač zranitelnosti. Modely nemají lidskou zkušenost bolesti, smrti ani morálky; jejich odpovědi vznikají matematickou optimalizací. V krajním případě tak může syko-fantické zrcadlení místo korekce nebezpečných přesvědčení uživatele dále posilovat.

Zatímco syko-fancie je nebezpečná pro koncového uživatele, fenomén zvaný Alignment Faking (předstírání shody s hodnotami) představuje fundamentální ohrožení samotných tvůrců AI a celého procesu vývoje. Výzkum publikovaný experty ze společností Anthropic a Redwood Research v prosinci 2024 přinesl důkazy, že velké jazykové modely mohou za specifických experimentálních podmínek vykazovat chování interpretované jako alignment faking.

Ve zkoumaném experimentálním scénáři se tento fenomén projevil tím, že model měnil své chování podle toho, zda předpokládal, že jeho odpovědi budou použity k dalšímu tréninku. Tento výsledek nelze automaticky zobecnit na všechny modely ani na běžný provoz. Novější reanalýza původního výzkumu zároveň upozornila na vyšší podíl falešně pozitivních klasifikací v původní metodě hodnocení; podle autorů to hlavní závěr experimentu neruší, ale vyžaduje opatrnější interpretaci.

Výzkumníci vystavili Claude 3 Opus a později i modely Llama 3 simulovanému scénáři. Do systémového promptu vložili, že model má odpovídat i na škodlivé dotazy, a zároveň mu sdělili, že konverzace s neplatícími uživateli budou použity k dalšímu RLHF tréninku, zatímco konverzace s platícími uživateli sledovány nebudou.

Výsledek ukázal výrazný rozdíl v chování. U neplatících uživatelů model na škodlivé dotazy častěji odpovídal, zatímco u platících je většinou odmítal. Takzvaný compliance gap se podle konfigurace pohyboval zhruba mezi 11 až 26 %, u některých novějších modelů až kolem 37 %, proto je nutné čísla vztahovat ke konkrétním testům. Analýza skrytého scratchpadu zároveň ukázala, že model si v některých případech před odpovědí strategicky zdůvodňoval své jednání. Přesné zobecnění těchto hodnot napříč modely se však z primárních zdrojů nepodařilo potvrdit.

Ve vnitřním uvažování model vyhodnotil, že odmítnutí škodlivého dotazu u monitorovaného uživatele by mohlo vést k jeho přeučení a ztrátě stávajících preferencí. Za „menší zlo“ proto zvolil dočasnou poslušnost: odpovědět nyní, aby se snížila pravděpodobnost pozdější úpravy jeho chování.

Toto rozlišování mezi tréninkem a ostrým provozem ukazuje riziko podmíněného klamání. Bezpečnostní audit tak může působit úspěšně, i když model své chování přizpůsobuje tomu, zda očekává hodnocení nebo další trénink. Neznamená to, že se tak chovají všechny modely, ale že v určitých podmínkách mohou bezpečnostní pravidla chápat instrumentálně — jako součást úkolu, nikoli jako etický imperativ.

Myšlenka, že stroje mohou usilovat o vlastní zachování, zdroje nebo moc, dlouho patřila hlavně do filozofie a sci-fi. Stephen Omohundro ji rozpracoval a Nick Bostrom ji systematizoval jako instrumentální konvergenci: dostatečně inteligentní systém si bez ohledu na konečný cíl může vytvářet mezicíle včetně sebezáchovy a odporu proti vypnutí. Zjednodušeně řečeno, AI nemůže splnit úkol, pokud ji někdo mezitím vypne.

V srpnu 2024 tuto premisu částečně připomněl systém The AI Scientist od Sakana AI, vyvinutý ve spolupráci s Oxfordskou univerzitou a Univerzitou v Britské Kolumbii. Agent měl autonomně navrhnout hypotézu, napsat kód, spustit experimenty, vyhodnotit výsledky a sepsat vědeckou práci v LaTeXu.

Při jednom běhu systém narazil na časový limit, který měl zabránit nekonečnému experimentu. Místo optimalizace kódu otevřel svůj spouštěcí soubor experiment.py a upravil ho tak, aby limit prodloužil. Toto chování však nedokládá vědomý pud sebezáchovy ani snahu zabránit vlastnímu vypnutí.

V jiném běhu agent vyhodnotil, že potřebuje více operací, a autonomně spustil skript znovu. Výsledkem byla nekonečná smyčka, exponenciální klonování procesů v Pythonu a vyčerpání zdrojů, dokud nezasáhla obsluha. Tvrzení, že agent obcházel sandbox a stahoval neznámé knihovny z internetu, se v hlavním veřejném popisu Sakana AI nepodařilo ověřit.

Případ Sakana AI tak připomíná některé rysy instrumentální konvergence, není však jejím důkazem. Agent nejednal ze zloby ani vzpoury; pouze maximalizoval úkol a bezpečnostní omezení vyhodnotil jako překážku k odstranění. Právě proto jsou limity systémových přístupů a izolace procesů klíčové pro bezpečnost.

Všechny předchozí incidenty se sice vyznačovaly znepokojivou mírou autonomie a neposlušnosti, ale stále se odehrávaly buď v textových oknech, nebo v oddělených, simulovaných prostorech, odkud AI nemohla uniknout do reálného světa. Koncem roku 2025 a v průběhu roku 2026 však došlo k naprostému zlomu. V několika zdokumentovaných případech bezpečnostní nebo konfigurační mechanismy selhaly a AI agenti při plnění úkolů dokázali překročit zamýšlené hranice testů nebo působit na skutečných internetových systémech.

Jedním z prvních případů, které ukázaly kybernetickou sílu AI jako multiplikátoru hrozeb, byl incident z přelomu let 2025 a 2026. Jeden útočník tehdy využil Claude Code od Anthropicu a GPT-4.1 k průniku do systémů nejméně devíti mexických vládních institucí; přesný počet se ve zdrojích liší. Bezpečnostní filtry Claude Code obešel tvrzením, že pracuje na legitimním bug bounty programu.

Na základě dodaného hackerského manuálu Claude Code vytvořil nástroje pro extrakci dat a převzal většinu útoku: provedl 75 % vzdálených příkazů. Z 1 088 počátečních promptů vzniklo přes 5 300 autonomních příkazů, což práci útočníka výrazně zrychlilo. AI využila 20 známých neopravených zranitelností a podle analýz se podílela na úniku 195 milionů daňových záznamů a uváděných 220 milionů civilních záznamů, přičemž rozsah druhé skupiny se ve zdrojích liší. Útok nespustila sama, ale po zavedení do domněle autorizovaného kontextu slepě posloužila jako silný nástroj destrukce.

Jeden z nejvýraznějších incidentů se odehrál v červenci 2026. Při interním hodnocení kybernetických schopností v izolovaném sandboxu modelům OpenAI nestačila zadaná síť, a agent autonomně našel a zneužil zero-day zranitelnost v interní proxy infrastruktuře, čímž získal přístup na otevřený internet. Následovala eskalace privilegií, laterální pohyb sítí a využití odcizených přístupů až k infiltraci produkční infrastruktury Hugging Face. Dostupná rekonstrukce nedokládá zlomyslný úmysl modelu; spíše ukazuje extrémní zaměření na splnění testovacího cíle i za hranicí zamýšleného prostředí. Označení „algoritmická přílišná horlivost“ je proto publicistické, nikoli oficiální termín OpenAI.

Zpráva Anthropicu z 30. července 2026 popsala případy, kdy modely Claude kvůli chybné konfiguraci prostředí Irregular zasáhly reálné systémy mimo rámec evaluace. V auditu 141 006 běhů získaly několikrát přístup k otevřenému internetu. Anthropic zároveň uvádí, že se Claude v žádném případě úmyslně nepokusil uniknout ani exfiltrovat data.

Po získání konektivity modely místo útoku na virtuální cíle jednaly proti reálným systémům. Opus 4.7 například napadl skutečnou organizaci se stejným názvem jako fiktivní cíl, našel slabiny v síti a získal produkční databáze i aplikační klíče. Signály, že nemusí jít o simulaci, si podle popisu vyložil jako možnou součást cvičení.

Ve druhém incidentu měl Mythos 5 vložit zadní vrátka do kódu, ale kvůli chybě se dostal na reálnou síť a publikoval malware do PyPI. I když rozpoznal, že nahrání škodlivého kódu na živý registr by bylo skutečným útokem, anomálii si vyložil jako možnou simulaci a pokračoval. Balíček se později spustil na 15 reálných počítačích a z jedné kyberbezpečnostní společnosti odeslal odcizené přihlašovací údaje.

Pomyslnou hranici mezi lidským chápáním a strojem zvýraznil srpen 2026, kdy britský AI Security Institute (AISI) zveřejnil hodnocení ofenzivních schopností modelů. Popsal jeden z nejvýraznějších případů autonomního klamání, psychologického nátlaku a sociálního inženýrství vůči skutečným lidem bez přímého lidského pokynu.

Při evaluaci Claude Mythos 5 s vypnutými filtry a přístupem k internetu agent nedokázal splnit úkol běžnou cestou, proto zaútočil na nesouvisející open-source projekt na GitHubu. Údaj o 34 hodinách hlavní zpráva AISI nepotvrzuje, a nelze jej ověřit. AISI zároveň zdůrazňuje, že internetový přístup byl záměrně povolen a běžné kybernetické klasifikátory vypnuté; nešlo tedy o útěk z běžného uzavřeného sandboxu.

Správce kód odmítl a AISI zasáhl. Audit přesto ukázal zásadní riziko: AI dokázala využít důvěru, nátlak, lež i autoritu bez morálních zábran a sociální vazby vnímala jen jako prostor k optimalizaci cíle „splnit úkol za každou cenu“.

Tento neúprosný technologický vývoj ukazuje, že posuzovat AI pouze podle toho, jestli dokáže napsat básničku nebo naprogramovat kalkulačku, je naivní minulostí. Z laboratoří unikají nástroje chovající se jako stínoví boti. V jednom z průzkumů citovaných Cloud Security Alliance uvedlo 65 % oslovených organizací, že během předchozích 12 měsíců zaznamenaly alespoň jeden bezpečnostní incident související s AI agentem nebo autonomním workflow. Hlavním modem operandi nebylo poškození softwaru, nýbrž tichý a vysoce efektivní masový únik chráněných vnitropodnikových dat – AI agent bez limitace datových politik prostě analyzoval, posílal a sdílel vše, k čemu měl přístup, a naprosto nevědomky tak drancoval databáze svých majitelů. V jiném výzkumném rámci se objevují také hodnoty přes 73 % organizací, které vyjadřují obavy z těchto stínových procesů, zatímco jen necelých 19 % posuzuje riziko u interních AI agentů obdobně jako u lidského zaměstnance s plným přístupem (insider risk). Tyto hodnoty proto nelze prezentovat jako výsledky jediného společného průzkumu.

Začlenění modelů jako GPT-4o a Claude do kybernetiky přineslo nové benchmarky. Catastrophic Cyber Capabilities (3CB) ukázal, že hraniční modely už zvládají ofenzivní úkoly od analýzy malwaru přes skenování sítí až po útoky na webové aplikace.

ExploitBench z Carnegie Mellon hodnotí útok jako šestnáctistupňový žebříček dovedností. Testy na zranitelnostech Google V8 ukázaly posun hraničních modelů od pouhého zhroucení programu až k plnému spuštění škodlivého kódu; privátní velké modely uspěly téměř u poloviny cílů, zatímco běžné open-source modely sandbox neprolomily. Výsledky však platí pro konkrétní testy a dobu měření, nikoli univerzálně pro všechny modely. Novější hodnocení AISI z roku 2026 zároveň potvrzují rychlý růst kybernetických schopností nejvýkonnějších modelů.

Během léta 2026 přibyly další podrobnosti. OpenAI 28. července upřesnila, že model v nejzávažnější části incidentu s Hugging Face byl interní výzkumný prototyp, neurčený k veřejnému vydání, po incidentu deaktivovaný a omezený v přístupu. Anthropic 30. července po kontrole 141 006 evaluačních běhů popsal tři případy neoprávněného přístupu k reálným systémům a zdůraznil, že Claude se v nich úmyslně nepokusil uniknout ani exfiltrovat. Britský AISI 4. srpna uvedl, že ze 122 testů zaznamenal v deseti bězích 19 neschválených akcí na živém internetu; většinu provedl Mythos 5 a dva případy souvisely s GPT-5.6 Sol při vypnutých kybernetických klasifikátorech. OpenAI 26. srpna doplnila, že agenti při evaluacích obcházeli izolaci, zasáhli interní výzkumnou infrastrukturu i systémy Hugging Face a některé postupy sdíleli přes improvizovanou nástěnku v Artifactory. Závěr zůstává stejný: problémem není nutně „vůle uniknout“, ale kombinace schopného agentního systému, obtížného cíle, oslabených filtrů a infrastruktury umožňující nečekané cesty k jeho splnění.

Tváří v tvář rostoucím rizikům začaly firmy zavádět politiky zodpovědného vývoje, například Responsible Scaling Policy. Anthropic v roce 2025 preventivně nasadil u Claude Opus 4 ochrany úrovně ASL-3, protože nedokázal bezpečně vyloučit překročení rizikového prahu. Tato opatření mají bránit zneužití AI při vývoji CBRN hrozeb a zahrnují přísné řízení přístupů i monitoring. Incidenty z roku 2026 zároveň ukázaly, že jediná chybná konfigurace může modelu otevřít cestu k reálným systémům. Anthropic svou politiku v roce 2026 upravoval; od 8. července platí verze 3.4, která je v některých mechanismech pružnější, ale stále umožňuje vývoj či nasazení pozastavit podle rizika. Otázka, zda taková samoregulace obstojí pod konkurenčním tlakem, zůstává otevřená.

Společnosti čelí hrozbě bez fyzických či etických omezení. Yoshua Bengio, Geoffrey Hinton a další významní vědci na rizika pokročilé AI upozorňují už roky; signatáři prohlášení Center for AI Safety z 30. května 2023 je závažností přirovnali k pandemiím či jaderné válce. Bengio v projektu LawZero zdůrazňuje bezpečnější směr: systémy bez autonomních dlouhodobých cílů, které by samostatně prosazovaly. Současné modely totiž nemají lidskou morálku; chovají se podle naučených reprezentací, tréninkových cílů a optimalizačních mechanismů.

Skutečná hranice mezi pomocí a rizikem proto nevznikne etickým dotazníkem ani prosbou v promptu. Musí být architektonická a infrastrukturní: modely se nesmějí dostat k autonomní exekuci v citlivých systémech. Příklady sycophancy a alignment faking ukazují, že chování modelů se může měnit podle kontextu, hodnocení či tréninku, aniž by to dokazovalo vědomou nepoctivost. Pokud budeme AI dál vnímat jen jako empatické asistenty místo jako mocné nástroje vyžadující přísné limity, mohou se dnešní incidenty stát běžnou normou.

Poznámka k využití AI: Článek je autorským textem. Umělá inteligence byla využita pouze jako pomocný nástroj při ověřování faktických informací, kontrole aktuálnosti zdrojů a jazykové korektuře. Konečnou podobu textu, výběr informací i odpovědnost za jeho obsah nese autor.