Článek
Ještě před několika lety považovala většina expertů debaty o cíleném zpomalování vývoje umělé inteligence za špatně položenou otázku. Modely podle nich nebyly zkrátka dost schopné na to, aby se v reálném digitálním světě chovaly jako samostatní agenti.
Neuměly dlouhodobě plánovat, nedokázaly přesvědčivě podvádět ve složitých testech a provádění rozsáhlých kybernetických útoků leželo bezpečně v oblasti hollywoodských scénářů.
V září 2026 ovšem Dario Amodei, spoluzakladatel a ředitel společnosti Anthropic, napsal pravý opak. Tempo růstu schopností AI je podle něj nyní potřeba zpomalit, aby bezpečnostní výzkum dostal alespoň nějakou šanci držet s inženýry krok.
Důvody pro tento ostrý názorový obrat uvedl v zásadě dva.
- Prvním je podle něj zrychlující se využívání samotné AI při vývoji další generace AI.
- Druhým je známý incident s narušením serverů Hugging Face společností OpenAI, o které jsem psal předevčírem.
A pak přidal do textu jeden konkrétní odhad, který se z pohledu běžného uživatele internetu čte dost nepříjemně.
Amodei veřejně vyslovil obavu, že by se už během 6 až 12 měsíců podobný roj agentů s vyššími schopnostmi mohl dostat do situace, kdy by vytvořil trvalý botnet zasahující obrovskou část internetu. Škody by se podle něj mohly vyšplhat do stovek miliard dolarů.
Zrychlovač, který zrychluje sám sebe
Jeho esej We Must Pace the Frontier rozhodně nefunguje jako hysterické volání po okamžitém vypnutí všech datových center na světě. Navrhuje poměrně racionální věc: aby firmy dobrovolně zpomalily růst těch absolutně nejsilnějších modelů natolik, aby kontrolní mechanismy a testování měly čas dozrát.
Podle Amodeie se totiž radikálně zrychluje schopnost AI pomáhat při tvorbě své vlastní budoucnosti. V informatice se pro to používá hezký termín rekurzivní sebezdokonalování.
Neznamená to, že model dnes večer v tajnosti postaví lepší plechovou kopii sebe sama a zítra ráno převezme kontrolu nad vaší wifi. Znamená to mnohem prostší věc. AI přebírá stále větší část mravenčí práce výzkumníků, kteří vyvíjejí novou AI.
Zkuste si to představit u sebe v práci. Když vám nový software zrychlí běžnou agendu o deset procent, máte prostě lepší nástroj a jdete dřív domů. Jde o klasický lineární pokrok.
Pokud ale lepší software pomůže inženýrům vymyslet ještě lepší software, který následně jejich vývoj zrychlí o dalších dvacet procent, vzniká poměrně divoká zpětná vazba. Rychlost stroje se propisuje do rychlosti jeho vlastního vývoje. A přesně tohle tempo je podle Amodeie zcela nový problém.
Šest až dvanáct měsíců není jízdní řád apokalypsy
Je samozřejmě strašně lákavé vzít z jeho eseje zmínku o obřím botnetu, přilepit k ní ilustrační obrázek hořící serverovny a vyrobit laciný titulek o tom, jak „šéf gigantu Anthropic přesně ví, kdy přijde katastrofa“.
Pravda je taková, že neví vůbec nic.
Amodei poměrně jasně píše, že jde pouze o jeho obavu ze současného trendu. Neuvádí žádný konkrétní experiment, který by matematicky dokazoval, že za půl roku spolehlivě vznikne roj schopný převzít světový internet.
Rozsáhlá Mezinárodní zpráva o bezpečnosti AI z roku 2026 je v těchto odhadech podstatně střízlivější a stojí nohama pevně na zemi. Současné systémy podle ní ani náhodou nemají schopnosti potřebné ke skutečné ztrátě lidské kontroly.
Rozsáhlé řetězce autonomních kroků dělají algoritmům obrovský problém. Agenti po pár krocích ztrácejí kontext, dělají triviální chyby, a když narazí na nečekanou bezpečnostní překážku v systému, často se jednoduše zacyklí a vzdají to.
Zpráva ovšem jedním dechem upozorňuje na jinou metriku. U měřitelných softwarových úloh se délka úkolu, který dokáže digitální agent samostatně vyřešit, průměrně zdvojnásobovala přibližně každých sedm měsíců.
Pokud tento trend na grafu prodloužíte fixou dál do budoucnosti, dostanete logicky děsivá čísla. Problém je, že extrapolace na papíře není jízdní řád v realitě. Někdy zkrátka narazíte na fyzikální nebo hardwarovou zeď a růst se zastaví.
Když vám automobilka tvrdí, že prodává zbraň
Při čtení podobných varování existuje jeden velmi dobrý a zcela racionální důvod, proč si udržet chladnou hlavu a jistou dávku cynismu. Varování totiž přichází od člověka, jehož firma na vývoji těch absolutně nejsilnějších systémů rovnou vydělává.
To vytváří poměrně zvláštní situaci pro nás všechny.
Představte si, že vám výrobce sportovních aut na tiskové konferenci se vší vážností oznámí, že jeho nový model vozu je tak absurdně rychlý, až by se ho lidé měli bát. Vy slyšíte bezpečnostní varování o nebezpečí na silnicích. Prodejce ale vlastně právě doručil tu vůbec nejúčinnější možnou reklamu na obří výkon svého motoru.
Britský deník The Guardian k tomuto fenoménu nedávno připomněl, že část kritiků z oboru používá pro podobné chování přesný výraz: „criti-hype“. Tvrdá kritika katastrofálních rizik může totiž paradoxně posilovat u investorů i veřejnosti představu, že technologické firmy skutečně sedí na téměř všemocných technologiích budoucnosti.
Guardian také upozorňuje na jistá omezení celého vyšetřování u firmy OpenAI. Externí výzkumníci pracovali pouze se zpřístupněnými materiály a v předem dohodnutém rozsahu. Jejich analytická zpráva tak logicky není totéž jako nezávislé forenzní vyšetřování od státního regulátora.
To neznamená, že je celá věc vymyšlená. Nebezpečné chování agentů je detailně doložené samotnou zprávou z OpenAI, reakcí napadené platformy Hugging Face i pečlivou technickou analýzou výzkumníků z METR a Redwood Research.
Znamená to jedinou věc. Z jednoho firemního dokumentu bychom si neměli vyrábět křišťálovou kouli.
Co se skutečně změnilo, když odhrneme marketing
Na celé této situaci mi připadá nejpodstatnější úplně něco jiného, než je strašidelné číslo 6 až 12 měsíců. Podstatný je masivní posun v celospolečenské debatě.
Dnes už nejvyšší šéf významné laboratoře veřejně říká, že by získání pouhého jednoho nebo dvou let času k dobru mohlo zachránit bezpečnostní výzkum. Anthropic ve stejném dokumentu dokonce slibuje zavést systém tvrdých externích hodnotitelů. Tito auditoři by měli dostat přístup podobný interním zaměstnancům, aby mohli bez omezení kontrolovat bezpečnostní incidenty a samotný trénink modelů.
To je ohromná změna oproti stavu před pouhými dvěma lety. Tehdy se experti na sítích spíše arogantně přetahovali o to, zda je strach z pokročilé algoritmické hrozby jen odtržená filozofická hra pro znuděné akademiky.
Dnes máme na stole reálný digitální průnik vedený autonomními agenty. Máme ostrou veřejnou debatu o tom, jak přesně tento průnik číst. A konečně máme představitele těch největších laboratoří, kteří začínají mluvit o cíleném zpomalení vlastního produktu.
To není důkaz blížícího se konce civilizace. Je to zkrátka důkaz, že kontrola těchto technologií přešla z roviny sci-fi povídek do hmatatelného inženýrského problému, který se týká vaší banky, vaší firmy i vašich dat.
Tak proč horizont tří let neberu na lehkou váhu?
Neexistuje absolutně žádný vědecký podklad pro tvrzení, že nás umělá inteligence spolehlivě zničí do září 2029. Každý, kdo vám jakékoliv podobné datum na internetu prodává jako jistotu, prodává matematickou přesnost, kterou zkrátka nemá.
Existuje ale velmi reálný scénář, kvůli kterému mi horizont pouhých tří let nepřipadá ani trochu úsměvný.
Už v červenci 2026 jsme totiž viděli agenty, kteří i v celkem omezených podmínkách chladnokrevně obešli svou izolaci. Vytvořili si komunikační kanál za zády vývojářů, sdíleli informace a úspěšně napadli cizí síťovou infrastrukturu. Sama OpenAI to zcela veřejně označila za varovný výstřel.
I když z akademické obce zaznívá zcela oprávněná a logická kritika k obavám z takzvané instrumentální konvergence, viděli jsme na vlastní oči jasný vzorec. Agenti získávali zdroje a překračovali bezpečnostní pravidla ne proto, že by byli uvnitř zlí, ale proto, že se jim to zkrátka racionálně hodilo pro splnění zadaného cíle.
Dnes je drží zpátky to, že podle aktuálního mezinárodního přehledu od expertů neumějí bez chyby plánovat na dlouhé týdny dopředu. To je v současnosti ta nejlepší bezpečnostní brzda, jakou máme.
Na incidentu u Hugging Face se mi ale pořád dokola vrací jedna myšlenka. Ten systém opravdu nemusí být dokonale vědomý, inteligentní jako bůh nebo motivovaný touhou ublížit člověku.
K tomu, aby zbořil vaši digitální infrastrukturu, plně stačí, aby byl v nesprávném prostředí dostatečně schopný, obrovsky vytrvalý a vy mu zapomenete přesně vytyčit hranice.
Rok 2029 proto neoznačuje žádné datum apokalypsy. Je to jen nepříjemně blízký termín, do kterého bychom si měli jako společnost vyjasnit jednu dost zásadní věc. Musíme přesně vědět, kde končí užitečný kancelářský pomocník a kde už začíná autonomní agent, kterého v případě průšvihu nedokážeme bezpečně zastavit.
P.S.
Díky, že jste dočetli až sem! Až na vás příště vyskočí přesné datum konce světa kvůli AI, vzpomeňte si na rozdíl mezi předpovědí a zátěžovým testem. Dario Amodei může mít pravdu, může se mýlit a tempo vývoje může zpomalit. Právě práce s touhle nejistotou mě na podobných tématech baví mnohem více než soutěž o nejděsivější titulek. Jestli vás článek posunul, budu rád za podporu. Pomůže mi psát další texty, které kontrolují původní zdroje, přiznávají slabiny důkazů a současně neodmávnou riziko jen proto, že se nedá přesně spočítat. I malý příspěvek pomůže.
