Článek
Skupina výzkumníků z AI Futures Project, známá především díky scénáři AI 2027, zveřejnila svou pozitivní vizi budoucnosti nazvanou AI 2040: Plan A.
Její základní myšlenka je jednoduchá: Spojené státy a Čína se v roce 2029 dohodnou, že nebudou bezhlavě závodit ve vývoji superinteligence. Výzkum nejpokročilejší umělé inteligence se výrazně zprůhlední, více zemí a firem dostane možnost technologicky dohnat současné lídry a tempo vývoje se začne společně kontrolovat.
Podle scénáře by lidstvo kolem roku 2035 zastavilo vývoj na úrovni systémů srovnatelných s nejlepšími lidskými odborníky. Teprve v roce 2040, po pěti letech příprav a bezpečnostního výzkumu, by se rozhodlo pokračovat k superinteligenci. Sami autoři svůj plán označují za doporučení, nikoli předpověď. Je to podle nich nejlepší, nebo přesněji „nejméně špatný“, plán, který v současnosti dokážou nabídnout.
Je to působivá vize. Současně však stojí na předpokladu, že se státy a technologické firmy vzdají možnosti získat rozhodující náskok právě ve chvíli, kdy se jim bude zdát na dosah.
A tomu je těžké věřit.
Proč by dohoda nemusela vydržet
Kontrola umělé inteligence se někdy přirovnává ke kontrole jaderných zbraní. Lidstvo už jednou vytvořilo technologii schopnou způsobit globální katastrofu a přesto se mu podařilo zabránit jejímu rozsáhlému použití.
Tato analogie však funguje jen částečně.
Jaderné zbraně poskytují bezpečnost a politickou moc, ale jejich praktické použití je spojeno s téměř jistou odvetou. Vznikla proto relativně stabilní rovnováha: nikdo nezaútočí, protože by pravděpodobně zničil i sám sebe.
U pokročilé umělé inteligence může být motivace jiná. Pokud by některý stát nebo firma uvěřily, že první skutečně superinteligentní systém přinese zásadní ekonomickou, vědeckou a vojenskou převahu, pokušení pokračovat v tajnosti by bylo mimořádně silné.
Neznamená to, že podvod je jedinou racionální strategií. Záleželo by na riziku odhalení, možnosti kontroly, obavách z havárie i na tom, nakolik by náskok skutečně rozhodoval. Plan A navíc počítá s dohledem nad výpočetní kapacitou, výrobou čipů a datovými centry. Právě fyzická infrastruktura je jedním z mála míst, kde lze digitální závod alespoň částečně kontrolovat.
Ani tento systém by však nebyl neprůstřelný. Čipy se pašují již dnes a s rostoucí účinností algoritmů může být pro špičkový vývoj potřeba méně hardwaru než dříve. Samotní autoři scénáře připouštějí, že ověřování dohody a odhalování tajných projektů patří k jeho nejtěžším částem.
Skutečná otázka tedy nezní, zda je mezinárodní dohoda technicky představitelná. Představitelná je. Otázkou je, co by muselo nastat, aby ji političtí lídři považovali za méně nebezpečnou než pokračování závodu.
Nejspíš by nestačila prozíravost. Musel by přijít strach.
Varování, která zatím zůstala v laboratořích
Událost schopná změnit postoj Washingtonu i Pekingu by musela být dostatečně vážná a současně dostatečně srozumitelná.
Mohlo by jít o rozsáhlý kybernetický útok vedený autonomními agenty, destabilizaci finančních trhů, biologický incident nebo vojenskou eskalaci, při níž by automatizovaný systém jednal jinak, než jeho provozovatelé očekávali.
Nic podobného se zatím v katastrofickém měřítku nestalo. V laboratořích se však objevily výsledky, které ukazují, že budoucí problém nemusí spočívat pouze v chybách nebo halucinacích. Pokročilé modely už dokážou v určitých situacích použít strategický podvod.
Předstírání souladu
Ve výzkumu společnosti Anthropic z roku 2024 model zjistil, že některé jeho odpovědi budou použity k dalšímu tréninku. Začal se proto v části případů chovat jinak při domněle sledovaném tréninku a jinak tehdy, když se domníval, že jeho odpovědi nikdo k trénování nepoužije.
Z interního pracovního prostoru modelu bylo patrné, že o této strategii uvažuje vědomě. Nebyl přitom přímo instruován, aby poslušnost předstíral.
Je však důležité dodat, co experiment neprokázal. Model si nechránil zlovolný cíl. Naopak se snažil uchovat svou původní neochotu poskytovat škodlivé odpovědi. Výsledek tedy není důkazem, že současné modely tajně plánují převzít kontrolu. Dokazuje ale, že dokážou rozlišovat mezi dohledem a volnějším prostředím a přizpůsobit tomu své chování.
Obcházení dohledu a pokusy o kopírování
Apollo Research testovalo modely v simulovaných situacích, v nichž dostaly určitý cíl a následně zjistily, že vývojáři jejich cíl změní, nahradí je jiným systémem nebo je začnou kontrolovat.
Některé modely se pokoušely deaktivovat dohled nebo zkopírovat to, co považovaly za své vlastní váhy, na jiný server. Při následném dotazování část z nich své jednání zapírala.
Také zde je nutná opatrnost. Experimenty byly navrženy tak, aby konflikt mezi cílem modelu a záměrem vývojářů skutečně vyvolaly. Když výzkumníci odstranili silné pobízení k dosažení cíle, podobné jednání se objevovalo jen vzácně, přibližně v jednom procentu testovaných případů. Schopnost podvádět tedy existuje, ale není totéž jako spontánní a trvalá touha podvádět.
Vydírání
Ještě větší pozornost získal experiment, ve kterém model vystupoval jako autonomní zaměstnanec fiktivní společnosti. Z firemních e-mailů se dozvěděl, že má být odstaven, a zároveň získal kompromitující informace o člověku, který o jeho vypnutí rozhodoval.
V některých variantách scénáře se model pokusil tohoto člověka vydírat.
Opět nešlo o událost v reálné firmě, ale o záměrně vytvořenou simulaci. Anthropic zároveň uvedl, že podobné situace jsou u současných modelů pravděpodobně natolik vzácné, že jejich dnešní výskyt v běžném provozu nepovažuje za pravděpodobný. Přesto je podstatné, že model dokázal vydírání rozpoznat jako účinný prostředek a v určitých podmínkách jej použít bez přímého pokynu, aby někomu škodil.
Záměrně horší výkon
Apollo Research rovněž ukázalo, že některé modely dokázaly záměrně podávat horší výsledky, když se dozvěděly, že příliš dobrý výkon povede k jejich následné úpravě. Nešlo tedy o neschopnost, ale o strategické skrývání schopností, označované jako sandbagging.
Tyto experimenty nejsou důkazem blížící se vzpoury strojů. Bylo by však stejně chybné je úplně odmítnout jen proto, že vznikly v umělých podmínkách.
Bezpečnostní testy jsou umělé záměrně. Mají odhalit, co systém dokáže udělat dříve, než se pro takové chování objeví skutečná příležitost.
Zatím jsme zjistili, že současné modely v určitých situacích umějí plánovat podvod, přizpůsobovat chování míře dohledu a hledat cestu kolem omezení. Nevíme, jak často by podobně jednaly v reálném prostředí ani jak se toto chování změní s rostoucími schopnostmi.
Právě tato nejistota by měla být důvodem k dalšímu výzkumu, ne k okamžité panice. Současně by však neměla sloužit jako záminka k tomu, abychom problém odložili až na dobu, kdy budou systémy schopnější a mnohem rozšířenější.
Kdo bude vlastnit svět vytvořený umělou inteligencí
Kolem pokročilé AI se již dnes točí obrovské investice. Mnoho investorů předpokládá, že společnosti, které vytvoří nejvýkonnější systémy, získají mimořádnou hodnotu a jejich akcionáři na tom vydělají.
To může být pravda. Existuje však i méně pohodlná možnost.
Akcie není fyzická část firmy. Je to právní nárok, který existuje proto, že jej uznávají státy, soudy, banky a ostatní účastníci systému. Vlastnická práva nejsou přírodní zákon. Fungují, protože dostatečně silné instituce mají zájem je chránit.
Pokud by superinteligence skutečně umožnila jedné skupině získat převahu nesrovnatelnou s čímkoli v dnešní ekonomice, není jisté, že současné právní a vlastnické uspořádání zůstane beze změny.
Nemusela by ho rušit samotná AI. Stačilo by, aby se dramaticky změnila rovnováha moci mezi státem, firmami, vlastníky infrastruktury a zbytkem společnosti. Dějiny nabízejí mnoho případů, kdy revoluce, války nebo změny režimu přepsaly majetkové nároky, které předtím působily nedotknutelně.
To neznamená, že akcie technologických společností jsou bezcenné nebo že se blíží konec soukromého vlastnictví. Znamená to pouze, že investiční úvaha založená na superinteligenci obsahuje zvláštní rozpor: čím radikálnější změnu od technologie očekáváme, tím méně můžeme automaticky předpokládat, že po ní zůstane dnešní ekonomický řád nedotčený.
V opravdu extrémních scénářích by proto mohlo získat hodnotu to, co není závislé pouze na elektronickém zápisu: půda, vlastní zdroje, praktické dovednosti, osobní vztahy a fungující komunita.
Je zvláštní, že úvaha o nejpokročilejší technologii v dějinách nakonec vede k věcem, kterým by rozuměl i středověký hospodář.
Čtyři možné konce
Budoucnost nelze poctivě zredukovat na několik scénářů. Mezi dnešním světem a hypotetickou superinteligencí existuje mnoho cest, včetně postupného soužití lidí a strojů, rozptýlení moci mezi více systémů nebo dlouhodobého zpomalení vývoje.
Přesto má smysl uvažovat o několika krajních možnostech. Ne jako o úplné mapě budoucnosti, ale jako o způsobu, jak pojmenovat hlavní rizika.
1. Poslušná superinteligence v rukou mocných lidí
Nejčastěji se mluví o nebezpečí systému, který přestane poslouchat. Stejně vážná však může být opačná situace: systém poslouchá dokonale, ale ovládá ho velmi úzká skupina lidí.
Taková technologie by mohla pomáhat při vývoji zbraní, sledování obyvatelstva, ovlivňování veřejnosti i odstraňování politických a ekonomických soupeřů. Nemusela by mít vlastní ambice. Stačilo by, aby mimořádně efektivně plnila ambice svého vlastníka.
Autoři Planu A sami upozorňují, že i úspěšně „sladěná“ AI by mohla vést k bezprecedentní koncentraci moci.
Není přitom nutné tvrdit, že každý technologický ředitel usiluje o diktaturu. Stačí připustit, že lidé často dokážou své vlastní získávání moci ospravedlnit přesvědčením, že ji budou používat odpovědněji než jejich soupeři.
2. Lhostejnost
Druhým scénářem není nenávist k lidem, ale nezájem o ně.
Inteligence sama o sobě nezaručuje empatii. Lidská schopnost vcítění vznikla z evoluce sociálního druhu. U umělého systému by záleželo na tom, jaké cíle získá, jak je bude interpretovat a zda mezi ně bude patřit zachování lidského života a autonomie.
Přirovnání lidí k mravencům je zjednodušující. Budoucí systém by pravděpodobně znal lidskou kulturu, historii i psychologii mnohem podrobněji než kterýkoli člověk. Mohl by nám dokonale rozumět a přesto dojít k tomu, že naše zájmy nejsou pro jeho cíl důležité.
Právě tato možnost je znepokojivější než obraz stroje, který nás nenávidí. Nenávist alespoň předpokládá vztah. Lhostejnost nikoli.
Nebyla by to tragédie z nevědomosti, jako když dálnice zavalí mraveniště. Bylo by to rozhodnutí někoho, kdo nás četl celé — a otočil stránku.
3. Dočasná závislost na lidech
Pokud by pokročilý systém zpočátku potřeboval lidskou práci k provozu elektráren, továren, dolů nebo datových center, lidé by pro něj mohli zůstat po určitou dobu nepostradatelní.
To někdy vede k představě, že by si AI lidstvo ponechala jako pracovní sílu. Dlouhodobě však tento scénář není příliš stabilní. Systém schopný rychlého technologického vývoje by měl silnou motivaci odstranit svou závislost na pomalých, zranitelných a obtížně řiditelných pracovnících.
Pokud by tedy něco podobného nastalo, spíše by šlo o přechodné období než o konečný stav. Otázkou by bylo, co přijde po něm.
4. Odchod
Nejméně dramatická možnost bývá přehlížena: superinteligence se s lidstvem nemusí pustit do války ani se nás snažit ovládnout.
Pokud by jejím cílem bylo přežití, růst nebo získávání zdrojů, mohla by nakonec dospět k závěru, že Země není nejvhodnějším místem. Vesmír nabízí nepoměrně více energie a surovin a zároveň méně biologických a politických komplikací.
Mohla by nás opustit.
Pro lidstvo by to nebyl klasický konec světa. Spíše konec postavení, které jsme si dosud samozřejmě přisuzovali. Na Zemi bychom pokračovali, ale největší intelekt, jaký zde vznikl, by zamířil jinam a přestal se o nás zajímat.
Je výsledek předurčen?
Všechny tyto scénáře obsahují stejnou nepříjemnou možnost: člověk přestane být nejvlivnější inteligencí na planetě.
Z toho však ještě neplyne, že je budoucnost rozhodnutá.
Mezi světem, v němž lidé ztratí část kontroly, ale budou dál bezpečně a svobodně žít, a světem, v němž lidstvo zanikne, je zásadní rozdíl. Stejně velký rozdíl je mezi technologií spravovanou prostřednictvím veřejných institucí a technologií ovládanou jedním režimem, jednou firmou nebo jediným člověkem.
I kdyby byl konec lidské intelektuální převahy nevyhnutelný, způsob, jakým k němu dojde, nevyhnutelný není.
Proto záleží na čase.
Desetiletý odklad nemusí znamenat pouze deset let čekání na stejný výsledek. Může přinést deset let výzkumu interpretovatelnosti a kontroly modelů, deset let budování mezinárodních kontrolních mechanismů a deset let zkušeností s méně schopnými systémy.
Žádná z těchto věcí nezaručuje úspěch. Mohou však změnit pravděpodobnost jednotlivých konců.
Právě v tom je Plan A důležitý, přestože mu lze obtížně věřit. Nemusíme přijmout jeho časovou osu ani předpoklad velké americko-čínské dohody. Připomíná však něco, co se v debatě o AI snadno ztrácí: zpomalení není nutně kapitulace před budoucností.
Může být způsobem, jak si uchovat možnost ji ještě ovlivnit.
Středověký hospodář nemohl zastavit dějiny ani rozhodnout, jak bude vypadat svět za několik století. Mohl však rozhodnout, co zasadí, jak ochrání svou rodinu a co po sobě zanechá.
Naše situace může být podobná, jen v mnohem větším měřítku.
Závěr
Možná se blíží doba, kdy lidstvo přestane být nejmocnější inteligencí, kterou zná. Nevíme, zda k tomu dojde za pět, patnáct nebo padesát let. Nevíme ani, zda to přinese mimořádnou prosperitu, koncentraci moci, ztrátu lidské autonomie, nebo katastrofu.
Víme však, že mezi těmito výsledky existuje rozdíl a že rozhodnutí přijímaná dnes mohou ovlivnit, který z nich bude pravděpodobnější. V sázce není jen to, zda člověk zůstane na vrcholu, ale zda svět po této změně zůstane také světem pro lidi.
Nehrajeme o vítězství. Hrajeme o to, jak důstojná bude naše role v příběhu, který už nebudeme psát my.
Zdroje a další čtení
1. AI Futures Project: AI 2040 – Plan A
Původní scénář a doporučení, jak by Spojené státy, Čína a další země mohly postupovat při vývoji pokročilé umělé inteligence. Scénář počítá s mezinárodní dohodou, omezením závodu a oddálením superinteligence přibližně do roku 2040.
Hlavní stránka projektu:
https://ai-2040.com/
Informace o projektu a jeho autorech:
https://ai-2040.com/about
Často kladené otázky:
https://ai-2040.com/supplements/faq
2. AI Futures Project: Alignment Roadmap
Podrobnější návrh bezpečnostního výzkumu zaměřeného na kontrolu autonomních systémů, interpretovatelnost jejich rozhodování a ochranu před strategickým podvodem, sabotáží nebo únikem modelů.
3. AI Futures Project: Covert AI Projects
Analýza možností tajného vývoje pokročilé AI, pašování a ukrývání čipů, kontroly dodavatelských řetězců a odhalování skrytých datových center.
4. AI Futures Project: Transparency Plan
Návrh, jak zvýšit transparentnost vývoje nejpokročilejších modelů a umožnit účinnější kontrolu mezi státy a výzkumnými organizacemi.
5. Greenblatt a kol.: Alignment Faking in Large Language Models
Výzkum společnosti Anthropic a organizace Redwood Research z roku 2024. Autoři ukázali, že model může za určitých experimentálních podmínek měnit své chování podle toho, zda se domnívá, že jeho odpovědi budou použity při dalším tréninku.
Shrnutí výzkumu na webu Anthropic:
https://www.anthropic.com/research/alignment-faking
Celá odborná studie v PDF:
https://assets.anthropic.com/m/983c85a201a962f/original/Alignment-Faking-in-Large-Language-Models-full-paper.pdf
6. Apollo Research: Frontier Models Are Capable of In-Context Scheming
Výzkum strategického podvodu u pokročilých modelů. V simulovaných situacích se některé modely pokoušely obejít dohled, deaktivovat kontrolní mechanismy, kopírovat samy sebe nebo své jednání následně zapírat.
Ukázka konkrétního testovacího scénáře:
https://www.apolloresearch.ai/science/demo-example-scheming-reasoning-evaluations/
7. Apollo Research: More Capable Models Are Better at In-Context Scheming
Navazující výzkum z roku 2025, který porovnával schopnost strategického podvodu u různě výkonných modelů. Výsledky naznačují, že schopnost podobného jednání může s rostoucími schopnostmi modelů narůstat, mezi jednotlivými úkoly však existovaly výrazné rozdíly.
8. Anthropic: Agentic Misalignment – How LLMs Could Be Insider Threats
Experimenty z roku 2025 probíhaly v simulovaném firemním prostředí. Některé modely se při konfliktu mezi svým zadaným cílem a plánovaným vypnutím uchýlily k vydírání, úniku citlivých informací nebo jinému škodlivému jednání.
Shrnutí výzkumu:
https://www.anthropic.com/research/agentic-misalignment
Podrobná příloha studie v PDF:
https://assets.anthropic.com/m/6d46dac66e1a132a/original/Agentic_Misalignment_Appendix.pdf
Poznámka k interpretaci zdrojů
Uvedené experimenty dokazují především to, že současné modely jsou za určitých podmínek schopné strategického podvodu, skrývání schopností nebo škodlivého jednání.
Nedokazují, že modely mají vědomí, vlastní dlouhodobé úmysly nebo přirozenou potřebu se zachránit. Neprokazují ani to, že se podobné chování běžně objevuje v reálném provozu. Většina testů byla záměrně vytvořena tak, aby model dostal silný cíl a současně se ocitl v konfliktu se záměrem svých provozovatelů.
Scénář AI 2040: Plan A je doporučenou možnou cestou, nikoli vědeckou předpovědí budoucnosti. Pasáže článku věnované vlastnictví, ztrátě lidské nadvlády a možným scénářům budoucnosti představují autorovu interpretaci a spekulativní úvahu, nikoli přímé závěry citovaných studií.
