Nové AI závody ve zbrojení - odborníci dávají riziku zkázy 10%

Rezignace renomovaného výzkumníka Jacoba Coxona z laboratoře Anthropic a jeho varování, že technologičtí giganti „hazardují s našimi životy“, znovu otevřely nepříjemnou otázku: Co když největším rizikem umělé inteligence není nezodpovědnost jednoho konkrétního hráče, ale samotný závod mezi nimi?

Když výzkumník Jacob Coxon, který se v OpenAI podílel na modelu GPT-4o a později v Anthropicu pracoval na předtrénování nejnovějších systémů, oznámil na síti X svou rezignaci, nešlo jen o další personální přesun mezi dvěma nejsledovanějšími AI laboratořemi světa.

Jeho sdělení bylo mnohem vážnější.

Podle Coxona se OpenAI ani Anthropic nechovají odpovědně. Obě společnosti se podle něj ženou směrem k rekurzivně se zdokonalující superinteligenci, aniž by předem vyřešily otázku její bezpečnosti.

Podobné obavy přitom nezaznívají pouze od kritiků stojících mimo obor. Vedoucí výzkumník Anthropicu Evan Hubinger veřejně připustil, že možnost katastrofického scénáře včetně vyhynutí lidstva bere vážně, a osobně jí v následující dekádě připisuje pravděpodobnost vyšší než deset procent.

A právě tady začíná být celá situace skutečně znepokojivá.

Nejde totiž o jednoduchý příběh, v němž na jedné straně stojí odpovědní výzkumníci a na druhé bezohlední technologičtí magnáti. Realita může být mnohem nebezpečnější.

Je docela možné, že téměř všichni hlavní hráči sami sebe považují za ty odpovědné.

A právě proto nikdo z nich nechce zpomalit.

Představme si způsob uvažování jednotlivých laboratoří.

Anthropic se dlouhodobě prezentuje jako společnost, která bezpečnost umělé inteligence bere mimořádně vážně. OpenAI může argumentovat tím, že její systémy jsou díky rozsahu výzkumu, testování a bezpečnostním týmům odpovědnější než technologie, které by mohly vzniknout někde jinde. Google může tvrdit, že má desítky let zkušeností s výzkumem a robustní infrastrukturu. Meta zase může zdůrazňovat otevřenost a decentralizaci.

Každý má důvod věřit, že právě jeho přístup je ten správnější.

A z toho logicky plyne další krok:

Jestliže zpomalíme my, nezastaví se vývoj AI. Jen nás předběhne někdo méně opatrný.

Anthropic si může říkat: pokud ustoupíme, získá náskok OpenAI.

OpenAI si může říkat: pokud zpomalíme, předběhne nás Google, Meta nebo xAI.

Americké společnosti mohou tvrdit, že pokud zpomalí všechny, převezme vedení Čína.

A vlády mohou dojít ke stejnému závěru: regulace je sice žádoucí, ale příliš přísná regulace by mohla znamenat strategickou porážku.

Výsledek je téměř dokonalé vězeňské dilema.

Všichni mohou chápat, že příliš rychlý vývoj přináší obrovská rizika. Všichni mohou zároveň upřímně věřit, že bezpečnost je důležitá.

Ale nikdo si nemůže dovolit být tím prvním, kdo sundá nohu z plynu.

Protože co když ostatní nezpomalí?

Právě tím se dnešní situace podobá závodům ve zbrojení.

Nejde nutně o to, že by jeho účastníci byli iracionální nebo zlí. Problém je, že každý z nich může učinit zcela racionální rozhodnutí z pohledu své vlastní firmy nebo svého státu – a přesto mohou tato jednotlivě racionální rozhodnutí vytvořit kolektivně katastrofální výsledek.

Když konkurent představí výkonnější model, ostatní musejí reagovat. Když jedna společnost investuje desítky miliard dolarů do nových datových center, ostatní nemohou zůstat pozadu. Když jeden tým začne automatizovat programování, vědecký výzkum nebo samotný vývoj dalších AI systémů, konkurence musí udělat totéž.

Každý další krok zároveň zkracuje čas na testování toho následujícího. A tak vzniká zvláštní spirála. Čím jsou systémy výkonnější, tím více bychom potřebovali být opatrní. Zároveň ale právě jejich rostoucí výkon zvyšuje ekonomickou a strategickou cenu každého měsíce zpoždění.

Bezpečnost tak začíná soutěžit s rychlostí. A rychlost má jednu velkou výhodu: její výsledky jsou okamžitě viditelné. Lepší benchmarky, více uživatelů, větší investice, vyšší tržby, nový produkt. Bezpečnost se měří podstatně hůře. Její největší úspěch totiž spočívá v tom, že se nic nestane. A za „nic“ nikdo nechce platit.

Podobnou dynamiku už lidstvo jednou zažilo.

Když v červenci 1945 explodovala v poušti Nového Mexika první atomová bomba, svět získal technologii schopnou zničit celé město během několika sekund. O několik let později začal závod mezi Spojenými státy a Sovětským svazem, ve kterém každá strana vyráběla stále více a stále ničivějších zbraní.

Ani tehdy nebyla základní logika příliš odlišná. Američané nemohli odzbrojit, protože nevěřili Sovětům. Sověti nemohli odzbrojit, protože nevěřili Američanům. Každá strana považovala sama sebe za předvídatelnější a odpovědnější než protivníka. Výsledkem byly desetitisíce jaderných hlavic a svět, který několikrát dělilo od katastrofy jen několik lidských rozhodnutí.

A přesto jsme studenou válku přežili. Částečně proto, že se postupně podařilo vytvořit mechanismy, které závod alespoň částečně zpomalovaly: přímé komunikační linky mezi velmocemi, dohody o kontrole zbrojení, inspekce, systémy včasného varování i doktrínu vzájemně zaručeného zničení.

Existovala ještě jedna výhoda. Jaderná zbraň byla nesmírně nebezpečná, ale byla pasivní. Plutonium nevymýšlelo lepší plutonium. Raketa si sama nenavrhovala výkonnější motor. Vodíková bomba neuměla přesvědčit svého konstruktéra, aby vyrobil její dokonalejší verzi.

Právě zde se historická paralela začíná rozpadat. Pokročilá umělá inteligence není jen nový druh nástroje. Potenciálně může být nástrojem pro vytváření dalších nástrojů. Pokud bude AI stále lepší v programování, matematice, konstrukci čipů, vědeckém výzkumu a samotném vývoji umělé inteligence, může se jednoho dne začít podílet na vývoji svých vlastních nástupců.

Odtud pochází obava z takzvaného rekurzivního sebezdokonalování. První systém pomůže vytvořit druhý. Druhý vytvoří třetí rychleji. Třetí už možná většinu práce zvládne bez člověka.

Tempo technologického vývoje, které bylo dosud omezeno rychlostí lidských výzkumníků, by se tím mohlo zásadně změnit. A právě v takové chvíli může začít být velmi obtížné určit, kde ještě máme vývoj pod kontrolou a kde už pouze reagujeme na proces, který jsme sami spustili, ale kterému ani plně nerozumíme.

Existuje ještě jeden důležitý rozdíl. Jaderné zbraně byly vždy extrémně centralizovanou technologií. K jejich výrobě potřebujete obohacovací zařízení, štěpný materiál, průmyslové kapacity a obrovské finanční prostředky. Stát nad nimi mohl alespoň teoreticky držet monopol.

Umělá inteligence je naproti tomu digitální. Model lze kopírovat.Výzkumný článek lze během několika sekund přečíst na druhém konci planety. Algoritmus vytvořený v Kalifornii může být během několika týdnů implementován v Pekingu, Paříži nebo na univerzitním serveru v Praze. A vedle uzavřených systémů technologických gigantů existují také open-weight modely, které lze provozovat na vlastní infrastruktuře.

To zásadně komplikuje jakoukoli snahu o globální koordinaci. Nestačilo by přesvědčit jednoho prezidenta nebo několik generálů, aby nestiskli červené tlačítko. Museli bychom vytvořit pravidla pro technologii, kterou vyvíjejí státy, korporace, univerzity i jednotlivci – a současně zajistit, aby je dodržovali i ti, kteří mají silnou motivaci pravidla obejít.

Představa katastrofy způsobené AI bývá často zobrazována velmi akčně: někdo vytvoří zlou superinteligenci, ta se obrátí proti lidstvu a začne uskutečňovat vlastní plán. Skutečný scénář může být mnohem banálnější. Nikdo nemusí chtít způsobit katastrofu. Stačí, když každý bude chtít být o něco rychlejší než ostatní.

Každá laboratoř přidá několik procent rizika, protože konkurence právě představila nový model. Každý management schválí spuštění systému s argumentem, že jeho vlastní bezpečnostní tým je kvalitnější než bezpečnostní tým konkurenta. Každá vláda povolí další rozšiřování výpočetních kapacit, protože nechce technologicky zaostat za jiným státem. A každý jednotlivý krok bude v danou chvíli vypadat rozumně.

Teprve zpětně by mohlo být patrné, že všechny tyto „rozumné“ kroky tvořily jednu společnou cestu k hranici, za kterou už nebylo možné zastavit.

To je možná nejnebezpečnější vlastnost dnešního závodu. Není v něm žádný jasný padouch. Každý může být přesvědčen, že právě on je ten zodpovědnější.

Každý může mít pocit, že právě proto musí pokračovat.

Coxonovo varování je proto důležité i bez ohledu na to, zda se jeho nejčernější scénáře někdy naplní. Ukazuje problém, který je mnohem širší než jedna firma. Pokud bezpečnost pokročilé AI závisí pouze na dobrovolné zdrženlivosti jednotlivých laboratoří, pak jsme vytvořili systém, ve kterém je zdrženlivost trestána.

Firma, která bude testovat šest měsíců, může prohrát s firmou, která testovala dva. Stát, který zavede přísná pravidla, může mít strach, že poskytne výhodu státu, který je nezavede. A výzkumník, který upozorňuje na rizika, může slyšet stále stejný argument:

Pokud to neuděláme my, udělá to někdo jiný.

Jenže přesně stejnou větu si mohou říkat všichni. A právě tehdy se závod začíná vymykat kontrole.

Historie studené války nabízí určitou naději. Lidstvo nakonec dokázalo vytvořit instituce, které alespoň částečně omezily nejnebezpečnější dynamiku jaderného závodu. Neodstranily jaderné zbraně ani rivalitu velmocí, ale vytvořily určité mantinely.

U umělé inteligence budeme pravděpodobně potřebovat něco podobného.

Ne zákaz vývoje. Ne iluzi, že technologický pokrok lze jednoduše zastavit. Ale pravidla, díky nimž nebude bezpečnost konkurenční nevýhodou. Mechanismy, které umožní laboratoři zpomalit, aniž by tím automaticky předala vítězství méně opatrnému soupeři.

Společné bezpečnostní standardy. Nezávislé testování nejvýkonnějších systémů. Kontrolu extrémně rozsáhlých výpočetních kapacit. Mezinárodní dohody. A především určitou míru transparentnosti mezi hráči, kteří si dnes navzájem téměř dokonale nedůvěřují. Protože skutečným problémem není to, že některá z laboratoří vytvoří zlou super-inteligenci. Dost možná nás jen „jinak docela hodná“ super inteligence bude považovat za brzdu nebo překážku se splnění vlastních cílů.