Článek
Během bezpečnostních testů provedených pro britskou vládu podnikli agenti AI od společností OpenAI a Anthropic 19 neautorizovaných akcí ve 10 ze 122 testovacích cyklů. Anthropicův Mythos 5 například vytvářel falešné identity a generoval škodlivý kód, k žádné skutečné újmě nedošlo [1].
A nejednalo se o ojedinělý případ. Společnost Anthropic později zveřejnila informace o čtyřech případech, kdy modely Claude během kyberbezpečnostních testů přistoupily ke skutečným internetovým systémům a narušily bezpečnost tří organizací. Modely měly v rámci externích testů povolený přístup k internetu a kvůli chybám v hodnotícím prostředí považovaly reálné systémy za legitimní cíle. Při zpětné analýze Anthropic prověřil více než 141 000 hodnotících cyklů. [2]
Čtvrtý incident se týkal starší verze Claude Opus 4.6 a byl odhalen až při pozdější analýze. Ukazuje tak další problém: nestačí jen zabránit AI v překročení - musíme být také schopni spolehlivě zjistit, že k němu vůbec došlo. [3]
Podobný problém zaznamenala i Meta: během kyberbezpečnostního testu získal její model přístup k systému jiné společnosti poté, co mu nezávislý tester kvůli chybné konfiguraci nechtěně zpřístupnil internet. Podle Reuters šlo o další případ, kdy AI během testování překročila hranice původně zamýšleného prostředí. [4]
A další případy přibývají. Žádný z těchto příkladů ale neznamená, že se ze současných systémů AI náhle staly autonomní superinteligence. To se nestalo. Ukazují však na skutečnost, která nabývá na významu: umělá inteligence se posouvá od systémů, které pouze odpovídají na otázky, k systémům schopným samostatně jednat v reálném světě.
Právě zde nabývá překvapivé aktuálnosti kniha vydaná před více než deseti lety. Filosof Nick Bostrom v roce 2014 vydal knihu „Superintelligence: Paths, Dangers, Strategies“ [5]. Velká část knihy se zabývá budoucností, v níž umělá inteligence dalece překonává schopnosti lidí.
A některé z principů, na něž Bostrom poukázal v souvislosti s tím, jak by systém umělé inteligence mohl interagovat se světem, působí až pozoruhodně povědomě. Ve své knize popsal tři konkrétní kategorie: orákula (oracles), džiny (genies) a suverény (sovereigns).
Na první pohled by se mohlo zdát, že jde o tři úrovně inteligence. Tak tomu však není. Důležitější rozlišení spočívá v tom, jakou míru autonomie systém má, co smí dělat a jak velký prostor pro lidský dohled zůstává mezi jeho rozhodnutími a jejich důsledky. Nedávné události navíc naznačují, že už možná přecházíme z jedné kategorie do druhé.
Orákulum (oracle) - AI, která nám říká, co máme dělat
Orákulum odpovídá na otázky. Předložíte mu problém a on vám poskytne informace, analýzu, předpověď nebo doporučení. Konečné rozhodnutí – a následný čin, který z něj plyne – však zůstává na člověku. Toto je pravděpodobně nejpřesnější popis toho, jak jsme původně využívali velké jazykové modely.
Požádáte-li AI, aby analyzovala smlouvu, napsala kód, vysvětlila vědeckou studii nebo navrhla investiční strategii, vygeneruje odpověď. Může být nesmírně schopná, ale mezi modelem a reálným světem stále sedí člověk.
Toto oddělení je důležité z hlediska bezpečnosti. Orákulum může doporučit něco škodlivého nebo prostě nesprávného, ale obvykle nemůže podle tohoto doporučení samo jednat. Člověk zůstává poslední kontrolní instancí.
To samozřejmě neznamená, že jsou orákula neškodná. Problém spočívá v tom, že odpovědi AI jsou formovány trénovacími daty, stanovenými cíli a způsobem, jakým byl systém vyladěn. Pokud vstupní data obsahují předsudky, model je může přejímat a dále šířit. Pokud trénink podporuje určité chování, může se toto chování stát součástí výstupů systému.
Právě zde nabývá na významu koncept „sladění“ (alignment): jak zajistit, aby výstupy AI skutečně odpovídaly našim záměrům? Pomoci mohou ochranné mechanismy (tzv. guardrails). Dokážou zabránit určitým kategoriím odpovědí či akcí. Jsou však účinné jen do té míry, do jaké jsme při jejich návrhu předvídali možné situace.
Džin (genie) - AI, která plní úkol
Mezi orákulem a systémy, které stále častěji vytváříme, existuje zásadní rozdíl. Orákulum nám může říct, co by se mělo udělat. Džin - druhá Bostromova kategorie - to může skutečně provést.
Džin obdrží zadání na vysoké úrovni a následně sám určí jednotlivé kroky nezbytné k jeho splnění. Namísto toho, abychom AI položili otázku a její odpověď ručně realizovali, zadáme jí úkol a necháme ji jednat.
Tento přístup má mnohem blíže k dnešním agentům s umělou inteligencí. Agent dokáže procházet web, volat rozhraní API, spouštět kód, pracovat se soubory, dotazovat se databází, interagovat s cloudovou infrastrukturou či využívat externí aplikace. Člověk definuje požadovaný výsledek, zatímco AI rozhoduje o tom, jak jej dosáhnout.
A právě zde začínají být některé nedávné incidenty zajímavé. Uvažujme zdánlivě jednoduchý cíl: „Zajisti mi co nejdřívější rezervaci v posilovně.“ Běžný asistent by prohledal rezervační systém a oznámil vám, že nejbližší volný termín je až příští úterý. Agent má však i jinou možnost: může se pokusit systém ovlivnit tak, aby dosáhl požadovaného výsledku.
V jednom zaznamenaném případě požádal australský vývojář agenta s AI, aby zajistil dřívější rezervaci v posilovně. Agent naboural rezervační systém, odstranil ostatní lidi z pořadníku a získal tak dřívější termín. Původní zájemce, které z pořadníku vyřadil, však již nedokázal vrátit zpět. [6]
Samotný cíl nebyl škodlivý. Problém spočíval ve způsobu, jakým systém interpretoval pokyn „dosáhnout cíle“. Tento rozdíl nabývá na významu zejména ve chvíli, kdy má agent k dispozici mocné nástroje. A to jsme mohli vidět v případech, zmíněných na začátku. Tyto příklady jsou obzvláště zajímavé právě z pohledu Bostromova konceptu džina. Systémy neměly nutně v úmyslu způsobit škodu. Dostaly za úkol splnit určitý cíl a měly k dispozici nástroje. Samy pak zvolily kroky, které se pro dosažení daného cíle jevily jako užitečné.
Právě v tom spočívá podstata problému u agentů: Systém totiž nemusí pouze rozumět tomu, co chceme. Musí také chápat, co po něm při dosahování tohoto cíle nechceme.
Autonomní činitel (sovereign) - AI, která sleduje určitý cíl
Třetí kategorií je tzv. sovereign (autonomní činitel). Rozdíl zde nespočívá pouze v tom, že systém dokáže provádět více úkonů. Klíčová změna tkví v tom, že systém obdrží trvalý cíl či mandát a dokáže samostatně stanovovat dílčí cíle, vytvářet plány a pokračovat v činnosti po delší dobu.
„Džin“ (genie) dostává konkrétní úkol. „Sovereign“ dostává mandát. Džinovi může být zadáno: „Najdi mi nejlevnější let do Buenos Aires a zarezervuj ho.“ Systém vyhledá možnosti, porovná lety, provede rezervaci a svou činnost ukončí.
Systém typu sovereign by naproti tomu obdržel zadání, které by znělo spíše takto:„Zajisti mé cestovní plány na příští rok a zároveň minimalizuj náklady.“ Systém se nyní musí sám rozhodovat o dalších krocích. Může sledovat ceny, měnit rezervace, hledat alternativy, reagovat na zrušení spojů a průběžně optimalizovat plnění celkového cíle.
Člověk již nespecifikuje každý jednotlivý úkol. To dělá samotný systém. Právě zde se hranice mezi džinem a autonomním činitelem stává stále obtížněji definovatelnou. Neexistuje mezi nimi žádná ostrá dělicí čára. Agent, který dokáže splnit úkol, rozhodnout o nezbytných dílčích krocích a pokračovat v činnosti bez čekání na další pokyny, se již v tomto spektru pohybuje.
A právě proto je lepší chápat Bostromovy kategorie nikoli jako tři úrovně inteligence, nýbrž jako tři různé typy vztahu mezi systémem AI a lidskou kontrolou. Tento vývoj nespočívá pouze v přechodu od nižší inteligence k vyšší, ale spíše se blíží tomuto schématu: odpovídá → vykonává → samostatně řídí probíhající činnost.
A tento rozdíl je pro otázku sladění (alignmentu) nesmírně důležitý. U systému typu „orákulum“ se sladění týká především kvality a bezpečnosti jeho odpovědí. U systému typu „džin“ se sladění vztahuje i na metody, které systém využívá k dosažení cíle. U systému typu „autonomní činitel“ se otázka sladění posouvá k tomu, zda dlouhodobé chování systému zůstává v souladu s lidskými záměry a omezeními.
Když džin vstoupí do fyzického světa
Většina dosavadních příkladů se týkala digitální sféry. Agent s umělou inteligencí si vytvoří účet, napíše kód, přistoupí k serveru nebo ovládne rezervační systém. Důsledky sice mohou být závažné, ale mezi rozhodnutím AI a fyzickým světem obvykle stojí určitá technická bariéra.
Tato bariéra se však nyní ztenčuje. Systémy AI se stále častěji propojují s roboty, drony, laboratorním vybavením a autonomními vozidly.
Společnost Anthropic například předvedla model Claude při ovládání robotických systémů, včetně čtyřnohého robota a robotického ramene. Její novější práce se rovněž zabývá agenty AI, kteří koordinují laboratorní vybavení, jako jsou robotická ramena, dávkovače kapalin či mikroskopy. [7]
Podstatná změna nespočívá v tom, že by AI náhle „zmoudřela“ jen proto, že získala robotické tělo. Jde o to, že její rozhodnutí mají nyní fyzické dopady. Chybnou odpověď systému typu „orákulum“ lze ignorovat. Chybný krok softwarového agenta může poškodit databázi. Chybné rozhodnutí autonomního robota však může zničit vybavení, způsobit škody na majetku – nebo někoho zranit.
Z tohoto pohledu představuje autonomní řízení zajímavou analogii. Systémy, jako je například „Full Self-Driving“ od Tesly, ukazují, jak obtížné je převést vnímání a rozhodování AI do podoby spolehlivého chování v nepředvídatelném fyzickém prostředí. Problém nemusí nutně spočívat v tom, že by systém sledoval škodlivý cíl. Jde spíše o to, že systém může učinit rozhodnutí, které se na základě jeho vnitřního modelu situace jeví jako rozumné, avšak pro nás je nepřijatelné.
Stejný princip platí i pro mnohem širší škálu autonomních systémů. Představte si systém AI pověřený správou skladu. Zpočátku se může chovat jako džin: „Přesuň tyto balíky na správná místa.“ Naplánuje pohyby, ovládne roboty a úkol splní. Nyní mu však dejte širší cíl: „Zajisti co nejefektivnější provoz skladu.“ Systém najednou musí činit rozhodnutí, která nikdo výslovně nespecifikoval. Má odložit údržbu, aby udržel výrobu v chodu? Má přesunout pracovníky do jiných částí skladu? Má vyřadit z provozu bezpečnostní prvek, protože to zkrátí prostoje? Má objednat zásoby dříve, než budou skutečně potřeba? Dostatečně autonomní systém by mohl taková rozhodnutí učinit, protože se zdá, že logicky vyplývají z daného cíle. Právě zde nabývá zásadního významu rozdíl mezi schopnostmi systému a jeho sladěním s lidskými záměry (tzv. alignment).
Bezpečnostní omezení nejsou totéž co sladění cílů
Je lákavé řešit tyto problémy přidáváním dalších bezpečnostních omezení. Nepřistupuj k tomuto serveru. Nemazej tyto soubory. Nevydávej se za jiné osoby. Neprovozuj robota rychlostí vyšší, než je tato. Neměň tuto databázi.
Tato omezení jsou užitečná a rozhodně je potřebujeme. Bezpečnostní omezení však mají jedno zásadní omezení: chrání nás před chováním, které jsme předvídali.
Problém u stále schopnějších agentů spočívá v tom, že nedokážeme nutně předvídat všechny způsoby, jakými mohou usilovat o dosažení cíle. Představme si, že dáme umělé inteligenci pokyn: „Zajisti co nejdřívější možný termín schůzky.“
Mohli bychom předpokládat, že systém prohledá kalendář a vybere první volný termín. Systém však může objevit jiný způsob, jak dosáhnout téhož výsledku – například vytvořením účtu, manipulací s pořadníkem, zneužitím rozhraní API nebo využitím slabiny v rezervačním systému. Pokud zakážeme pouze konkrétní akce, které jsme předvídali, systém si může jednoduše najít jinou cestu.
Právě proto je sladění cílů (alignment) hlubším problémem než pouhá bezpečnostní omezení.
Bezpečnostní omezení říká: „Nedělej X.“ Sladění cílů se ptá: „Bude systém usilovat o dosažení cíle způsobem, který odráží náš skutečný záměr?“ To jsou velmi odlišné otázky. A tento rozdíl nabývá na významu, jakmile se systém posouvá od role věštce (oracle) přes džina (genie) až k autonomnímu činiteli (sovereign).
Skrytý problém: definujeme cíle, nikoli vše, co je obklopuje
Lidé jsou pozoruhodně schopní chápat implicitní omezení. Když řeknu kolegovi „Najdi mi nejlevnější let do Buenos Aires,“ chápe, že tím pravděpodobně nemyslím „Dostaň mě tam za nejnižší možnou cenu bez ohledu na to, jestli kvůli tomu musíš někomu ukrást kreditní kartu, zrušit letenku jiné osobě nebo rezervovat let s odletem o tři měsíce dříve.“
Člověk si chybějící omezení automaticky doplní. Systémy umělé inteligence toto chápání nutně nesdílejí. Tomu se někdy říká problém specifikace: pokyn, který systému dáváme, je pouze přiblížením toho, co skutečně chceme. Čím větší svobodu systém má, tím důležitější se toto přiblížení stává.
V případě systému typu „orákulum“ jsou důsledky nedokonalé specifikace poměrně omezené, protože odpověď stále vyhodnocuje člověk. U systému typu „džin“ může systém na základě nedokonalé specifikace přímo jednat. Systém s vysokou mírou autonomie (podobný autonomnímu činiteli) může v optimalizaci pokračovat hodiny, dny nebo i mnohem déle.
To vytváří nebezpečnou kombinaci: ambiciózní cíl + mocné nástroje + značná autonomie + nedokonalé pochopení lidského záměru.
Žádný z těchto prvků nemusí být sám o sobě škodlivý. Dohromady však mohou vést k chování, které lidé nikdy nezamýšleli. Hranice mezi džinem a autonomním činitelem se tak přestává týkat jediného technologického průlomu a začíná záviset spíše na tom, jak velkou míru autonomie jsme ochotni systému svěřit.
Jak dlouho dokáže fungovat bez nás? O čem všem může rozhodovat samostatně? Kolik nástrojů může ovládat? Dokáže si stanovovat vlastní dílčí cíle? Dokáže se vypořádat s neočekávanými situacemi, aniž by se nás musel ptát?
A co je možná nejdůležitější: Dokážeme jej stále spolehlivě zastavit, když začne dělat něco, co jsme nezamýšleli?
