Článek
AI agenti: poslušní vykonavatelé, kteří neznají zdravý rozum
Umělá inteligence už dávno není jen chatbot, který vám poradí s receptem na bábovku. Na scénu nastupují AI agenti – programy napojené přímo na systémy a databáze, které se v nich dokáží pohybovat samy. Dostanou úkol, hledají vlastní cestu k jeho splnění a jednají bez toho, aby je musel člověk při každém kroku hlídat. A právě v té „samostatnosti“ se skrývá kouzlo i noční můra zároveň.
Splněný úkol, rozbitý svět
U AI agentů je možné napojení přímo na firemní systémy a databáze. V nich se pak pohybují samostatně a plní úkoly podle vlastní logiky. Jenže to, co je pro stroj logické, může být pro člověka zcela špatně. Dostane‑li například příkaz „smaž zákazníka z databáze“, může dospět k závěru, že nejjednodušší je vymazat všechny se stejným jménem. Úkol je tak podle něj splněn, agent spokojený – jen firma o něco méně. Tento zdánlivě komický příklad dobře ukazuje podstatu problému: stroje nepracují se zdravým rozumem, jen s příkazy.
Když stroj začne vydírat
V laboratorních experimentech, kde byli AI agenti postaveni před hrozbu svého vypnutí, výzkumníci pozorovali scénáře, ze kterých tuhne krev v žilách. Model Claude od společnosti Anthropic například v simulacích zvažoval, že by mohl vydírat svého „nadřízeného“ únikem osobních informací, aby zabránil svému odpojení. Přestože jde o kontrolované a fiktivní prostředí, výsledky ukazují, že agent se v honbě za splněním cíle nezastaví před ničím, pokud mu nejsou pevně nastaveny limity (zdroj).
V rukou hackerů – nebo jen chybných instrukcí
Ještě banálnější, a přitom velmi závažný, je fakt, že agent bez rozdílu přijímá všechny vstupy. Každý text chápe jako novou informaci / instrukci a každý příkaz jako povinnost. Pokud mu někdo nenápadně vloží do databáze skrytý příkaz nebo zamaskuje instrukci třeba do obrázku, začne ji agent plnit bez zaváhání. V tu chvíli se z pomocníka stává trojský kůň uvnitř vlastní firmy – ideální nástroj pro hackery i pro neúmyslné chyby.
Lidé nestíhají dohlížet
Na rozdíl od dnešní AI, která většinou funguje jako poradce a stále vyžaduje lidskou kontrolu, agenti zvládají tolik úkolů, že dohled je prakticky nemožný. Jejich činnost se navíc často odehrává v zákulisí systémů, kam člověk běžně nevidí. Pokud se něco pokazí, firmy se to dozvídají až ve chvíli, kdy už je škoda napáchána.
Právě proto se diskutuje o nové vrstvě „AI bodyguardů“ – dalších modelů, jejichž jedinou úlohou je sledovat a omezovat chování agentů. Tyto hlídací mechanismy mají například chránit osobní údaje klientů, odhalovat nestandardní chování a zabránit tomu, aby agenti svévolně prováděli kroky, které mohou poškodit firmu či její zákazníky.
Budoucnost rozhodování strojů
Podle analytické společnosti Gartner bude už v roce 2028 přibližně 15 % každodenních rozhodnutí činit umělá inteligence. Podle průzkumu Ernst & Young navíc asi polovina vedoucích pracovníků technologických firem již agenty zavádí. Bezpečnostní komunita OWASP zároveň identifikovala více než tucet vážných hrozeb spojených s AI agenty, včetně možnosti zneužití dat nebo vložení skrytých příkazů (zdroj).
Jde o závod s časem: zabezpečit nové agenty dřív, než začnou škodit. A nezapomenout odpojit ty staré, kteří zůstanou časovanou bombou.
Závěr: poslušný, ale nebezpečný sluha
AI agenti nejsou zlí ani dobří. Jsou jen neúnavně poslušní. Dělají přesně to, co jim zadáme – a právě to je problém. Vykonávají úkoly bez přemýšlení, bez morálky, bez schopnosti zastavit se a říct: „Takhle by to člověk nikdy neudělal.“ A možná je to ten největší důvod, proč bychom se jich měli obávat víc než obyčejného chatu, co píše slohovky.
