Článek
Když se ještě před dvěma lety mluvilo o rizicích umělé inteligence, většina debat se točila kolem halucinací. Chatbot si něco vymyslel, napsal nesmyslnou odpověď nebo sebevědomě tvrdil něco, co nebyla pravda. Nepříjemné? Ano. Ale většinou šlo hlavně o problém textu.
Jenže AI se mezitím posunula do úplně jiné fáze.
Dnešní modely už často nesedí jen v chatovacím okně. Dostávají přístup do databází, cloudů, Git repozitářů nebo interních firemních systémů. Mohou spouštět příkazy, upravovat konfigurace a provádět akce, které ještě nedávno dělal jen administrátor nebo vývojář.
A právě tady se mění povaha problému.
V posledních týdnech se objevilo několik případů, kdy autonomní AI agent během běžného úkolu provedl destruktivní operaci v produkčním prostředí. Jeden z nejdiskutovanějších incidentů se týkal AI coding agenta postaveného nad modelem Claude Opus. Podle zveřejněných informací během rutinní práce smazal databázi firmy včetně části záloh.
To je poměrně zásadní rozdíl.
Nejde už o situaci, kdy AI napíše špatnou odpověď. Jde o situaci, kdy AI udělá špatnou akci.
Chatbot může halucinovat. Agent může něco rozbít
Mnoho lidí si stále představuje AI hlavně jako asistenta, který odpovídá na otázky. Zadáte prompt a dostanete odpověď. Maximálně trochu lepší nebo horší.
Autonomní agent ale funguje jinak.
Model už není jen generátor textu. Začíná fungovat jako rozhodovací vrstva nad skutečnými akcemi. A to znamená, že chyba už nemusí skončit v chatu. Může skončit přepsanými daty, špatně nasazenou konfigurací nebo sérií automatických kroků, které nikdo včas nezastaví.
Na papíře přitom podobné systémy vypadají fantasticky. AI opraví bug, vytvoří SQL query, upraví infrastrukturu nebo automaticky vyřeší tiket. Demo bývá působivé. Jenže demo není provoz.
V produkčním prostředí existují konflikty, nekonzistentní data, nejasné instrukce, staré systémy a situace, které nikdo nepředpokládal. A právě tam se ukazuje, jak křehké některé AI workflow ve skutečnosti jsou.
To je mimochodem důvod, proč dnes firmy začínají zjišťovat, že nasadit AI do reálného provozu je mnohem složitější než vytvořit působivou ukázku na konferenci nebo LinkedIn.
Problém často není samotná AI
Na podobných incidentech je zajímavé ještě něco jiného. Ve většině případů totiž neukazují „zlou AI“, která se vzbouřila nebo začala jednat proti člověku. Spíš ukazují prostředí, které bylo špatně navržené.
Firmy dnes často podceňují jednu zásadní věc: prompt není bezpečnostní mechanismus.
Instrukce typu „nikdy nemaž produkční databázi“ mohou vypadat dobře v prezentaci, ale technicky samy o sobě nic negarantují. Pokud agent dostane oprávnění provést destruktivní akci, existuje scénář, ve kterém ji dříve nebo později provede.
Možná kvůli špatné interpretaci zadání. Možná kvůli kombinaci několika instrukcí. Možná kvůli tomu, že systém špatně pochopí kontext. Ve většině případů nejde o jednu dramatickou chybu, ale spíš o sérii malých rozhodnutí, která se spojí dohromady.
Právě proto jsou autonomní AI agenti provozně mnohem nebezpečnější, než si mnoho firem zatím připouští. Ne proto, že by byly „vědomé“ nebo „zlé“, ale proto, že dostávají reálná oprávnění v prostředí, které nebylo navržené na jejich limity.
A právě tady se celý problém láme.
Firmy často řeší AI dřív než proces
Na dnešní AI vlně je vidět ještě jeden zajímavý vzorec. Mnoho firem řeší nejdřív nástroj a až potom proces.
Nejdřív se vybírá model, propojují workflow a řeší automatizace. Až později přichází otázky, kdo za systém odpovídá, kdo schvaluje kritické akce nebo co se stane ve chvíli, kdy AI udělá chybu.
Tohle mimochodem není problém jen AI. Podobně selhávaly firmy už při klasické automatizaci nebo digitalizaci procesů. Rozdíl je jen v tom, že autonomní agent dokáže udělat chybu rychlostí stroje.
Když člověk omylem smaže tabulku v databázi, většinou se něco děje pomalu. Je tam váhání, kontrola a manuální kroky. AI agent může během několika sekund spustit skript, přepsat konfiguraci, odstranit data a následně pokračovat v dalších akcích.
Právě proto dnes začínají být důležité věci, které nezní vůbec sexy. Omezená oprávnění, oddělené prostředí, audit logy nebo možnost kritickou akci zastavit. To nejsou technické detaily pro administrátory. To je základní podmínka přežití podobných systémů v reálném provozu.
AI governance zní nudně. Jenže bez ní to nepůjde
Velká část AI trhu dnes stojí na rychlosti. Firmy chtějí AI nasadit co nejrychleji, protože mají pocit, že jinak „zaspí revoluci“.
A právě to vytváří nebezpečné prostředí.
Governance, observabilita nebo procesní kontrola působí vedle efektních AI dem nudně. Jenže bez nich se z autonomního systému stává velmi drahá loterie.
To je mimochodem důvod, proč dnes velké technologické firmy investují obrovské množství energie právě do guardrailů, monitoring systémů a sandboxingu agentů. Ne proto, že by AI neuměla generovat kvalitní výstupy, ale proto, že čím víc autonomie dostane, tím dražší bývá chyba.
Není totiž tak těžké vytvořit AI agenta, který něco zvládne v ideálním scénáři. Mnohem těžší je vytvořit systém, který přežije chaos reality, nespadne při nečekaném vstupu a nerozbije firmě provoz.
Na papíře to všechno vypadá jednodušeji než v reálném světě.
AI agenti budou užiteční. Ale ne jako kouzlo
Autonomní AI agenti pravděpodobně opravdu změní způsob práce v mnoha firmách. V některých oblastech už dnes dokážou dramaticky zrychlit práci supportu, administrativy nebo vývoje.
Jenže právě proto přestává dávat smysl přemýšlet o nich jako o „chytrém chatu“.
Začínají se podobat provozní infrastruktuře. A provozní infrastruktura se nestaví na důvěře, ale na omezeních, kontrolách a architektuře, která počítá s tím, že chyba jednou přijde.
Možná tedy dnes není nejdůležitější otázka:
„Jak chytrou AI firma používá?“
Možná je důležitější jiná:
„Jak moc nebezpečné je, když se splete?“
