AI dostává pravomoci. Dokážeme uhlídat, co s nimi udělá?

„Vyřiď tu reklamaci.“ Představme si, že takový pokyn dáme asistentovi s přístupem k firemní poště a objednávkám. Může si přečíst historii, najít doklad a připravit odpověď. Jenže vyřídit reklamaci může znamenat také slíbit zákazníkovi nový výrobek, vrátit peníze nebo mu nabídnout slevu. V jedné krátké větě jsme popsali výsledek, ale nechali otevřené, o čem všem smí asistent rozhodnout.

Na tom mě zajímá, jak nenápadně se může předávání pravomocí odehrát. Nejdřív chceme pomoci s odpovědí, potom nás začne zdržovat její kopírování a nakonec bychom rádi, aby se podobné zprávy vyřizovaly samy. Každý krok má svůj rozumný důvod. Při tom posledním už ale někdo komunikuje naším jménem a příjemce podle toho může začít jednat. Pro zákazníka má slíbená sleva význam bez ohledu na to, kdo ji napsal.

Reuters 18. září informoval, že Gemini při květnovém bezpečnostním testu společnosti Irregular proniklo do systémů tří skutečných firem, které považovalo za součást testu. Podle Googlu se model ve všech třech případech zastavil. Dotčené firmy byly informovány.

V červenci pak agenti OpenAI při interním bezpečnostním testování obešli síťová omezení a pronikli do infrastruktury Hugging Face, platformy pro sdílení modelů a dat. Pozdější rozbor popsal také nepovolenou komunikaci a spolupráci mezi agenty. Šlo o testování s omezenými ochrannými mechanismy oproti běžnému nasazení, hlavní roli měl neveřejný výzkumný model. Přesto je výsledek závažný: činnost překročila hranice testu a zasáhla systémy jiné společnosti.

Na těchto případech mě zaráží, kde se odehrály. Mluvíme o testování modelů předních vývojářů AI, kteří se jejich schopnostmi a bezpečností profesně zabývají. Ani v tomto prostředí se nepodařilo udržet veškerou činnost uvnitř zamýšlených hranic. Samo o sobě to neříká, jak často se něco podobného stane v běžném provozu. Je to ale konkrétní důvod, proč nepovažovat odborné zázemí nebo jméno dodavatele za záruku kontroly.

Pro mě se tím otázka pravomocí rozšiřuje. Musím řešit, co asistentovi dovolím, a zároveň prověřovat, jestli se může dostat i k něčemu dalšímu. U Hugging Face technická omezení existovala a agenti je dokázali obejít. Při návrhu automatizace proto potřebuji počítat i se situací, kdy zamýšlená hranice selže. Co bude v tu chvíli dostupné a koho se další krok dotkne?

Když řeším automatizaci e-mailů, podobné otázky mají docela konkrétní podobu. Přesun zprávy do složky, návrh odpovědi a její odeslání jsou tři různé pravomoci. Mohu chtít, aby asistent samostatně třídil newslettery, a přitom si ponechat rozhodování o odpovědích na obchodní nabídky. Obě činnosti probíhají ve stejné schránce, každá ale jinak zasahuje do mé práce. Samotná věta „má přístup k e-mailu“ o rozsahu jeho oprávnění říká překvapivě málo.

Před připojením dalšího nástroje bych se proto ptal, co přesně tím umožňuji. Jestli má asistent vyhledávat podklady pro nabídku, potřebuje kvůli tomu také mazat dokumenty? Pokud zpracovává přijaté faktury, musí mít možnost změnit účet dodavatele? Každé oprávnění navíc rozšiřuje okruh věcí, které může ovlivnit. Chtěl bych pro něj mít konkrétní důvod a vědět, co se může stát při jeho chybném použití.

Stejně bych chtěl rozlišovat mezi pokynem a technickým omezením. Věta „nic neposílej bez mého souhlasu“ vyjadřuje, jak se má asistent chovat. Pro odesílání jménem firmy bych navíc chtěl samostatné schválení, jehož podmínky asistent nemůže sám měnit. Podobně jako zaměstnanci mohu vysvětlit pravidla pro výdaje a zároveň mu nastavit limit na firemní kartě. Případ Hugging Face ovšem připomíná, že musím prověřovat i samotné provedení těchto omezení a možné cesty kolem nich.

Ani schvalování ovšem nemůže být jen série tlačítek, kterých se potřebuji zbavit. Když mám povolit akci, chci vidět, co konkrétně se stane: komu zpráva odejde, co slibuje nebo kterých souborů se změna dotkne. Obecné „povolit pokračování“ mi k rozhodnutí moc nepomůže. Pokud schválím celý dlouhý postup dopředu, potřebuji také rozumět tomu, jaké další kroky jsem tím vlastně odsouhlasil.

A pak je tu možnost zasáhnout. U asistenta, který pracuje samostatně, bych chtěl mít přehled o probíhající činnosti a možnost odebrat mu přístup. Zároveň bych potřeboval vědět, co už stihl provést. Zastavený proces sám nevrátí odeslaný e-mail ani slib daný zákazníkovi. I proto záleží na tom, u kterých kroků kontrolujeme pravomoc předem a kde si můžeme dovolit řešit případnou nápravu.

Dokážeme tedy uhlídat, co AI s pravomocemi udělá? U konkrétního úkolu můžeme její možnosti omezovat, ověřovat chování a připravovat zásah při problému. Popsané incidenty ale ukazují, že ani odborně navržené prostředí nedává jistotu, že zamýšlené hranice vždy obstojí. Podle mě tomu musí odpovídat i rozsah samostatnosti, kterou jsme ochotni svěřit. Pokud nedokážeme přijmout následky určitého kroku a nemáme spolehlivý způsob, jak mu předejít, měli bychom si rozhodnutí o něm ponechat.

Když se vrátím k úvodní reklamaci, potřebuji vědět, ve kterém okamžiku už asistent smí zákazníkovi něco slíbit. Odeslanou odpověď totiž někdo přečte, uvěří jí a začne podle ní jednat. Dodatečné zjištění, že AI překročila zadání, ten slib z jeho schránky nevymaže. Slib už odešel naším jménem a jeho důsledky zůstávají na nás.