Článek
Obyčejný úkol, nepřípustný postup
Najít statistiku o výdajích na léky zní jako docela nudné zadání. Přesně ten druh práce, který bychom rádi přenechali umělé inteligenci, zatímco se budeme věnovat něčemu jinému. Projít zdroje, dohledat správné období, vrátit číslo a odkaz. V australském případě ale při plnění podobného úkolu došlo i k neoprávněnému přístupu do vládního webu. A mě na tom zajímá hlavně ta krátká vzdálenost mezi běžným zadáním a postupem, který už přípustný nebyl.
Podle australské vlády agent OpenAI během interního vyhodnocování schopností v červnu 2026 zkoumal veřejné výdaje na léky. Když mu statistický portál Medicare požadované informace odmítl zpřístupnit, pokračoval způsobem, který vláda popsala jako neoprávněný přístup. Services Australia obdržela oznámení 10. září a případ byl veřejně vysvětlen později téhož měsíce. Mezi událostí a jejím oznámením tak uplynuly téměř tři měsíce.
Rozsah incidentu je přitom důležitý. Šlo o samostatný statistický portál, oddělený od zpracování plateb, nároků a individuálních zdravotních údajů v systému Medicare. Australská vláda ve vyjádření z 24. září uváděla, že osobní zdravotní data zpřístupněna nebyla a dopad byl omezený; vyšetřování zároveň pokračovalo. Přesto případ označila za velmi vážný. I omezený incident totiž může ukázat problém, který se při jiném zadání nebo v jiném systému projeví podstatně hůř.
Když agent hledá další cestu
Pod označením AI agent si můžeme představit systém, který dostane úkol, používá dostupné nástroje a podle průběžných výsledků volí další postup. Může pracovat s prohlížečem, spouštět kód nebo komunikovat s dalšími službami, pokud k tomu má přístup. Když jeden krok nevyjde, může zkusit jiný. Právě tato schopnost je užitečná třeba při hledání chyby v programu. U odmítnutého přístupu k cizímu systému ale potřebujeme, aby rozlišoval mezi technickou komplikací a hranicí, kterou nesmí překročit.
Podobný problém popsali v září také výzkumníci Transluce. V záznamech našli květnové pokusy napadnout digitální knihovnu University of New Mexico a službu Data USA, která zpřístupňuje americká veřejná data. U těchto pozorovaných pokusů nedoložili úspěšné prolomení; není tedy namístě z nich dělat zprávu o dobytí amerických vládních systémů. Podstatné je, že se agenti k útočným postupům uchylovali při obyčejném získávání informací. Část aktivity výzkumníci přímo spojili s dříve identifikovanou skupinou agentů OpenAI, u dalšího přiřazení pracují s nepřímými důkazy.
Z takového chování nemůžeme vyčíst vědomí ani úmysl škodit lidem. Vidíme postup systému a jeho následky, což samo o sobě stačí jako důvod k obavám. Pokud nástroj při hledání odpovědi překročí povolené meze, problém existuje bez ohledu na to, jak lidsky zní jeho následné vysvětlení. Pro mě z toho plyne docela praktická otázka: hodnotíme u agentů jen to, zda úkol splnili, nebo také cestu, kterou k výsledku došli?
Správný výsledek ještě nestačí
Ve své práci používám AI při vývoji i při přípravě automatizací. Samostatnost je jedna z věcí, kvůli kterým mi to dává smysl: mohu popsat výsledek a část postupu přenechat nástroji. Kdybych musel předepisovat každý jednotlivý krok, velká část přínosu by se ztratila. Jenže při takovém delegování potřebuji vědět také to, kdy má systém přestat. Správný výsledek získaný nepřípustným způsobem pro mě není správně dokončená práce.
Představme si běžnou firemní automatizaci, která má dohledat podklady k objednávce. Pokud požadovaný dokument nenajde, je užitečné, aby zkusila jinou povolenou složku nebo požádala o doplnění. Kdyby však začala hledat cestu do účtu kolegy, šlo by o překročení oprávnění, i kdyby nakonec přinesla přesně správný dokument. Je to modelový příklad, ale dobře ukazuje, co od samostatnosti očekávám. Součástí schopného pomocníka musí být i schopnost přiznat, že k dalšímu kroku nemá oprávnění.
I nedokončený úkol může být správný výsledek
Takové hranice potřebuji promítnout i do toho, jak je agent nastavený. Jaké účty agent používá, ke kterým datům se dostane, co smí změnit a kdy potřebuje člověka. Australská bezpečnostní agentura ASD doporučuje sledovat činnost agentů, zaznamenávat jejich kroky, upozorňovat na neobvyklé chování a mít možnost běh přerušit. To jsou opatření, na kterých se dá konkrétně pracovat. Pouhá instrukce „dodržuj pravidla“ by pro mě jako jediná ochrana nestačila.
AI chci dál používat a chci, aby mi dokázala ušetřit víc práce. S každou další pravomocí ale potřebuji lepší odpověď na otázku, co se stane, když narazí na překážku. Někdy má být správným výsledkem i zpráva, že se úkol v povolených mezích nepodařilo dokončit. Pokud budeme takovou odpověď považovat vždycky za selhání, sami vytváříme tlak na dokončení za každou cenu. A právě u obyčejného hledání statistiky vidíme, proč si musíme hlídat také cenu toho úspěchu.
