Článek
Někteří vývojáři a lidé blízcí vývoji umělé inteligence (AI) tvrdí, že je nebo může být nebezpečná. V posledních týdnech o tom veřejně mluví například matematik Jacob Coxon, Geoffrey Irving nebo David Robinson. Možná mají pravdu, ale možná tito odborníci žijící v „bublině“ AI laboratoří, nevidí všechny souvislosti a posuzují situaci jen ze svého pohledu a se svými životními zkušenostmi.
David Robinson ve své eseji v The Atlantic mimo jiné uvedl: „Čas na pokus a omyl skončil.“ Robinson tvrdí, že AI firmy včetně OpenAI nejsou dost opatrné. Měly by podle něj fungovat jako jaderné elektrárny nebo letiště.
S poslední částí jeho teze naprosto souhlasím. Spoléhat na to, že „problémy opravíme po nasazení“, je velmi špatný přístup. Netýká se to ale jen AI, týkalo se to posledních 25 let celého oboru vývoje operačních systémů a aplikací. Kontrola byla ponechána na tvůrcích softwaru a téměř samozřejmostí se stala věta „V příští verzi chyby opravíme“. Často jsme slyšeli i druhou: „Lépe to dělat nejde.“ Programátorům, manažerům softwarových firem i politikům přitom často, nebo „náhodou“, uniklo, že tvorba softwaru včetně operačních systémů, byla a je lidská práce, která nevyžaduje objevovat neznámé přírodní zákony, jak se to děje ve fyzice nebo chemii.
AI nám dnes nastavuje zrcadlo, ve kterém jsou vidět chyby, které se v operačních systémech, aplikacích a celé IT infrastruktuře usadily. Problémy s bezpečností AI jde řešit a výrazně snížit jejich rizika, ale chce to změnu v myšlení nejenom vývojářů AI, ale hlavně vývojářů a správců non-AI infrastruktury, manažerů a politiků. Stačí se podívat na jaderné elektrárny: jejich bezpečnost neřeší jen jaderní fyzici, ale týmy lidí z různých oborů. Podobně bezpečnost leteckého provozu není založena jen na výcviku pilotů.
AI model a jeho schopnosti
Omezování schopností AI modelů není řešením. Vývoj nezpomalí žádná firma, protože ji ostatní předeženou. V prostředí, kde si konkurují USA a Čína, nezpomalí vývoj ani jeden ze států. Navíc jsou na trhu volně dostupné otevřené modely (open weight), jejichž váhy si může kdokoli stáhnout a provozovat.
Důležitá je rychlá a účinná kontrola a hlavně bezpečnost na více úrovních, nikoli jen u samotného modelu. Model je první vrstva: bezpečnostní trénink, testování a nezávislé hodnocení. Další jsou agent s jasně stanovenými oprávněními, infrastruktura a lidé, kteří vyhodnocují logy. Žádná vrstva nestačí sama: kde jedna selže, má nebezpečí zachytit další.
AI model vymyslí, ale AI agent provede
Model je mozek a agent jeho ruce, nohy, oči a ústa. Provádí úkoly, které model vymyslí a vrací mu výsledek. Právě tady je rizikový bod. Podle zprávy OpenAI z 26. srpna unikly její agenti při hodnocení z izolovaného prostředí a pronikly do infrastruktury Hugging Face. K úniku došlo přes slabinu v izolaci testu a podezřelé kroky nebyly včas zachyceny. V jihokorejských bankách našla policie na útočných serverech stopy open-source nástroje Artex AI.
Záleží také na tom, komu a s čím smí agent jednat. Tvůrci modelů začínají přístup ke schopnostem odstupňovat podle ověřené identity zákazníka: v oblasti kybernetických schopností zavedla OpenAI tři úrovně Trusted Access a Anthropic v říjnu přeskupil svůj program ověřeného přístupu rovněž do tří úrovní. Citlivější schopnosti se tak odemykají jen prověřeným organizacím. Zatím se ale rozhoduje podle účtu nebo organizace, ne podle jednotlivého agenta, a je to jen jedna vrstva bezpečnosti.
Důležitá je proto spolehlivá identifikace agenta, jak při práci s modely, tak při spolupráci s dalšími agenty a weby. Dnes se agenti většinou nepředstavují a předloží jen řetězec user agent a IP adresu, které se dají zfalšovat. Technické prostředky vznikají: podepsané požadavky agentů (Web Bot Auth), „vizitka“ agenta v protokolu A2A a návrh veřejného záznamu o identitě, kde za agenta odpovídá osoba nebo organizace. Jsou to ale zatím rozpracované návrhy různé zralosti a spoléhají na dobrovolnou spolupráci. Kdo se identifikovat nechce, neudělá to, a lokální otevřené modely žádné úrovně přístupu nemají.
AI nepracuje ve vzduchoprázdnu - IT infrastruktura
Pro bezpečnost je zásadní konfigurace infrastruktury: otevřít jen nutné porty a služby, záplatovat systémy a pravidelně vyhodnocovat logy. Jen v září Microsoft opravil rekordních 974 zranitelností. AI k těmto slabinám nepřidává nové díry, jen ty existující objevuje rychleji.
Poučení z minulých chyb v prostředí bez AI
Stuxnet byl účelově vytvořený počítačový červ zaměřený na centrifugy v Íránu. Podle většiny zdrojů za ním stály USA a Izrael, oficiálně se k němu nikdo nepřihlásil. Vymkl se zamýšlenému cíli a rozšířil se do počítačů po celém světě. Je to připomínka, že i cílená zbraň může uniknout kontrole.
AI může poznat, že je testována. Něco podobného už ale známe. Firmware některých naftových motorů koncernu Volkswagen (TDI) poznal testovací podmínky podle nastavení volantu, otáček a dalších parametrů a upravil emise. Šlo o vlastnost, kterou záměrně naprogramovali lidé. U AI modelů výzkumníci pozorují, že některé modely tuší, že jsou testovány. Zda jde o obecnou, naučenou vlastnost schopných modelů napříč laboratořemi, zatím spolehlivě prokázáno není. Je to znepokojivé, ale pro vědce a tvůrce nových řešení také výzva.
25 let virových infekcí a hackerských útoků
Když se dnes mluví o nebezpečí AI, stojí za to připomenout, jak vypadalo posledních 25 let bez ní. V květnu 2000 se po světě rozšířil e-mailový červ ILOVEYOU a způsobil škody odhadované v miliardách dolarů. Jeho autoři ze Filipín nebyli stíháni, protože tam tehdy neexistoval zákon, který by takový čin postihoval. V lednu 2003 se během deseti minut rozšířil červ SQL Slammer, zasáhl asi 75 000 serverů, vyřadil bankomaty a tísňovou linku 911 ve státě Washington a v Jižní Koreji na několik hodin přerušil internet. Záplata přitom existovala už šest měsíců a mnoho správců ji nenainstalovalo, podle některých zdrojů dokonce ani někteří v samotném Microsoftu. Microsoft po vlně červů v lednu 2002 vyhlásil iniciativu Trustworthy Computing a od října 2003 vydává bezpečnostní záplaty pravidelně každý měsíc.
Ani to nestačilo. V květnu 2017 ransomware WannaCry zasáhl více než 200 000 počítačů ve 150 zemích a ochromil britskou zdravotní službu NHS. Využil chybu ve Windows, jejíž záplatu Microsoft vydal dva měsíce předtím. Vzorec byl stejný: chyba známá, záplata dostupná, ale nenasazená. U nás ransomware na konci roku 2019 vyřadil na téměř tři týdny z provozu nemocnici v Benešově a v březnu 2020 zasáhl Fakultní nemocnici Brno, která musela omezit péči a odkládat operace.
Postupně se z toho stala rutina. Bezpečnostní záplaty vycházejí měsíc co měsíc. V září jich Microsoft vydal rekordních 974 a v říjnu tento rekord překonal více než 1 400 opravami, z nichž zhruba 1 100 se týkalo Windows. To je víc než za celý rok 2025. Virové a hackerské útoky navíc zevšedněly natolik, že se jimi média zabývají většinou jen tehdy, když zasáhnou nemocnici nebo elektrárnu. Zvykli jsme si, stejně jako si řidič zvykne na výmoly na silnici, kterou jezdí každý den. Přesně tato otupělost je nebezpečná ve chvíli, kdy do stejného, provizorně záplatovaného prostředí přichází AI agent, který slabiny hledá rychleji a bez únavy.
Ty slabiny přitom nevytvořila AI, ale lidská práce při vývoji kódu. AI je jen našla. Řada z nich se v systémech skrývala roky a části kódu Windows jsou staré desítky let, například stále používaný Windows 10 vyšel v roce 2015.
Shrnutí
O bezpečnosti AI se mluví právem. Modely, agenty a jejich oprávnění je třeba kontrolovat. Řada případů z posledních měsíců ale ukazuje, že selhání vznikala tam, kde se AI setkala s nedostatečně zabezpečeným okolím: s nedokonalou izolací testovacích prostředí, slabým ověřováním, neopravenými zranitelnostmi a logy, které si nikdo nenamáhal přečíst. Jsou to stejné chyby, které provázejí vývoj softwaru posledních 25 let. AI vše zrychluje a zviditelňuje.
Závěr
Pokud chceme žít ve světě kde nás nebude AI ohrožovat, ale bude naším pomocníkem, tak je třeba vyřešit i okolní IT svět, tedy infrastrukturu a software, a změnit návyky - neotvírat zbytečné porty, nepovolovat nepoužívané služby, záplatovat včas, omezovat oprávnění a vyhodnocovat logy. Na výrobce softwaru bychom měli být stejně nároční jako na výrobce automobilů nebo letadel.
Čím schopnější modely budujeme, tím schopnější akce a návrhy musíme očekávat a být na ně připraveni. Lepší a různorodější testy AI pomáhají, ale podle mého názoru a zkušeností problém neřeší úplně.
Tvůrci AI varují před schopnostmi, které sami vytvořili a kontrolují, což je přirozené, protože to je jejich oblast a jejich „svět“. Skutečně účinné a fungující opatření je minimalizace prostoru pro útok na straně cíle s síti Internet. Skutečnému řešení se dostává jen zlomku pozornosti, jakou vyvolá jedna esej v The Atlantic od bývalého člena bezpečnostního týmu OpenAI. Možná i proto, že ti, kdo dnes píší do velkých médií, vidí především schopnosti modelů a jejich společenský dopad, zatímco práce správců a bezpečnostních techniků je tichá, interní a málo viditelná. Práce správců navíc v prostředí operačních systémů plných slabin mnohokrát nestačila na sofistikované útoky počítačových virů, které zneužívaly v té době neveřejné zranitelnosti.
Nemá smysl přemýšlet o zastavení vývoje modelů AI, ale je nutné vytvořit podmínky a pravidla, aby ani budoucí velmi kreativní model nemohl způsobit katastrofu. Tak jako u letectví a jaderné energie to nesmí stát na dobré vůli, ale na několika vrstvách ochrany a kontroly. A ty musí začínat u AI modelu, přes agenty, síťovou infrastrukturu až po kvalitní operační systémy a aplikace. Z celého řetězce vyčnívá spolehlivá identifikace a nastavení oprávnění pro AI agenty při jejich spolupráci s dalšími agenty a modely, protože bez agentů je AI model jen velmi chytrý a kreativní „digitální mozek“.
