Bezpečnost AI - Apollo, letectví, jaderná energetika jsou tři obory kde čerpat zkušenosti

Zajistit bezpečnost umělé inteligence je úkol tak velký, že ho nezvládne žádná jedna firma, jeden obor ani jedna samotná země. Svojí velikostí a výzvou se řešení bezpečnosti AI podobá programu Apollo. S drobnou odlišností, že Apollo byl především úkol techniků a inženýrů v USA. Program Apollo nebyl jen technickým projektem. Byla to ohromná výzva pro celou jednu generaci inženýrů a techniků z mnoha oborů, od metalurgie přes řídicí software po řízení kvality, a jeho úspěch stál na tom, že se úkol podařilo rozdělit mezi obrovské množství lidí a přitom ho držet pohromadě.

Apollo v tomto článku beru jako inspiraci, ne jako přesný návod. Program Apollo ukazuje, jaký rozsah úsilí je u úkolu takové velikosti potřeba. Je o spolupráci mnoha oborů a v případě AI i mnoha zemí, společný cíl a ochotu řešit problémy, na které předem nikdo nezná odpověď nebo dokonce o jejich úspěchu pochybuje.
Pro dlouhodobý provoz pak bezpečnou AI srovnávám s letectvím a jadernou energetikou, které ukazují, jak se bezpečnost udržuje léta a jak se dokáží lidé v těchto oborech poučit z chyb nebo dokonce havárií.

Někteří lidé, kteří jsou nebo byli spojeni s vývojem velkých jazykových modelů, neuronových sítí a AI jak ji dnes známe varují před jejím nebezpečím. Varují jak může být AI vytrvalá, kreativní. Ta varování jsou v pořádku, ale jsou to slova lidí, kteří znají především svůj obor.

Je to podobné jako, když jaderný inženýr říká, že ionizační záření je životu nebezpečné. Má pravdu, ale přesto lidé našli způsob jak toto záření používat v medicíně a jak dlouhodobě a bezpečně provozovat jaderné elektrárny.

Každá nová riziková technologie se nejdřív poměřuje s něčím, co už známe. Analogie pomůže s orientací v nové situaci, současně ale není dobré vzít minulou zkušenost a použít ji stylem Ctrl+C , Ctrl +V. To nefunguje.

Program Apollo měl jasně definovaný cíl s termínem: dopravit lidi na Měsíc a vrátit je zpět. Dalo se jednoznačně poznat, kdy se to povedlo. Do úsilí se zapojila celá řada oborů od materiálů přes software po řízení kvality a spolupracoval stát se soukromými dodavateli.
Apollo ale také ukázalo cenu nedostatečné bezpečnostní kultury. Požár kabiny Apolla 1 v lednu 1967 si vyžádal životy tří astronautů a přinutil NASA přepracovat konstrukční i procesní postupy. Poučení nebylo jen technické, byla to změna toho, jak se o rizicích v organizaci mluví.

Co z toho plyne pro AI: hodí se pro konkrétní, měřitelné podcíle, například ověřitelné testování schopností, odolnost proti zneužití nebo interpretovatelnost. Nehodí se pro celek, protože „bezpečná AI“ není místo, kam se dojde a odškrtne se to. Posouvá se zároveň s technologií.

Letectví dnes patří k nejbezpečnějším formám dopravy, ale ne proto, že by někdo jednou splnil cíl. Bezpečnost je tam trvalý provozní systém, který stojí na několika pilířích:

Co z toho plyne pro AI: přesně tohle se u AI zatím dělá nejméně. Chybí povinné hlášení incidentů, nezávislé vyšetřování a sdílení poučení napříč firmami. Pokud bych měl vybrat jeden vzor, na kterém stavět dlouhodobý režim dohledu, byl by to ten letecký provoz. Certifikace AI agentů by měla být jedním z prvních úkolů.

Jaderná energetika přidává princip ochrany do hloubky, tedy nespoléhat na jednu bariéru, ale vrstvit nezávislé ochrany tak, aby selhání jedné nevedlo ke katastrofě. Důležité je také oddělení provozovatele od regulátora a důraz na bezpečnostní kulturu, zvlášť po haváriích, které ukázaly, jak snadno se rutina a tlak na výkon dokážou střetnout s opatrností.

Co z toho plyne pro AI: vrstvení kontrol je užitečná myšlenka právě pro agenty. Žádná jedna ochrana (filtr, proxy, pravidlo v promptu, souhlas uživatele) nestačí. Potřebujeme více nezávislých vrstev.

Z předchozích tří projektů, se kterými se dokázali naši předci vypořádat je možné si vzít inspiraci jak společně a v několika různých oblastech najednou řešit bezpečné využívání AI. Samozřejmě, že to není jediné možné řešení. Vidím ještě čtvrtou cestu.

Cesta číslo 4 – Vývoj software a hlavně operačních systémů

Když jsem se začal po roce 1995hlouběji věnovat bezpečnosti informačních systémů, narazil jsem na věc, která mi připadala nepochopitelná. Výrobci softwaru, včetně těch největších, jako byl Microsoft, vydávali produkty s vědomím, že obsahují nedostatky. A když je někdo nalezl a upozornil na ně, výrobce je opravil, ale odpovědnost za škody, které mezitím způsobily, nikdo nenesl.

Spoléhat na to, že „problémy opravíme po nasazení“, je velmi špatný přístup. Týkalo se to posledních 25 let celého oboru vývoje operačních systémů a aplikací. Kontrola byla ponechána na tvůrcích softwaru a téměř samozřejmostí se stala věta „V příští verzi chyby opravíme“. Často jsme slyšeli i druhou větu : „Lépe to dělat nejde.“ Všem od programátorů, přes manažery SW firem až po politiky úmyslně nebo „náhodou“ uniklo, že tvorba SW, včetně operačních systémů byla a je čistě lidská práce bez neznámých oblastí, které stále jsou ve fyzice, chemii.

Řešení bezpečnosti AI

Řešení bezpečnosti AI a hledání způsobu jak ji budeme řešit nastoluje otázku, kde, ve které části řetězce se problém bude řešit. Okleštíme tvořivost a kreativitu modelů AI, nebo si už konečně přiznáme, že minulých 20–25 let rozvoje softwaru bylo založeno na účelově deformovaných pravidlech odpovědnosti? Přijali jsme názory softwarových firem, které na stížnosti, že je v programu slabina, odpověděly, že v další verzi se to opraví.

AI nám dnes nastavuje zrcadlo, ve kterém jsou vidět chyby, které se v operačních systémech, aplikacích a celé IT infrastruktuře usadily. Microsoft za měsíce květen – říjen roku 2026 vydal opravy více jak 3400 CVE (popis slabin) ve svých výrobcích. Ty chyby tam byly mnoho dlouhých let, například Windows 10 se začal prodávat v roce 2015.

Popsal jsem čtyři cesty jak řešit bezpečnost AI. AI modely a agenti se nepohybují ve vzduchoprázdnu. O internetu se už dlouho před nástupem AI hovořilo jako o místě, které může být velmi nebezpečné.

Velkým úkolem by měla být kontrola nad AI agenty. Pokud nebudeme vědět, kdo agent je, co smí, co udělal a jak ho zastavit, žádný program, ani ten nejambicióznější, nám bezpečnost nezajistí.

Neomezujme schopnosti AI modelu víc než je nutné. Kontrolujme AI agenty a hlavně přizpůsobme infrastrukturu a naše myšlení novým výzvám.

Závěr: kterou cestu zvolit

Apollo nám dává měřítko a postoj: velký úkol se dá rozdělit mezi mnoho oborů a zemí, má mít měřitelné podcíle a nesmíme ho vzdát jen proto, že řešení zatím neznáme. Letectví učí, že bezpečnost je trvalá instituce: certifikace, povinné hlášení incidentů a nezávislé vyšetřování. Jaderná energetika přidává ochranu do hloubky, kde žádná vrstva nespoléhá na to, že ostatní fungují. A čtvrtá cesta, vývoj softwaru, ukazuje, kde je dnes nejslabší místo.

Dvacet pět let jsme přijímali, že chyby se opravují až po nasazení. AI nám dnes nastavuje zrcadlo: nachází chyby, které v systémech byly roky. V říjnu 2026 Microsoft v jediné aktualizaci opravil přes 1 400 zranitelností, víc než za kterýkoli dřívější celý rok. To není selhání AI. To je účet za dluh z minulosti. Agent i model navíc pracují v prostředí složeném přesně z takového softwaru, proto nestačí řešit bezpečnost na jednom místě. Musí se řešit na všech úrovních: v modelu, u agenta, v infrastruktuře i na klientských počítačích.

Úkol je velký, ale stejně jako v programu Apollo, se dá rozdělit a vyřešit. Neomezujme schopnosti AI modelu víc než je nutné. Kontrolujme AI agenty a hlavně přizpůsobme infrastrukturu a naše myšlení novým výzvám.
Tak co, budeme se inspirovat prací našich předků nebo zvolíme výše popsanou cestu číslo čtyři a počkáme, že se to v příští verzi nějak vyřeší?

Já osobně bych se raději inspiroval v přístupu a práci našich předků, kteří s počítačem s výkonem dnešní kalkulačky dokázali přistát na Měsíci a vrátit se domů.