Článek
Když něco vyrábím, mám přece právo určit, jak se to bude používat.
Na první pohled docela samozřejmá věta. Zvlášť když nevyrábím židli nebo hrnek, ale něco tak složitého, jako je software. Nebo umělá inteligence.
Přesně na téhle otázce se teď ve Spojených státech střetly firma Anthropic a Pentagon.
Anthropic vyrábí Claude, jeden z nejvýkonnějších současných systémů umělé inteligence. Americké ministerstvo obrany a další bezpečnostní instituce ho používají například při analýze zpravodajských informací, simulacích, operačním plánování nebo kybernetických operacích. Firma ale stanovila dvě oblasti, pro které svůj systém poskytnout nechce: Masové sledování Američanů a plně autonomní zbraně. Pod tím druhým myslí systémy, které po nasazení dokážou samy vybírat a zasahovat cíle bez dalšího zásahu člověka.
Anthropic tvrdí, že současné modely ještě nejsou dost spolehlivé, aby na nich bylo možné takové rozhodování bezpečně postavit. U masového sledování zase upozorňuje na trochu jiný problém: Umělá inteligence může vzít tisíce jednotlivě nenápadných a třeba i legálně získaných údajů o pohybu, kontaktech, nákupech nebo chování člověka a během několika sekund z nich složit něco, co už připomíná jeho kompletní digitální životopis.
Pentagon namítl v zásadě toto:
O tom, co smí dělat americká armáda, přece nemůže rozhodovat soukromá technologická firma.
A vlastně má pravdu.
Jenže Anthropic také.
A právě tím to začíná být zajímavé
Kdybych vyráběl motorové pily, mohl bych do návodu napsat, že nejsou určeny k sekání pod vodou. Mohl bych odmítnout vyrobit zvláštní pilu někomu, kdo po mně požaduje vlastnost, kterou považuji za nebezpečnou.
Sotva bych ale mohl po prodeji chodit za zákazníkem po lese a rozhodovat, který strom ještě smí pokácet.
Jenže u umělé inteligence je tenhle příměr o něco složitější, než se zdá.
Některé systémy AI skutečně fungují jako služba, nad níž si výrobce ponechává značnou kontrolu. Může aktualizovat bezpečnostní filtry, měnit model, sledovat jeho použití nebo službu zákazníkovi vypnout.
Jiné jsou ale nasazeny uvnitř infrastruktury zákazníka.
A právě tady původní intuice trochu selhává.
Podle podkladů předložených soudu například Anthropic nemohl u části modelů Claude běžících v zabezpečených a oddělených vládních prostředích jednostranně model změnit, zhoršit ani vypnout. Jakmile byl model uvnitř takového systému, výrobce neměl jednoduše ruku na vypínači. Vláda v soudním řízení nepředložila důkaz, že by tomu bylo jinak.
Takže Claude opravdu není motorová pila.
Ale není vždycky ani služba, u které výrobce stojí zákazníkovi permanentně za ramenem.
A to celý problém dělá ještě zajímavější.
Protože bezpečnostní hranice umělé inteligence mohou být zabudované přímo v technologii.
Anebo mohou být jen ve smlouvě.
V prvním případě výrobce fakticky kontroluje, co jeho systém udělá.
V druhém říká zákazníkovi: Dám vám svůj výrobek, ale pouze pod podmínkou, že jej k určitému účelu nepoužijete.
A spor mezi Anthropicem a Pentagonem byl do značné míry právě o tohle.
Anthropic přitom netvrdil, že chce rozhodovat o jednotlivých vojenských operacích. Naopak výslovně uznával, že vojenská rozhodnutí patří armádě. Jeho argument byl užší: Existují dvě kategorie použití, pro které svůj model zatím poskytnout nechce.
Pentagon chtěl něco jiného.
Možnost používat systém pro všechny zákonné účely.
To je velmi silný argument.
Jestliže je nějaká vojenská činnost podle amerického práva legální, proč by o její přípustnosti měla místo Kongresu, soudu nebo zvolené vlády rozhodovat technologická firma?
Jenže slovo „zákonné“ skrývá ještě jeden problém.
Zákonné totiž nemusí znamenat bezpečné
Most může splňovat předpis, a přesto může jeho konstruktér zjistit závadu, kvůli které ho odmítne otevřít.
Lék může být legálně použitelný, a přesto lékař může dojít k závěru, že konkrétnímu pacientovi ho nepodá.
A nový stroj může být právně povolený, ale jeho výrobce může vědět něco o jeho slabinách, co zákonodárce ještě vůbec nestihl vzít v úvahu.
Právě to tvrdí Anthropic u současných modelů umělé inteligence.
Neříká: Autonomní zbraně musí být navždy zakázány.
Dokonce připouští, že mohou jednou hrát při obraně země důležitou roli.
Říká něco střízlivějšího: Dnešní modely podle našich testů ještě nejsou tak spolehlivé, abychom jim chtěli svěřit samostatný výběr a zásah cíle.
A tady přichází otázka, kterou zákon řeší jen obtížně.
Kdo má poslední slovo ve chvíli, kdy je něco legální, ale výrobce tvrdí, že to ještě není technicky bezpečné?
Stát?
Výrobce?
Zákazník?
Regulátor?
Soud?
Možná bychom měli být opatrní s odpovědí, že vždy stát.
Ale stejně opatrní bychom měli být i s odpovědí, že vždy výrobce.
Protože teď si celý obrázek otočme.
Představme si svět za deset let.
Tři nebo čtyři společnosti provozují prakticky všechny opravdu schopné systémy umělé inteligence. Státní správa, nemocnice, věda, policie, média, průmysl i obrana jsou na nich nějak závislé.
A vedení jedné z těch společností rozhodne, že její AI nesmí používat například policie.
Jiné, že nebude pomáhat při těžbě ropy.
Další, že její systém nesmí analyzovat určitý druh politických materiálů.
A ještě jiná firma stanoví, že její model nesmí pomáhat vládě s migrační politikou, kterou její vedení považuje za neetickou.
Všechny tyto činnosti přitom mohou být zcela legální.
Najednou máme problém opačný.
Několik soukromých firem totiž nezačíná pouze vyrábět technologii.
Prostřednictvím podmínek jejího používání začíná určovat, k čemu má společnost přístup a k čemu ne.
A jejich pravidla nevznikají v parlamentu.
Nehlasujeme o nich.
Nejsou výsledkem voleb.
Někdy ani přesně nevíme, kdo je uvnitř firmy vytvořil a podle jakých hodnot.
Pentagon proto říká něco, co bychom neměli jednoduše odmávnout:
Vojenskou politiku demokratického státu nemůže určovat dodavatel softwaru.
Jenže ani tím příběh nekončí
Protože stát zároveň nemůže libovolně používat svou moc proti firmě jen proto, že mu odmítla dodat technologii za jeho podmínek.
A právě tady do sporu vstoupil americký federální soud.
Pentagon označil Anthropic za bezpečnostní riziko dodavatelského řetězce. Šlo o mimořádný krok a podle dostupných informací o první veřejné použití tohoto nástroje proti americké společnosti.
Federální soudkyně Rita Lin 27. srpna rozhodla, že označení Anthropicu za bezpečnostní riziko dodavatelského řetězce bylo nezákonné. Podle soudu šlo o odvetný krok, který porušil práva firmy podle prvního dodatku, její procesní práva podle pátého dodatku a zároveň neodpovídal zákonnému účelu pravomoci určené k ochraně dodavatelského řetězce. Postup Pentagonu označila za „illegal and baseless“.
To ale neznamená, že soud dal Anthropicu právo určovat americkou vojenskou politiku.
A to je důležitý rozdíl.
Soud vůbec nerozhodl velkou filozofickou otázku, kdo má stanovovat hranice vojenského použití umělé inteligence.
Pentagon také nemusí Claude dál používat.
Pokud se mu podmínky Anthropicu nelíbí, může si vybrat jiného dodavatele.
Podstatný rozdíl leží mezi dvěma větami:
„Váš výrobek za těchto podmínek nechceme.“
a
„Když nám výrobek za našich podmínek nedáte, použijeme proti vám zvláštní státní pravomoci.“
První je rozhodnutí zákazníka.
Druhá už je výkon státní moci.
A ten musí mít právní základ.
Právě tuto hranici nynější rozsudek výrazně zvýraznil. Soud nerozhodoval o tom, zda má Anthropic pravdu v debatě o autonomních zbraních nebo sledování. Rozhodoval o tom, zda stát směl proti dodavateli použít mimořádný bezpečnostní nástroj způsobem, jakým to Pentagon udělal.
Možná právě tohle je nejpevnější bod celého příběhu.
Rozsudek přitom nemusí být posledním slovem. Pentagon může využít další právní prostředky a spor se může posunout k vyšším soudům. K 30. srpnu 2026 ale platí, že klíčový krok vlády proti Anthropicu federální soud zablokoval jako nezákonný.
Jenže pak přišla ještě jedna věc, která spor komplikuje.
Pentagon krátce nato uzavřel dohodu s OpenAI.
A OpenAI si v ní stanovilo vlastní bezpečnostní hranice také.
Nechce, aby jeho technologie byla používána k masovému domácímu sledování, k samostatnému řízení plně autonomních zbraňových systémů ani k některým vysoce závažným automatizovaným rozhodnutím bez člověka. Nasazení navíc navrhlo jako cloudové, bezpečnostní vrstva má zůstat pod kontrolou OpenAI a firma má mít možnost kontrolovat, zda její podmínky nejsou porušovány.
OpenAI dokonce veřejně prohlásilo, že s označením Anthropicu za bezpečnostní riziko nesouhlasí.
A najednou už příběh není tak jednoduchý
Pentagon tedy zjevně není principiálně proti tomu, aby dodavatel AI měl nějaké vlastní hranice.
Záleží také na tom, jak jsou ty hranice formulované, jak jsou smluvně vymahatelné a jak je celý systém technicky postavený.
To je možná důležitější zjištění než spor o jednu konkrétní firmu.
U umělé inteligence totiž moc neurčuje jen zákon nebo smlouva.
Určuje ji také architektura.
Kdo provozuje model?
Kdo ho může aktualizovat?
Kdo drží bezpečnostní filtry?
Kdo vidí, co systém dělá?
Kdo jej může odpojit?
A kdo naopak dostane model do vlastního uzavřeného systému, kam už výrobce nedosáhne?
To všechno jsou technické otázky.
Ale zároveň jsou to otázky politické.
Protože kdo drží vypínač, drží kus moci.
A tím se dostáváme zpátky k původní otázce.
Kdo smí říct stroji, co nesmí?
Ten, kdo ho vytvořil?
Ten, kdo za něj zaplatil?
Stát?
Zákon?
Možná je chyba hledat jednoho vítěze.
Výrobce by měl mít možnost říct: Takový produkt vám neposkytnu, protože za jeho bezpečnost za těchto podmínek nechci ručit.
Zákazník musí mít možnost odpovědět: Potom ho od vás nekoupím.
Stát musí mít možnost rozhodovat o vlastní politice.
Ale zároveň nesmí libovolně trestat dodavatele jen proto, že s ním odmítl uzavřít obchod za podmínek, které stát požaduje.
A soukromá firma by zase neměla získat takovou technologickou převahu, aby její interní etická pravidla začala nahrazovat demokraticky přijaté zákony.
Nad nimi všemi proto musí stát něco třetího.
Pravidla, která nevytváří ani generální ředitel technologické firmy, ani generál v Pentagonu.
Zákon.
A možná časem mnohem přesnější zákon než ten dnešní.
Protože dosavadní právní systém vznikal pro svět, ve kterém výrobce vytvořil stroj, zákazník ho koupil a bylo víceméně jasné, kdo nad ním má kontrolu.
Umělá inteligence tuto hranici rozmazává.
Někdy zůstává výrobce uvnitř systému.
Jindy stojí venku a zbývá mu jen smlouva.
Někdy může model změnit během několika hodin.
Jindy už se k němu vůbec nedostane.
A někdy stát nebude kupovat pouze nástroj.
Bude kupovat schopnost, na které začne být sám závislý.
Spor mezi Anthropicem a Pentagonem proto podle mě není především příběhem o tom, zda jsou autonomní zbraně dobré, nebo špatné.
Ani o tom, zda má pravdu technologická firma, nebo americká vláda.
Je to první ochutnávka mnohem většího problému.
Čím schopnější se umělá inteligence stane, tím víc budeme muset rozhodovat nejen o tom, co smí dělat člověk se strojem.
Ale také o tom, kdo smí do stroje zabudovat hranici, kterou už člověk překročit nemůže.
A jestli jednou opravdu svěříme umělé inteligenci důležité části společnosti, nebylo by dobré, aby tuto hranici určoval výhradně generální ředitel technologické společnosti.
Stejně jako by nebylo dobré, aby ji určoval výhradně generál v Pentagonu.
Oba totiž mohou být naprosto přesvědčeni, že právě oni vědí nejlépe, co je správné.
A historie má nepříjemný zvyk připomínat, že právě tehdy bývá docela užitečné, když jim do toho ještě někdo mluví.
Autor provozuje AI web www.tahakomat.cz
