Článek
Umělá inteligence se během několika let proměnila z technologické zajímavosti v předmět veřejného znepokojení. Zprávy o halucinacích, při nichž model sebejistě tvrdí nesmysly, se mísí s varováním před kybernetickými útoky podporovanými strojovým učením a s diskusemi o autonomních agentech, kteří jednají bez přímého dohledu. Do toho přicházejí obavy z vývoje, který by se mohl vymknout kontrole. Není divu, že se o regulaci mluví stále hlasitěji a politici na obou březích Atlantiku hledají způsob, jak technologii ohraničit.
Za tím vším se skrývá otázka, která si zaslouží pozornost dřív, než začneme psát zákony. Je problém skutečně v samotné umělé inteligence, nebo spíš v tom, jak ji lidé používají a co všechno jí dovolují?
AI nedělá, co sama chce, ale co jí člověk umožní
Jazykový model nemá vlastní touhy ani cíle ve smyslu, v jakém je mají lidé. Pracuje se zadáním a to se od lidského záměru často liší. Kdo požaduje „zrychli ten proces“, může myslet zkrácení čekacích dob, zatímco systém třeba vynechá kontrolní kroky, protože zdržují. Špatně formulovaný požadavek vede ke špatnému výsledku a stroj za to nenese vinu, protože neví, co člověk skutečně chtěl.
Umělá inteligence také nemá společenský mandát. Nebyla zvolena, nepodepsala smlouvu a nelze ji pohnat k odpovědnosti. Věta „AI to udělala sama“ proto zní jako vysvětlení, ve skutečnosti je však zavádějící. Za každým nasazeným systémem stojí rozhodnutí někoho, kdo ho vytvořil, nakonfiguroval, připojil k dalším službám a pustil do provozu.
Dříve stačilo popsat chatbota jako program, který na otázku odpoví textem. Dnes se těžiště posouvá k agentům, tedy systémům, které si samy volí postup. Model může volat API, procházet internet, číst a upravovat soubory nebo pracovat uvnitř firemních systémů. Člověk už nezadává každý jednotlivý krok, stanoví cíl a zbytek nechává na systému.
S tím roste význam architektury. Záleží na tom, k čemu má agent přístup, co smí měnit, kdo jeho kroky vidí a kdy se musí zastavit. Čím větší autonomie, tím méně se lze spoléhat na to, že dobře napsaná instrukce vyřeší všechno. Bezpečnost se přesouvá z formulace zadání do konstrukce celého prostředí.
Kdo tedy nese odpovědnost, když AI udělá chybu?
Kandidátů je několik. Vývojář modelu ho vytvořil a rozhodl o jeho schopnostech i omezeních. Firma, která model nasadila, určila, k čemu se bude používat a s jakými daty bude pracovat. Zaměstnanec, který úkol zadal, nesl odpovědnost za jeho smysluplnost. A koncový uživatel se rozhodl výsledku důvěřovat.
Každý z nich má na výsledku svůj díl, proto nelze celou vinu hodit na jediného. Odpověď „AI se spletla“ ale nemůže být konečná. Je to popis události, nikoliv určení odpovědné strany. Pokud se odpovědnost rozplyne mezi vývojáře, provozovatele a uživatele tak, že ji nenese nikdo, vzniká přesně ta situace, kterou by právní řád měl předcházet.
Důležité je také rozlišovat, s jakým typem systému se pracuje. Kalkulačka počítá, co jí člověk zadá a výsledek vždy zkontroluje ten, kdo ho použije. Chatbot nebo programovací asistent navrhuje, ale rozhodnutí zůstává na člověku, který návrh přijme nebo zamítne. Autonomní systém je jiný případ, protože akci rovnou provede. Doporučení lze zkontrolovat, zatímco provedená akce už existuje ve světě, třeba jako odeslaná zpráva, smazaná data nebo uskutečněná platba. S rostoucí autonomií proto musí růst i kontrolní mechanismy, a kdo agentovi dá volnost, měl by mu zároveň dát i dohled.
Největší riziko přitom často nespočívá v samotném modelu, ale v jeho oprávněních. Model bez přístupu k čemukoliv může vyprodukovat nanejvýš nesmyslnou odpověď, což je nepříjemné, ale škoda zůstane omezená. Jakmile systém dostane přístup k databázi zákazníků, k firemním penězům nebo k produkční infrastruktuře, může stejná chyba způsobit skutečnou újmu. Halucinace v konverzaci je trapnost, halucinace s právem mazat data je incident. Bezpečnostní odborníci proto znají princip least privilege, podle něhož má mít každý systém jen taková oprávnění, jaká nezbytně potřebuje ke své práci. K tomu patří schvalování kritických akcí člověkem, takže převod větší částky, změna v produkčním prostředí nebo hromadné rozeslání zpráv by neměly proběhnout bez potvrzení někoho, kdo nese odpovědnost.
Závod ve zbrojení o nejlepší model
Nabízí se otázka, proč firmy nezpomalí, když jsou rizika zřejmá. Odpověď leží v ekonomice. Vývoj špičkových modelů vyžaduje obrovské investice do výpočetního výkonu, dat a infrastruktury a firmy mezi sebou soutěží o to, kdo nabídne schopnější systém. Pokud jedna z nich přibrzdí a ostatní pokračují, riskuje ztrátu zákazníků, talentů i investorů. Podobá se to strategickým závodům, kde nikdo nechce být první, kdo ustoupí, protože by tím zvýhodnil soupeře. Každý jednotlivý hráč může upřímně chtít opatrnější tempo, a přesto se tempo nezmění, takže dobrovolná zdrženlivost v takovém prostředí funguje jen omezeně.
Jak křehký ten závod ve skutečnosti je, ukázal nedávný případ firmy Oracle. Ta je hlavním nájemcem obřího datacentra Project Jupiter v Novém Mexiku, které mělo začít fungovat v roce 2028. Oracle podle Reuters poslala jednotce Blue Owl, tedy vývojáři kampusu, oznámení o ,,vyšší moci“ s odkazem na možné zpoždění při zajištění elektřiny, přestože podle zdroje agentury je právě obstarání energie podle smlouvy její povinností. Největší překážkou bylo, že státní úřady zamítly rozšíření plynovodu, který měl kampus zásobovat. Rozbíhají se také spory o povolení týkající se vody a kvality ovzduší. Oracle přitom z projektu neodchází. Využitím ,,vyšší moci“ si prodlužuje období, v němž platí nižší nájemné určené pro fázi výstavby. Firma tvrdí, že taková oznámení jsou u projektů tohoto rozsahu běžná. Pokud lze ,,vyšší moc“ vyhlásit kvůli elektřině, kterou měl nájemce sám zajistit, nic nebrání tomu, aby podobný argument použily i firmy, kterým by tempo nebo podmínky nařídil stát. Regulace by pak spíš než skutečnou překážku odhalila, jak křehký celý byznys je, protože stojí na plynovodech, povoleních a financování, které v době slibů ještě neexistují.
Právě tady vstupuje do hry regulace a spor o to, zda je brzdou inovací, nebo bezpečnostním pásem. Odpůrci přílišné regulace upozorňují, že složité povinnosti dokážou unést hlavně velké korporace s právními týmy. Menší firmy a nezávislí vývojáři by mohli být vytlačeni a trh by se paradoxně ještě více soustředil v rukou několika gigantů. Zastánci regulace naopak namítají, že některá rizika není rozumné přenášet výhradně na jednotlivé uživatele. Běžný člověk nedokáže posoudit, zda je model bezpečný, stejně jako nedokáže ověřit bezpečnost brzd v autě, proto existují normy, testy a odpovědnost výrobců. Podstatné je rozlišit, co se vlastně reguluje. Zásah do samotného vývoje, tedy omezování toho, jak výkonné modely smějí vznikat, je něco jiného než regulace nasazení, tedy pravidel pro to, kam a za jakých podmínek se modely připojují. Možná není nutné zakazovat výkonnější modely a rozumnější může být regulovat jejich přístup k citlivým systémům.
Plošný zákaz AI by byl nástrojem příliš hrubým a těžko vymahatelným. Větší smysl dává soubor praktických pravidel, která drží odpovědnost u lidí. Především je třeba jasně určit, kdo za co ručí, aby se vina nerozplynula. K tomu patří auditovatelnost, díky níž lze zpětně zjistit, proč systém jednal tak, jak jednal, a logování akcí, které z jeho činnosti vytvoří dohledatelnou stopu. Oprávnění by měla zůstat omezená, kritické operace by měl schvalovat člověk a systémy je nutné důkladně testovat ještě před nasazením. Firmy by pak měly mít povinnost incidenty řešit i nést jejich následky, místo aby je zamlčovaly. Nic z toho nebrání rozvoji technologie, jde o podobné mantinely, jaké známe z letectví, farmacie nebo finančnictví, tedy z oborů, které nesou velká rizika a přesto fungují.
Tím se dostáváme k paradoxu, který je pro celou debatu klíčový. Čím schopnější systém, tím užitečnější může být, protože zpracuje víc dat, zautomatizuje složitější úkoly a nahradí hodiny lidské práce. Stejná schopnost ale znamená, že při špatné instrukci nebo příliš široké pravomoci může napáchat i větší škodu. Výkon a riziko rostou společně a bezpečnost proto nemusí znamenat méně schopnou AI. Může ji znamenat lépe omezenou, s přesně vymezeným prostorem, ve kterém smí jednat. Silný motor je výhodou, pokud k němu patří dobré brzdy a pevný volant.
