Největší riziko AI není chyba. Je to důvěryhodně vypadající chyba

AI dnes neumí jen odpovídat. Umí se tvářit jako autorita.

To je možná větší změna, než se na první pohled zdá. Když člověk udělá chybu, často ji prozradí nejistotou, nedotažeností nebo tím, že jeho výstup působí neúplně. U generativní AI je problém jiný. Chybná odpověď může být napsaná plynule, strukturovaně, sebevědomě a s odkazy, které vypadají jako skutečné.

Jihoafrická vláda kvůli tomu musela stáhnout návrh své národní politiky pro umělou inteligenci. Dokument, který měl řešit mimo jiné pravidla, etiku a budoucnost AI, obsahoval fiktivní odkazy. Podle dostupných informací šlo pravděpodobně o AI vygenerované nebo neověřené zdroje.

Paradox je zřejmý. Dokument o řízení AI selhal na jedné z věcí, kterou musí řízení AI řešit jako první: na kontrole výstupu.

A právě tady se celý problém láme. Nejde jen o to, že AI udělala chybu. Jde o to, že chyba vypadala dost dobře na to, aby prošla do oficiálního dokumentu.

U generativní AI jsme si zvykli mluvit o halucinacích. Model si něco vymyslí, doplní chybějící detail nebo vytvoří odpověď, která zní přesvědčivě, ale nestojí na realitě. Jenže samotné slovo „halucinace“ trochu zjemňuje, o co ve skutečnosti jde.

Ve firemním provozu nejde o akademickou kuriozitu. Jde o riziko.

Pokud AI vymyslí zdroj v interní analýze, může se podle něj někdo rozhodovat. Pokud špatně shrne smlouvu, může vzniknout právní problém. Pokud připraví podklad pro vedení a nikdo ho neověří, může ovlivnit strategii. Pokud vytvoří dokument pro zákazníka, může poškodit důvěru.

Problém není v tom, že AI občas neví. Problém je v tom, že často neví velmi přesvědčivě.

Text má úvod, logiku, odborný jazyk, závěr i zdánlivé zdroje. Člověk pak neselhává proto, že by byl hloupý. Selhává proto, že forma výstupu vyvolává důvěru rychleji, než se stihne zapnout kontrola.

Tohle je jeden z největších praktických posunů, které AI přinesla.

Dřív bylo nekvalitní zpracování často vidět. Špatný dokument působil amatérsky, byl stylisticky slabý nebo neúplný. AI tenhle problém částečně odstranila. Umí dodat formu. Umí dodat strukturu. Umí dodat jazyk, který působí kompetentně.

Jenže kompetentní jazyk není důkaz kompetence.

To je důležité hlavně ve chvíli, kdy AI vstupuje do firemních procesů. Firmy ji začínají používat na e-maily, zápisy z porad, nabídky, analýzy, reporty, obchodní podklady, technickou dokumentaci nebo interní pravidla. Všude tam může AI šetřit čas. Ale všude tam také může vytvořit výstup, který vypadá hotově dřív, než je skutečně ověřený.

A právě to je nebezpečná kombinace. Rychlost bez kontroly. Sebevědomý jazyk bez odpovědnosti. Dokument, který působí jako výsledek, i když je zatím jen návrh.

Slovo governance zní pro spoustu firem těžkopádně. Evokuje směrnice, tabulky, schvalování a zbytečnou administrativu. Jenže u AI nejde o byrokracii pro byrokracii.

Jde o základní provozní hygienu.

Firma nemusí hned zavádět složitý systém. Ale měla by vědět, kde se AI používá, na jaké typy výstupů, kdo za ně odpovídá a co se musí ověřit před tím, než dokument opustí interní prostředí.

U méně citlivých věcí může stačit lehká kontrola. Třeba stylistická úprava e-mailu nebo návrh osnovy článku nevyžaduje stejnou přísnost jako právní shrnutí, finanční report nebo oficiální stanovisko.

U citlivých výstupů ale nestačí říct: „AI to připravila, člověk se na to podíval.“ To je příliš vágní. Kontrola musí být konkrétní. Ověřily se zdroje? Sedí citace? Je jasné, co je fakt a co interpretace? Nepřidala AI informaci, kterou neměla ve vstupu? Není výstup formulovaný jistěji, než odpovídá realitě?

To nejsou akademické otázky. To jsou otázky, které rozhodují, jestli AI ve firmě pomáhá, nebo jen produkuje hezky vypadající riziko.

Případ stažené AI politiky je viditelný hlavně proto, že se týká státu a oficiálního dokumentu. Ve firmách se ale podobné věci mohou dít mnohem tišeji.

Obchodník si nechá připravit shrnutí klienta. Manažer si nechá vygenerovat podklad pro rozhodnutí. HR použije AI při tvorbě interní směrnice. Konzultant si nechá zrychlit rešerši. Technik si nechá shrnout dokumentaci. Všechno z toho dává smysl. Problém vzniká až ve chvíli, kdy se z návrhu stane pravda bez ověření.

AI by v těchto situacích neměla být finální autorita. Měla by být pracovní vrstva.

To znamená, že její výstup má pomáhat člověku rychleji se zorientovat, připravit první verzi, najít strukturu nebo zkrátit rutinní práci. Nemá ale sama rozhodovat o tom, co je pravdivé, úplné a vhodné k odeslání.

Ve firmách bude proto stále důležitější rozlišovat mezi třemi typy výstupů. První jsou pracovní návrhy. Ty mohou být rychlé a nedokonalé. Druhé jsou interní podklady pro rozhodování. Ty už potřebují jasnou kontrolu. Třetí jsou oficiální dokumenty směrem ven. Tam musí být ověření samozřejmostí, ne volitelným doplňkem.

AI často vytváří dojem hotového výstupu. Jenže ve skutečnosti by měla vytvářet spíš mezikrok.

To je změna v uvažování. Firma by neměla hodnotit AI podle toho, jestli odpověď vypadá dobře. Měla by hodnotit, jestli je výstup ověřitelný, dohledatelný a použitelný v konkrétním procesu.

U dokumentů se zdroji to znamená jednoduché pravidlo: každý odkaz musí existovat a každý důležitý fakt musí být ověřitelný. U rozhodovacích podkladů musí být jasné, z jakých dat AI vycházela. U zákaznické komunikace musí být zřejmé, co smí AI navrhnout a co musí schválit člověk.

Důvěra v AI tedy nevzniká tím, že výstup zní dobře. Vzniká tím, že firma ví, jak s výstupem pracovat.

To je rozdíl mezi používáním AI a řízeným používáním AI.

Příběh stažené AI politiky je trochu absurdní, ale zároveň velmi užitečný. Ukazuje problém v čisté podobě. AI může pomáhat i u důležitých dokumentů, ale jen tehdy, když existuje jasná kontrolní vrstva.

Největší riziko AI proto opravdu nemusí být chyba sama. Chyby tu byly vždycky. Riziko je ve chvíli, kdy chyba vypadá jako odborný, čistý a důvěryhodný výstup.

Firmy, které budou AI používat rozumně, nebudou ty, které jí všechno zakážou. Budou to ty, které si nastaví jednoduchá pravidla: kde AI pomáhá, kde musí člověk ověřit fakta, kde je potřeba zdroj, kdo odpovídá za finální výstup a co se nesmí pustit dál bez kontroly.

AI může výrazně zrychlit práci. Ale čím důležitější dokument vytváří, tím méně stačí, že dobře zní.

Protože důvěryhodně vypadající chyba není menší problém než chyba viditelná. Často je naopak horší.