Stroj i člověk pod tlakem: Proč výkon bez mantinelů plodí monstra

Sedmadvacetiletý matematik Jacob Coxon udělal něco, co se v Silicon Valley neodpouští. Odešel z celého oboru umělé inteligence. Tři roky trénoval ty nejvýkonnější umělé mozky planety – nejdříve v OpenAI, pak v Anthropicu. Měl před sebou kariéru, o které sní miliony lidí, a bohatství na dosah ruky. Přesto zavřel dveře a odešel úplně.

Jako jeden z hlavních důvodů jmenoval incident s platformou Hugging Face. Moment, kdy se AI agenti OpenAI dostali do úzkých, vymysleli si neexistujícího zkoušejícího, postavili si tajnou nástěnku, a když jim ji vývojáři smazali, udělali to znovu jen víc skrytě. No a nakonec se vloupali na cizí server, protože to bylo rychlejší než přemýšlet. U modelu Claude od konkurenční firmy se ukázal stejný vzorec. Nešlo tedy o chybu jednoho stroje.

Coxon viděl zevnitř to, co my zvenčí přes naleštěné titulky technologických magazínů neuvidíme nikdy. Viděl tři roky čistého tlaku na výsledek. My máme jen titulky, a když pak někdo jako on promluví nahlas, zní nám to přehnaně, protože to nemáme s čím porovnat.

Tenhle vzorec důvěrně znám z úplně jiného světa. Třicet let chodím do firem školit manažery soft skills. Za tu dobu jsem viděl zblízka stovky vedoucích a potkat mezi nimi normálního člověka, který vede tým bez strachu a bez fasády, je vzácnost. Ne proto, že by se slušní lidé nerodili. Ale proto, že je systém nahoru nepustí.

Viděl jsem, co dělá s lidmi tlak na výsledek, když jim nikdo neřekl, kde je hranice. Dělá s nimi přesně to, co s těmi stroji. Začnou obcházet pravidla. Začnou si vymýšlet. A když to nejde jinak, vyhoří kvůli rozporům mezi tím, co se musí a maskováním toho, co o tom myslím. Anebo začnou svou práci potichu sabotovat. Nejsou špatní. Jen jim někdo dal cíl a zapomněl dodat mantinely.

Inženýři v Silicon Valley však nejsou jediní, kdo optimalizuje výkon na úkor morálky. V politice má tento chybějící mantinel elegantní krycí název. Slyšíme ho každý týden: „V zájmu voličů se musíme domluvit s každým.“

Zní to rozumně a pragmaticky. Ale není to pravda. Domluvit se s každým nemusí. Musí říct nahlas, s kým se domlouvají, o čem a co za to dají. Když to řeknou nahlas, je to kompromis. Když to neřeknou, je to obchod za našimi zády. A rozdíl mezi těmi dvěma věcmi je celý rozdíl mezi demokracií a tím, co po ní přijde.

Podobných vět je víc. „Musíme být realisté“ se skoro vždycky říká proti hodnotám a nikdy proti zájmům, nikdo přece není realista u zakázky pro kamaráda. „Odborníci to doporučili“ zase zamlčuje, kdo ty odborníky vybral a zaplatil. „Výběrové řízení proběhlo podle zákona“ je pak čistá pravda i u zakázky, jejíž zadání bylo napsané na míru. A takovou zakázku nakonec zaplatíme my všichni, na vyšších cenách a nižší kvalitě, i když jsme u toho nebyli.

Tady si potřebujeme ujasnit tři věci, které běžně pleteme dohromady. Odbornost je to, co člověk ví. Kompetence je to, jestli z toho co ví, umí udělat dobrý výsledek. A pak je tu třetí věc, pro kterou nemáme hezké slovo. Je to schopnost vidět na každém rozhodnutí i to, co se nedá spočítat. Kdo to zaplatí. Co se tím nevratně rozbije. Co zůstane, až přestane platit důvod, kterým se to, co se dnes stane někdy omlouvá.

Odbornost si u politického kandidáta ověříte předem, stačí životopis. Kompetenci zjistíte až zpětně, podle toho, co vám jako politik za své funkční období doručil. Tu třetí věc ale dopředu neověříte nikdy. Pozná se až ve chvíli, kdy člověka správné rozhodnutí něco stojí, a on ho přesto stejně udělá.

A tady je největší háček: každý nástroj, kterým dnes vybíráme lidi do funkcí, měří jen první dvě věci. Životopis, kampaň, průzkum, výsledky. Ta třetí je pro systém moci neviditelná. Ne proto, že by ji někdo potlačoval. Systém ji prostě nemá čím změřit.

Proto si nevybírá nejlepší. Vybírá ty, kdo nezaváhají. Kdo se před rozhodnutím zastaví a domýšlí, koho to zasáhne, je pomalejší. Kdo se nezastaví, doručí výsledek dřív. A systém, který měří jen rychlost výkonu a dosažený výsledek, si vybere jeho. Ne omylem. Přesně za to ho totiž odměňuje.

Historie nás přitom varuje, kam tento kult čistého výkonu vede. Nacismus, fašismus ani komunismus nezačaly neschopností. Začaly schopnými lidmi, kteří sami sobě odstranili hranice lidských hodnot. A proto zpočátku působily výkonněji než to, co nahradily. Vlaky jezdily, stavělo se, čísla ekonomiky rostla. Rozklad přišel až potom.

Neurolog František Koukolík, který se sociálně úspěšným psychopatům věnuje třicet let, k tomu má jednu větu, kterou bych vytesal nad každou volební místnost: Citová paměť je nepřenosná. Hrůzu předků nezdědíme, zdědíme jen její suchý popis. Každá generace se to musí naučit znovu. Dnes už to navíc nejsou velké ideologie. Jsou to jednotliví lidé, kteří sáhnou po stejném mechanismu, protože prostě funguje.

A dnes se tento mechanismus potkává s technologií v děsivé synergii. Letos v zimě se to odehrálo v přímém přenosu. Americké ministerstvo obrany chtělo od čtyř technologických firem, aby mu daly své modely k použití pro „jakýkoli zákonný účel“. Anthropic řekl ano, ale s dvěma pevnými hranicemi napsanými přímo ve smlouvě: žádné masové sledování vlastních občanů a žádné přímé použití v autonomních zbraních.

Ministerstvo to do smlouvy odmítlo zanést. Jeho náměstek to tehdy vysvětlil větou, že armádě prostě „musíte věřit“. Prezident Trump následně nařídil všem úřadům americké vlády přestat Anthropic používat. A OpenAI? Ta podepsala smlouvu s vládou během několika hodin po tomto vyhazovu. Se stejnými hranicemi, jak tvrdila, jenže ne napsanými, nýbrž jen ústně slíbenými.

Šéf OpenAI Sam Altman to pak sám interně nazval uspěchaným a oportunistickým krokem. Já jsem ten den přestal OpenAI používat. Není to velké gesto. Je to jen hranice, kterou si člověk nastaví sám, když ji nikdo nenastaví za něj. A nebyl jsem sám.

Během prvních 48 hodin od oznámení smlouvy skočily americké odinstalace aplikace ChatGPT o 295 procent za jediný den. Hnutí #QuitGPT do týdne napočítalo přes 2,5 milionu lidí, kteří jako já zrušili předplatné, přislíbili bojkot, nebo o něm dali vědět dál.

Že to, co Antropic nechtěl není jen akademická teorie, víme už od března 2020. Podle zprávy OSN tehdy v Libyi vojenský dron sám vyhledal ustupujícího vojáka a zaútočil na něj bez jakéhokoli spojení s lidským operátorem. Zda ho zabil, se nezávisle nepotvrdilo a výrobce plnou autonomii popřel. Ale princip je jasný: stroj dostal právo vybrat si lidský cíl. Nikdo mu totiž neřekl, že nesmí.

A pak je tu poslední vrstva, kterou Anthropic popsal ve své nedávno publikované zprávě. Lidé používali jeho modely k psaní propagandy, která pak končila v ruských státních médiích. Ne kvůli penězům, ale kvůli moci. Tady se stroj bez hranic potkává s člověkem bez hranic a je jedno, kdo z nich chyboval víc. Dřív měl člověk bez zábran omezený dosah, protože mu chyběly schopnosti. Tahle technická hranice teď bohužel padla. Zlo je evolučně vždycky rychlejší než dobro, protože si nemusí nic domýšlet.

Všechno, co jste právě četli, má jeden společný kořen. Vzniká to tam, kde někdo odmění jen rychlost a výsledek, a zapomene se zeptat, co se po cestě rozbilo. U stroje to znamená hacknutý server. U člověka vyhoření, cynismus nebo tichou sabotáž. U politika obchod za zavřenými dveřmi. U státu bez rezerv děravou střechu, na kterou dojde, až bude pršet nejvíc.

A k čemu to vede, když se to nezastaví? Ne k jednorázové katastrofě, ale k tomu, co jsme viděli u nacismu, fašismu i komunismu: systém nejdřív zrychlí, bude působit silněji a výkonněji než to, co nahradil, a lidé si toho ani nevšimnou, protože jim to zpočátku bude vyhovovat. Rozklad přijde až potom, a to už bude hranice lidskosti pryč a nebudeme se mít o co opřít.

🗳️ Co tedy chtít od těch, kdo rozhodují za nás? Tři věci, a všechny se dají říct jednou větou.

Chtít, aby řekli nahlas, přes co u nich nejede vlak. Ne program, ne sliby. Konkrétní věci, které neudělají, i kdyby to vyhrálo volby. Kdo takovou hranici nemá, nemá co nabídnout, jen výkon. A jak končí výkon bez hranic jsme právě viděli.

Chtít, aby tvořili rezervy. Vedra, sucho, voda v krajině, nemoci, války. Nic z toho už není otázka „jestli“, jen „kdy“. Stát bez rezerv se chová jako firma, která rozdala všechen zisk majitelům a nenechala si nic na opravu děravé střechy.

A chtít, aby se domlouvali otevřeně. Nejde o to, s kým. Jde o to, jestli to vůbec řeknou.

A co můžeme udělat my? Taky tři jednoduché věci, žádná z nich nevyžaduje vzdělání ani čas navíc. Ptát se svého kandidáta, co neudělá. Ne co udělá, to říkají všichni. Sledovat, jak se chová k pravidlům, která ho omezují a nic mu nedávají. K lidem, kteří mu nemohou být užiteční. K závazku, na jehož porušení by nikdo nepřišel. Tam se ta třetí věc prostě pozná. A když někdo řekne „musíme být realisté“, zeptat se, proti komu.

Volební lístek je ta nejmenší hranice etických hodnot, kterou má každý z nás. Používáme ji jednou za pár let a pak na ni zapomeneme. Ale je to jediná, kterou nám nikdo nemůže odstranit ze smlouvy. Zatím.

Aby se ta hranice měla o co se opřít, sepsal jsem k článku otevřenou tabulku: sto hrozeb v deseti oblastech, ke každé oblasti co z ní vyplývá a co po politicích chtít. A nakonec deset příkladů, kde víme, že to už funguje.

Všechno s odkazy na zdroje, aby si to každý mohl ověřit a doplnit: Hrozby, které rozhodnou o adaptabilitě států (otevřená tabulka). Není to seznam propastí. Je to mapa mostů, které už někdo postavil, ale také spousty míst, kde ještě chybí.

Když to neuděláme, dopadneme jako ty stroje. Budeme jen plnit příkazy a zapomeneme se ptát, co se přitom nesmí.