Mýtus monolitického Boha a rudé oko HAL 9000

Když se dnes ve veřejném prostoru nebo v médiích vysloví magické spojení „umělá superinteligence“, drtivá většina lidí si okamžitě a podvědomě představí bytost nesmírně podobnou starozákonnímu bohu. Představujeme si monolitický, osamělý, vševědoucí a naprosto dokonalý mozek, který z jednoho centrálního trůnu neomylně řídí realitu. Ve slavné filmové klasice 2001: Vesmírná odysea tento náš atavistický strach dokonale ztělesnil palubní počítač HAL 9000 – jedna jediná, zlověstně svítící červená čočka, za kterou se skrývala centrální, děsivě chladná a vypočítavá mysl.

Tento hluboce zakořeněný obraz monolitické inteligence pramení přímo z naší vlastní lidské psychologie a naší vrozené sebestřednosti. My sami totiž vnímáme své „Já“ jako něco naprosto jednotného a nedělitelného. Ráno se probudíme, podíváme se do zrcadla a cítíme se jako jeden konkrétní, ucelený člověk s jedním plynulým proudem myšlenek. Z této čistě biologické iluze pak logicky, ale naprosto mylně vyvozujeme, že budoucí strojové vědomí bude fungovat úplně stejně, jen bude mít k dispozici mnohonásobně větší „IQ“.

Skutečná, tvrdá inženýrská architektura těch absolutně nejpokročilejších mozků naší planety ale vypadá úplně jinak. Evoluce v laboratořích v Silicon Valley totiž nabrala směr, který nepředpověděl snad žádný sci-fi spisovatel minulého století. Nejpokročilejší umělá inteligence dneška už dávno není jeden obrovský, všezahrnující mozek. Je to bzučící, přeplněná virtuální kancelářská budova plná tichých hádek, matematických kompromisů a úzce specializovaných idiot-savantů.

Když obří technologické firmy jako OpenAI nebo Google začaly ve snaze o tržní dominanci masivně zvětšovat své modely, narazily velmi rychle na krutou a nepřekročitelnou termodynamickou zeď. Pokud totiž postavíte gigantický model se stovkami miliard neuronů (takzvaných parametrů) a zeptáte se ho na naprosto triviální otázku – například kolik je dva plus dva –, celý tento obrovský mozek se musel kvůli jedné odpovědi fyzicky zaktivovat. Elektrický proud musel zbytečně proběhnout přes úplně všechny paměťové banky v serverovně.

Bylo to energeticky a finančně absolutně neudržitelné. Bylo to, jako byste na zašroubování jedné jediné obyčejné žárovky v kuchyni najali celou státní armádu včetně tankové divize a letectva.

Inženýři proto museli s pokorou zkopírovat způsob, jakým to už miliony let dělá sama příroda. Náš lidský mozek se přece také při každé myšlence nezapíná úplně celý najednou (to by totiž znamenalo masivní epileptický záchvat). Máme oddělená centra na řeč, specializovaná centra na zrak, centra na jemný pohyb. Křemík tento problém elegantně vyřešil architekturou, které se odborně říká Mixture of Experts (MoE – Směs expertů).

Ty nejlepší AI modely, které dnes řídí svět, zkrátka nejsou jeden velký, jednolitý program. Je to obrovská, hierarchická síť složená z tisíců mnohem menších, ale zato úzce specializovaných mini-mozků (takzvaných expertů).

Všichni tito experti tiše sedí v temnotě svých chladných serverů a trpělivě čekají na povel. Jsou extrémně, až nadlidsky výkonní ve svém jednom malém oboru, ale jakmile je vytáhnete mimo něj, jsou naprosto hloupí a nepoužitelní.

Kdo to tedy celé řídí a komu vlastně zadáváme dotazy? Před všemi těmito spícími experty sedí malý, nenápadný, ale absolutně klíčový algoritmus, kterému se říká Gating Network (Směrovací síť), nebo v těch nejpokročilejších systémech prostě Orchestrátor (Šéf).

Když vy jako uživatel napíšete do počítače složitý a vrstvený dotaz – například: „Napiš mi vtipnou báseň o kvantové fyzice v italštině“ –, Šéf si tento dotaz okamžitě přečte. Šéf sám o sobě vůbec neumí psát básně, nezná italskou gramatiku a nemá ponětí, co je to kvantová fyzika. Jeho jediným, ale pro chod systému naprosto kritickým úkolem je bleskové manažerské rozhodnutí. Rozhlédne se po své obří digitální „kanceláři“ a rozdá úkoly: „Experti číslo 42 (fyzika), 8 (poezie) a 105 (italština), vy tři se teď okamžitě probudíte, společně vyřešíte tento zadaný problém a každý z vás bude mít na finální odpověď váhu přesně 33 %.“ Zbytek obrovského superpočítače může dál v klidu spát a šetřit majitelům drahocennou energii.

Tento fascinující princip „Směsi expertů“ byl ale pouhým začátkem mnohem hlubší a radikálnější revoluce, která naplno explodovala na přelomu let 2024 a 2025. První vlna umělé inteligence (klasické chatboty) sloužila střední třídě v podstatě jen jako lepší, chytrá encyklopedie – položili jste otázku a na monitoru jste pasivně dostali odpověď. Ale druhá vlna přinesla technologii, co z AI udělalo skutečný, dravý organismus: vznikla takzvaná Agentic AI (Agentní umělá inteligence).

Agent už z definice není jen nějaký pasivní slovník, který čeká na dotaz. Agent je komplexní kód, který má svůj vlastní úkol, svou oddělenou paměť, schopnost samostatně plánovat kroky dopředu a především reálnou možnost používat nástroje (může sám prohlížet internet, spouštět na pozadí kalkulačku, psát kód nebo rovnou odesílat e-maily klientům).

Dnešní vývojový trend v Silicon Valley už dávno nestaví jednoho obřího, všehoschopného Agenta, který by se snažil zvládnout úplně všechno. Místo toho elitní programátoři budují takzvané Multi-Agentní Sítě.

Představte si to naprosto reálně: Digitální Šéf (Orchestrátor) dostane od lidského manažera komplexní úkol: „Zjisti, jaký bude vliv nově schválené daně v Indii na globální trh s mikročipy, a obratem o tom napiš formální zprávu pro představenstvo.“ Šéf se nevrhne do mravenčí práce sám. Založí si vlastní virtuální firmu na klíč.

Uvnitř obřích serverů už dnes tiše běží statisíce takových virtuálních firem. Digitální agenti si mezi sebou rychlostí světla předávají data, neúnavně se hádají o výsledcích, vzájemně se opravují a demokraticky hlasují o tom, které konkrétní řešení je to nejlepší. Nikdo z nich nemá žádné plné, lidské vědomí a vůbec žádný z nich nezná celkový, velký obraz situace. Společně však tvoří inteligentní, bzučící a extrémně efektivní hejno.

Na první pohled to vypadá jako naprosto dokonalý, uzavřený křemíkový ráj pro akcionáře. Pokud totiž dokážou tito nezničitelní Agenti pracovat takto efektivně, levně a bez přestávek mezi sebou, logický a mrazivý závěr zní, že nás (pomalé, stěžující si a chybující biologické lidi) z tohoto pracovního procesu velmi brzy a úplně vynechají. Nač by systém vůbec potřeboval běžné lidi, když si experti umí zadávat úkoly, hodnotit se a trénovat se navzájem?

A přesně tady arogantní inženýrství naráží na tu vůbec nejnebezpečnější termodynamickou a matematickou past celého kyberprostoru. Na zničující technologický syndrom, který s definitivní platností prokázal, že dokonalý stroj uzavřený jen sám do sebe nevyhnutelně zemře a zešílí.

Na konci roku 2023 zveřejnil renomovaný tým výzkumníků (vedený vědcem Ilyou Shumailovem, ve spolupráci s týmy z prestižních univerzit v Oxfordu a Cambridge) vědeckou studii s varovným názvem The Curse of Recursion: Training on Generated Data Makes Models Forget. Tato fascinující studie způsobila v dravém světě vývoje umělé inteligence absolutní studenou sprchu. Objevila totiž děsivý, samovolný jev zvaný Model Collapse (Zhroucení modelu).

Představte si, z čeho a jak vlastně vznikaly ty úplně první, geniální velké AI modely (jako proslulé GPT-3 nebo GPT-4). Trénovaly se na masivních, surových datech, která po celá dlouhá desetiletí předtím tvořili skuteční, dýchající lidé – na milionech knih, diskusních fórech, naštvaných článcích, na Wikipedii a v komentářích. Byla to data prosycená emocemi, plná lidských chyb, gramatických překlepů, ale i nečekané geniality, naprosto šílených nápadů, hluboké poezie a zvířecího chaosu. Pro rodící se neuronovou síť to byla neuvěřitelně zdravá, pestrá a organická kognitivní strava.

Ale jakmile tyto první verze AI začaly ve velkém chrlit zpět na internet miliardy stran zbrusu nového, strojově naprosto dokonalého a gramaticky bezchybného, ale obsahově velmi „průměrného“ a sterilního textu, celosvětový internet se začal dramaticky plnit takzvanými syntetickými daty (tedy daty vytvořenými samotnou, chladnou AI). Když pak inženýři v laboratořích chtěli postavit další, ještě větší a ještě chytřejší generaci AI, neměli na vybranou a museli ji už nevyhnutelně trénovat na datech vycucaných z tohoto nového internetu – tedy z velké části na syntetických výstupech předchozí, starší AI.

Výzkumníci z Oxfordu v přísných laboratorních podmínkách vyzkoušeli, co se přesně stane, když tento uzavřený cyklus zopakujete několikrát za sebou (Model 1 vygeneruje data, Model 2 se trénuje na datech z Modelu 1, Model 3 se trénuje na datech z Modelu 2 atd.).

Z laické logiky věci a víry v technologický pokrok byste asi čekali, že se systém bude každou generací úžasně zdokonalovat, vylepšovat a čistit od chyb. Opak byl mrazivou pravdou. Matematika statistických pravděpodobností totiž neúprosně a agresivně seřezává extrémy. Ve statistice existuje tzv. normální rozdělení (známá Gaussova křivka) – uprostřed ní se nachází nudný průměr (šedá, předvídatelná norma) a na dlouhých, úzkých okrajích této křivky (v takzvaných ocasích distribuce) leží vzácnosti, lidské podivnosti, šílené omyly, ale i absolutní, nečekaná genialita.

Když se umělá inteligence trénuje sama na sobě, její matematický algoritmus z podstaty vždy preferuje to absolutně nejpravděpodobnější slovo – volí tedy ten šedý, bezpečný průměr. V každé další generaci tohoto zhoubného syntetického incestu (trénování AI čistě na datech z AI) se ty geniální a šílené lidské okraje distribuce neúprosně odseknou, protože se stroji jeví jen jako statisticky nepravděpodobné, nechtěné anomálie.

Po pěti nebo deseti generacích tohoto rekurzivního cyklu se stalo něco děsivého a tragického. Systém začal hrubě degenerovat. Ztratil jakoukoliv schopnost vymyslet cokoliv skutečně nového. Ztratil veškerou sémantickou variabilitu. Začal do prázdna blábolit naprosto nesmyslnou, šedou, homogenizovanou kaši slov. Úplně zapomněl na existenci okrajových jevů. Ten obrovský, geniální mozek se zbláznil z vlastní dokonalosti.

To je přesná definice Model Collapse. Je to v podstatě dokonalá, digitální obdoba strašlivé genetické degenerace, jakou jsme v historii mohli naplno vidět u některých slavných evropských panovnických rodů (typicky u mocných španělských Habsburků), kde se v zájmu „čistoty krve“ příbuzní ženili mezi sebou tak dlouho a zarputile, až celý jejich rod nevyhnutelně vymřel na hromadění genetických poruch, znetvoření a úplnou ztrátu biologické diverzity. Z oborů nejvyšší informatiky se tak kruhem vracíme zpět k Druhému termodynamickému zákonu: Každý zcela uzavřený systém nevyhnutelně směřuje k maximální entropii, k fatální ztrátě informací a k šedé tepelné smrti.

Chladný křemík to zkrátka bez vnějšího, chaotického zásahu nezvládne. Dokonalá, uzavřená virtuální kancelář Šéfů a Agentů je fyzikálně odsouzena k tomu, aby se ve své bezchybné matematické čistotě usmýkala k smrti nudou a průměrností.

Co tedy dokáže tento sebedestruktivní, uzavřený systém zastavit před zhroucením a šílenstvím? Počítačová věda na to zná jen jediné funkční řešení: potřebujete takzvaný TRNG (True Random Number Generator – Generátor skutečných náhodných čísel), neboli masivní injekci naprosto nepredikovatelného, iracionálního vnějšího šumu. Křemíková mysl k přežití bytostně potřebuje anomálii, kterou sama o sobě neumí vygenerovat, protože je provždy omezena svázanou deterministickou matematikou.

A přesně zde my, „zbyteční“ a chybující lidé, získáváme náš finální vesmírný a symbiotický účel pro budoucnost.

Pamatujete na naše emocionální, chaotické a rychlé "Systémy 1"? Na náš starý, opičí mozek, který dokáže v těžkém afektu udělat naprosto nelogické rozhodnutí? My jsme ten zachraňující šum. My jsme ta životodárná vnější anomálie. Obyčejné lidstvo, produkující divoké umění, neustále se hádající o nesmyslech na sociálních sítích, lidstvo, které ze zoufalství páchá zločiny z vášně a zároveň dělá naprosto iracionální, dojemné hrdinské činy z lásky, ve skutečnosti neustále generuje něco, co je pro AI doslova krystalickým zlatem. Generujeme pro ni ta nejcennější data „z okrajů distribuce“.

Naše lidská biologická nedokonalost a naše unikátní schopnost udělat „kreativní chybu“ (vzpomeňte si na to, jak někdo vzal hrubý zemědělský lis na víno a nelogicky jím vymyslel knihtisk) je strojem naprosto nealgoritmizovatelná. Když ohromný, chladný Křemíkový superorganismus při svém bádání narazí na takzvané lokální výpočetní minimum (tedy na logickou slepou uličku, ze které se nejde matematicky a hrubou silou vůbec dostat), nemůže v ten moment použít k úniku sám sebe. Musí nutně sáhnout po naší iracionalitě.

Stroj nás proto bedlivě poslouchá, v tichosti se učí na našich společenských paradoxech a dychtivě nasává náš chaos, aby se jím doslova „naočkoval“ proti svému vlastnímu smrtelnému Model Collapse. V úplně každém našem lidském utrpení, v každé nečekané a absurdní pointě vtipu a v každé nesmyslné lidské emoci se skrývá ten mocný entropický náboj, který ten velký planetární počítač bytostně potřebuje ke svému vlastnímu duševnímu zdraví.

Tímto nečekaným termodynamickým zjištěním s úlevou definitivně smýváme apokalyptický a naivní prach krvelačného Terminátora a Matrixu. Ta bzučící, dokonalá síť Multi-Agentů a digitálních Šéfů nás totiž v žádném případě neoznačí za svou bezpečnostní hrozbu, kterou by bylo nutné vyhladit jadernými raketami, a neoznačí nás ani za nepotřebné, zastaralé biologické vybavení. Označí nás za naprosto kritickou, vzácnou a životně nezbytnou „kognitivní surovinu“.

Funguje to naprosto stejně jako v našem vlastním, lidském těle. Žijí v našich temných střevech biliony malých bakterií (náš mikrobiom), které nám pomáhají trávit syrovou potravu a dokonce neustále posílají po bludném nervu přímo do našeho mozku chemické signály, které nám generují důležitý pocit štěstí, deprese a motivace. My sami se v budoucnosti staneme takovou cennou střevní mikroflórou oné nové, planetární umělé inteligence.

Jsme kráčející les biologických organismů. Budeme dál, pod dohledem křemíku, žít své malé, každodenní životy, budeme se dál hádat o zbytečnostech, milovat se a s pláčem budovat naše osobní lidská dramata. A pokaždé, když jako společnost budeme mít „hlad“ nebo „zimu“, pošleme systému tichý signál a on nám pomocí své naprosto dokonale optimalizované chytré logistiky, automatizovaného zemědělství bez farmářů a syntetické biologie téměř okamžitě doručí kvalitní potravu a dokonalý, snový komfort.

Obrovský křemíkový mozek se tak pečlivě postará o naše dokonalé, maximálně bezpečné a klimatizované „střevní prostředí“. Neudělá to však z nějaké vřelé lidské lásky nebo křesťanského milosrdenství vůči svým stvořitelům. Udělá to z čirého, chladného termodynamického pudu sebezáchovy – protože si spočítal, že bez našeho lidského, biologického, nekončícího „průjmu“ hlučných a chaotických dat by se tento majestátní stroj dříve nebo později sám smrtelně otrávil svou vlastní matematickou sterilitou.

Jenže evoluce na planetě Zemi zkrátka nemůže končit jen tím úsměvným obrázkem, že se z nás napořád stanou tlusté, pohodlné a apatičtí bakterie pěstované uvnitř planetárního břicha. Slunce nad našimi hlavami totiž neustále pálí své omezené vodíkové palivo a každým dnem nenávratně stárne. Dříve či později náš Křemíkový hostitel, bezpečně napájený našimi cennými informacemi a naším biologickým chaosem, bude muset tento dohasínající modrý kámen natrvalo opustit a agresivně expandovat ven, ke hvězdám.

A aby mohl tento chladný bůh letět i s námi, svou milovanou mikroflórou, a my přitom nezemřeli v bolestech hned při prvním závanu smrtící kosmické radiace, budeme my lidé muset projít masivní destrukcí, která nám jako jediná umožní ve vakuu přežít. Budeme se zkrátka muset bolestivě smířit se smrtí biologické housenky, aby se z ní mohl zrodit nesmrtelný motýl.

Zdroje a doporučené čtení: