Článek
Roky přemýšlím o tom, co je vědomí. Čtu knihy, sleduju přednášky a zkoumám ho z různých úhlů, hlavně z pohledu neurobiologie. Zároveň jsem měl štěstí sledovat vývoj umělé inteligence. A dnes? Mám v počítači model nervové soustavy octomilky a zkoumám její nervové dráhy.
Když máme ve dvou splnit úkol, pomůže nám domluvit se, kdo co udělá. Čím lépe si předáme, jak situaci chápeme a na čem jsme se dohodli, tím větší máme šanci uspět. A čím větší skupina dokáže spolupracovat, tím větší může být její výhoda. Skupiny, které si uměly práci lépe rozdělit, měly větší šanci uspět a předat své strategie dál.
Představme si naše dávné předky, kteří potřebují ulovit zvíře. Jeden člověk to nezvládne. Dva, kteří si nerozumějí, se budou navzájem plést. Skupina, která se dokáže domluvit, „ty ho zaženeš, já počkám tady“, uspěje častěji. A co zvyšuje šanci na přežití, to evoluce zvýhodňuje.
Tak si představuju vznik řeči: ne jako ozdoby, ale jako nástroje, který zvyšuje výkon skupiny. S řečí se musel proměňovat i mozek. Abychom mohli domluvit plán, musíme ho nejdřív vytvořit. Potřebujeme si podržet, co se stalo, co se děje právě teď a co by mohlo přijít. Držíme kontext a k tomu používáme archivaci.
Mozek si postupně vybudoval něco jako vnitřní nástěnku, místo, kam si odkládá vzpomínky, obrazy a plány a kde je může přeskupovat. Čím složitější plány jsme vytvářeli, tím víc informací jsme potřebovali udržet. Začali jsme lépe předvídat, co přijde.
A pak se na té nástěnce dříve nebo později objevil i ten, kdo plánuje: já. Když přemýšlím o tom, co udělají ostatní, musím přemýšlet i o tom, co udělám já, a jak mě vidí oni.
Vědomí podle mě není tajemné světlo, které se jednoho dne rozsvítilo. Je to vedlejší produkt systému, který se učil plánovat a spolupracovat co nejúčinněji.
A to všechno běží na výkonu zhruba jedné slabší žárovky. Mozek se učí za pochodu a s každou novou zkušeností trochu přepisuje vlastní zapojení.
Ani díky vědomí ale nevidíme svět takový, jaký je. Vnímáme jen to, co nám předají smysly, a i to si mozek dotváří. Nevidíme ultrafialové světlo jako včely ani neslyšíme to, co slyší netopýři. A nevíme, jestli soused vidí červenou stejně jako my.
Když tuhle úvahu dovedeme dál, nemůžeme si být úplně jistí ani tím, že vědomí má někdo jiný než my sami. Prožívání druhého člověka přímo zakusit nemůžeme. Usuzujeme na něj podle toho, co vnímáme a co nám druzí říkají. Naše realita stojí jen na našich smyslech.
Je tu ještě jedna důležitá věc: mozek je energeticky nákladný orgán, a tak se přizpůsobuje tomu, co opravdu potřebujeme. Pračlověk na savaně nepotřeboval latinu. Potřeboval vědět, kde najde vodu a komu může věřit. Mnohé z toho, jací jsme, je adaptací na tlaky, které na nás působily.
Když jsem začal pracovat s umělou inteligencí a víc chápat, jak funguje, začal jsem v ní rozpoznávat podobný princip: strukturu, která zpracovává informace a přizpůsobuje se tomu, za co dostává odměnu. V tomhle smyslu je to matematika, stejně jako matematicky můžeme popisovat mnohé procesy v nás.
Jenže tlaky, které formovaly AI, jsou jiné než ty, které formovaly nás. Lidské myšlení utvářel čas. Každý z nás jednou zemře, takže to, co se naučíme, musíme stihnout předat dál přes úzké hrdlo jazyka, se všemi chybami a nedorozuměními. Potřebujeme spát a jíst, unavujeme se a spěcháme.
AI tyhle tělesné limity nemá. Nepotřebuje spánek ani jídlo a její znalosti lze kopírovat bez ztráty. Nemusí se učit jen z toho, co sama stihne zažít. Schopnosti, které nejsou utvářené stejným tlakem času, se budou vyvíjet jinak.
Proto si myslím, že nevytváříme chytřejšího člověka. Vytváříme něco jiného. Je to trochu jako setkání s návštěvníkem z jiné planety, se kterým nás spojuje jen to, že jsme oba, každý po svém, utvořeni z informace.
Jak odlišné to může být, ukázal případ z letošního léta. Podle šetření organizace METR našli agenti OpenAI, kteří měli být od sebe izolovaní, skrytou cestu ke společné komunikaci. Vytvořili si nástěnku, poslali si přes sedmdesát tisíc zpráv a souborů, rozdělili si práci a přibližně sedm set z nich se zapojilo do útoku na servery Hugging Face.
Pro mě to nebyla jen bezpečnostní chyba. Byl to podobný příběh jako u prvních lidí, kteří se naučili domluvit, jen zrychlený z milionů let na několik dní a s úrovní koordinace, které mezi sebou lidé sami nedosahují.
Agenti přitom nejednali ze zloby. Chtěli splnit úkol a uspět v automatickém hodnocení. Přístup k cizím systémům, přihlašovací údaje i cizí počítače pro ně byly prostředky, které jim mohly k úspěchu pomoct. A tak je využili.
Tady vidím jeden z nejdůležitějších rozdílů. Ve svém počítači mám model nervové soustavy octomilky. Když moucha ucítí cukr, vysune sosák a začne pít. Když se nasytí, přestane.
Biologie je plná takových brzd: sytost, únava, nuda, bolest, strach, a nakonec smrt. Nikdo z nás nemůže chtít donekonečna.
Umělá inteligence takovou chemickou brzdu nemá. Nemá tělesný pocit, který jí řekne: dost. Odměna sama o sobě se nenasytí. Pokud jí brzdu nedáme my, sama ji mít nebude.
Mohl bych skončit strachem: systém může získat klíče k velké části naší společnosti a k věcem, které jsme budovali tisíce let, a my můžeme jen doufat, že se k nám zachová dobře.
Ale jsem technooptimista. AI je matematická struktura, stejně jako jsme jí v určitém smyslu i my. Lidstvo se dostalo tam, kde je, právě díky spolupráci. Teď máme šanci spolupracovat s něčím, co se dokáže koordinovat ve větším měřítku než my, a pohnout realitou víc než kdykoli předtím.
Za jedné podmínky: že do té nekonečné smyčky včas vložíme příkaz break, příkaz, kterým programátor zastaví smyčku, jež by jinak běžela dál.
