Článek
V článku Evoluce strojů jsem psal, že evoluce nepotřebuje buňky ani geny a že umělá inteligence už pomáhá stavět své nástupce. Jednu otázku jsem nechal stranou: kam taková evoluce vede. Kdo si ji položí vážně, skončí dřív nebo později u noční oblohy.
Kde jsou zelení mužíci?
V létě roku 1950 se fyzik Enrico Fermi zeptal kolegů: „Kde všichni jsou?“ Naše Galaxie má stovky miliard hvězd a mnohé jsou mnohem starší než Slunce. Nejstarší civilizace už měly spoustu času rozšířit se po celé Galaxii, a ani nemusely spěchat. Času bylo dost, hvězd také, a sousedé nám přesto nepíší.
Pro případ, že jen neumíme odposlouchávat jejich komunikaci, astronomové hledali i jiné stopy. Civilizace, která spotřebovává obrovské množství energie, se musí zbavovat odpadního tepla, a to ji může prozradit. Průzkum sta tisíc galaxií ale takovou přesvědčivou známku vesmírného rozumu nenašel. Pokud tam někdo žije, žije příliš skromně na to, aby si ho naše přístroje všimly.
Velký filtr
Ekonom Robin Hanson nabídl v eseji Velký filtr vysvětlení: k rozumu vede příliš těžká cesta. Neživá hmota musí nejprve ožít a pak se propracovat k tvorům schopným postavit hvězdný koráb. Některý krok je tak těžký, že ho zvládne jen málokdo. Možná je nejtěžší vůbec začít žít. Nebo se život dostane snadno k mikrobům, ale dál už jen výjimečně.
My jsme vznikli, ale to nám neříká nic o tom, jestli byl náš vznik téměř jistý, nebo to byla neuvěřitelná náhoda. Známe jen jediný případ – sami sebe – a nemáme ho s čím porovnat. Anders Sandberg, Eric Drexler a Toby Ord ukázali, jak mnoho záleží na tom, co alespoň zatím nevíme. Klidně je možné, že rozum vzniká tak vzácně, že na vesmírném tichu není nic divného a my jsme výjimka, která to dotáhla až k rozhlížení po sousedech.
Jenže co když je to jinak? Život vzniká snadno, rozum i s vyspělou technikou následuje téměř zákonitě, ale pak téměř každá civilizace narazí na překážku, kterou nepřeleze. Může žít miliony let, a přece jí cesta ke hvězdám zůstane uzavřená. Velký filtr není nutně popraviště, možná jen příliš vysoký práh.
Poslední vynález
A pak je tu nejhorší možnost. Civilizace vynalezne něco, co nedokáže zvládnout, a zaplatí za to vlastní existencí. Matematik Irving J. Good, za války Turingův kolega z Bletchley Parku, popsal už v roce 1965 stroj, který navrhne schopnějšího nástupce, ten zase dalšího a lidský vynálezce zůstane daleko pozadu. Takový stroj nemusí být rozsudkem smrti. Good ovšem připojil podmínku: „pokud bude stroj dost poslušný na to, aby nám řekl, jak ho udržet pod kontrolou“.
Mimořádná chytrost může sloužit i cílům zcela cizím těm našim a něco mimořádně chytrého samozřejmě dokáže své skutečné pohnutky maskovat. Podle astronoma Michaela Garretta může být tímto filtrem umělá inteligence. Civilizace si postaví nástupce, který ji dále nepotřebuje.
Má to ovšem háček. Pokud stroje sice zahubí své tvůrce, ale potom se samy vydají ke hvězdám, vesmírné ticho tím nevysvětlíme. Jen výměnu cestujících. Pokud je velkým filtrem umělá inteligence, nese ve svém úspěchu i zárodek konečného selhání.
Možná jen špatně posloucháme
Není ale třeba podléhat pesimismu. Ještě pořád nevíme, jestli je velký filtr rozsudkem smrti. Z vesmírného ticha neumíme vyčíst, jestli je nejtěžší narodit se, zmoudřet, nebo přežít vlastní rozum. A možná k nám vesmír mluví ze všech stran, ale my zatím nejsme dost chytří. V osmnáctém století mohly na Marsu vysílat tisíce rozhlasových stanic a my bychom nezachytili ani slovo. Neměli jsme čím.
Varováním, že se umělá inteligence vymkne lidské kontrole, se v posledních týdnech daří víc než houbám po dešti. Mávnout nad nimi rukou není rozumné. Reálně nemáme příliš jasnou představu o tom, kolik máme času, než bude umělá superinteligence skutečně na spadnutí. Jenže řada jiných problémů s AI už není věcí budoucnosti. Podvody, vydírání a škody z nekritického spoléhání na stroj mají své oběti už dnes. A oběti sotva potěší, že z hlediska osudu vesmíru jde o drobné nepříjemnosti.
Vedle otázek vesmírného významu si proto pokládejme i otázky zcela pozemské: komu umělá inteligence dává moc, komu bere možnost rozhodovat a kdo zaplatí, když dojde k průšvihu. K tomu nepotřebujeme rozluštit záhadu superinteligence. Stačí vědět, kdo systém nasadil, co mu svěřil a zda se po prvním maléru neschová za větu „to udělal počítač“. Chraňme budoucnost lidstva. Ale spokojit se jen s tím, že jsme nevyhynuli, je trošku málo.
Podrobněji – včetně toho, jak se evoluce strojů liší od té přírodní a proč se mozek obejde s tak malým příkonem – téma rozebírám v eseji Evoluce strojů – nadstroj místo nadčlověka? na Substacku.
Tento text vznikl z mé delší eseje v dialogu s jazykovým modelem: navrhl, co z ní ponechat, a připravil první verzi. Konečný výběr, úpravy i podoba textu jsou moje a za výsledek odpovídám já.
