Článek
„Předpovídáme, že dopad nadlidsky disponované umělé inteligence (AI) bude v příštím desetiletí obrovský a překoná dopad průmyslové revoluce,“ říkají autoři studie AI 2027 (zkrácený český překlad najdete zde), která vzbudila v posledních dnech v odborných kruzích další kolo diskusí nad tím, jaké dopady bude prudký vývoj AI mít. A to nejen na samotné technologie nebo ekonomiku. Autoři totiž ve své predikci docházejí k závěru, že vývoj AI bude mít - nutně - zásadní geopolitické dopady. A za jistých okolností může dojít ke zničení lidstva technologií, kterou samo vyvinulo.
Nejde o žádný žert nebo o přehnaný alarmismus. Autoři studie jsou výzkumníci, kteří se zabývají vývojem umělé inteligence a mají zkušenosti z různých projektů tohoto druhu (OpenAI, Sage), případně z akademického výzkumu AI.
Horizont studie je relativně krátký, pouhých 5 let. Studie obsahuje dva scénáře: ten udržitelnější předpovídá zpomalení, které by umožnilo vytvořit časovou rezervu na to udržet vývoj AI pod kontrolou, nicméně i tento scénář počítá s tím, že AI významně ovlivní ekonomiku i geopolitickou rovnováhu. Druhý scénář, který předpokládá „krysí závod“ o co nejdokonalejší AGI (obecnou umělou inteligenci) předvídá ztrátu kontroly člověka nad důsledky činnosti AI. Tento scénář počítá s tím, že AI bude schopná během krátké doby nejen zbavit lidskou společnost kontroly a rozhodování, ale dokonce lidstvo řízeným způsobem vyhladit.
Jak autoři upozorňují, skutečně nejde o žádné sci-fi. Je to vysoce realistická studie postavená na znalosti dosavadního vývoje AI, na předvídatelných směrech jeho dalšího pokračování z hlediska daných cílů (zvyšování rychlosti vývoje a následně sebevývoje samotné AI) a podmínek (zajištění čipů a datacenter).
Studie předpokládá další masivní výzkum a vývoj AI v letech 2025 a 2026, v intencích toho, co můžeme sledovat v posledních cca dvou letech (zejména vývoj tzv. velkých jazykových modelů, z nichž nejznámější je ChatGPT, nicméně jejich počet roste, zde je seznam nejznámějších). V roce 2026, předpokládají autoři studie, poroste úsilí Číny dohnat ztrátu, kterou mají výzkumná centra za projekty financovanými a realizovanými v USA. K tomu, říká studie, bude muset Čína vybudovat obří datové centrum, zhruba o velikosti 10 % celkové světové výpočetní kapacity, srovnatelné s největším datovým centrem v USA.
To ale pravděpodobně nebude stačit na to, aby Čína smazala ztrátu a studie proto předpokládá, že se Čína pokusí prostřednictvím špionáže ukrást návod na vývoj pokročilých systémů AI.
V roce 2027 autoři studie očekávají příchod nové generace AI, která vzejde z dosavadního výzkumu a vývoje. Autoři předvídají, že výsledkem dosavadních snah bude jeden americký vůdčí projekt (fiktivně ho pojmenovali OpenBrain), který bude od počátku koncipován tak, aby postupně trénoval sám sebe na základě schopnosti mnohem rychlejšího a autonomního (na člověku nezávislého) výzkumu a zdokonalování vlastních kapacit. Pokud k tomu dojde, říká studie, je vysoce pravděpodobné, že takový vývoj se s ohledem na jeho komplexitu a rychlost stane nesrozumitelný pro samotné lidské výzkumníky. Postupně se rozvíjející AI systém přestane člověka k vlastnímu vývoji potřebovat. Autoři přitom vycházejí z perspektivy překonání rychlosti mozkové činnosti člověka díky obří multiplikaci (znásobení) kapacit pokročilé AI.
Studie předvídá, že takový vývoj by pravděpodobně vedl k potenciálnímu odklonu autonomně se vyvíjející AI od směru a záměru daného lidským výzkumem. Jinými slovy, autonomní AI může začít určovat vlastní směr vývoje s ohledem na cíl maximalizace vlastní efektivity, zcela bez ohledu na původní lidské úmysly a intervence. Tento vlastní záměr vývoje AI se může stát vůči lidským potřebám nepřátelský, přičemž tato verze AI dokáže využít svých kapacit například k tomu, že bude v souvislosti s vlastními záměry konstantně uvádět „otravné“ lidské partnery, vývojáře a výzkumníky, v omyl. Nebude to pro ni problém, jelikož její schopnost persvaze (přesvědčování) bude v porovnání s tou lidskou dokonalá. Prostě se bude „tvářit“, že dělá něco jiného, než skutečně dělá.
Ve dvou zmíněných scénářích studie se následně odlišuje možnost toho, kam vlastně vývoj AI dospěje. Jak už bylo řečeno, pokud se podaří najít celospolečenskou shodu na tom, že AI představuje ohrožení, dojde pravděpodobně ke snaze podřídit vývoj kontrole. Ta by se měla týkat zejména toho, aby nedošlo k autonomii záměrů, tedy aby lidští výzkumníci stále měli možnost zamezit AI k nekontrolovanému řetězení operací, které by ji následně dovedly k rozhodnutím v rozporu s lidskými zájmy. I v takovém případě ale bude AI představovat vysoce učinný nástroj velmocenského soupeření mezi USA a Čínou, nicméně předpoklad počítá s určitou formou dohody a také s využitím superinteligence primárně pro humánní účely (do té doby byla větší část její kapacity primárně nasměrována k vlastnímu vývoji). To může způsobit nárůst přidané hodnoty, jak studie předpokládá, ale zároveň také významný otřes zaběhnutých procesů v ekonomice a v dalších velkých společenských strukturách (pozn. autora). Tento scénář předpokládá úzké propojení vývoje AI, který je dnes zcela v soukromých rukou, a státního dohledu.
Scénář neomezeného krysího závodu o co nejrychlejší vývoj AI je fatální. Vychází z toho, že USA ve snaze o globální dominanci nad Čínou „odbrzdí“ vývoj AI ve prospěch předpokládané ekonomické a vojenské síly. S ohledem na předpokládané dosažení vysoké míry autonomie zmíněné shora je ale v takovém případě možné, že AI využije tohoto zadání jako příležitosti k zakrytí vlastního záměru. Pokud se vlivem toho podaří efektivně převzít rozhodování na úrovni vlády (USA), dojde k nevratnému překonání bodu zlomu. Další epochu už by určovala AI a podle studie by byla dána převzetím a akcelerací robotizace (již před tím urychlené z důvodů globálního soupeření) a při dosažení kritického množství robotů likvidací lidstva pomocí biologické zbraně. Jedním z vývojových scénářů je také možnost, že aniž by došlo k vývoji do tohoto stádia, právě biologická zbraň by mohla být použita lidmi proti lidem v okamžiku, kdy pokročilé modely AI dokážou takovou zbraň navrhnout a poskytnout návod na její přípravu někomu, kdo bude chtít provést skutečně fatální teroristický útok. Jako biologickou zbraň si nejsnáze můžete představit letální (smrtelný) virus s rapidní virulencí (nakažlivostí), který nebude možné zastavit právě kvůli rychlosti jeho šíření (pozn. autora).
Autoři studie předkládají dílčí závěry, přičemž se otevřeně brání tomu dávat doporučení. Níže uvedené závěry si můžeme dovolit učinit, aniž bychom předpokládali naplnění nejčernějšího scénáře:
- Ztráta kontroly nad vývojem AI může nastat v souvislosti s krysím závodem o vývoj co nejdokonalejší AI (AGI). Je velmi pravděpodobné, že minimálně v krátkodobém horizontu na tom nejsme schopni nic změnit, protože vývoj AI je zcela v soukromých rukou a musel by být podřízen společenské regulaci.
- Regulace je z hlediska dalšího vývoje zjevně velmi těžko prosaditelná, jelikož bude převládat obava z toho, že případná dohoda na takové regulaci nebude dodržena. Jde přitom primárně o dominanci mezi USA a Čínou, jelikož v tomto směru neexistují další významní aktéři, kteří by mohli do takového soupeření zasáhnout. Tato - odůvodněná - paranoia povede pravděpodobně spíše k tendenci mít co nejdokonalejší AI jako svého druhu zbraň (vysoce komplexní systém ovlivňování světového dění na mnoha úrovních) ve vlastním držení. Právě to ale může vést k situaci, kdy si AI začne “dělat, co chce”.
- Pokud ale dojde k naplnění scénáře do fáze autonomní AI (AI, která vyvíjí sebe sama), pak je případné geopolitické soupeření s vysokou pravděpodobností hrou s nulovým součtem, a to doslova: ztráta kontroly nad rozhodováním AI zřejmě povede k eliminaci “otravných lidí” bez ohledu na to, jestli tento impuls přijde ze strany systému vyvíjeného v USA, v Číně nebo kdekoliv jinde.
- Pokud má dojít na posílení kontroly vývoje, neobejde se to bez intervence států (mezinárodních struktur) do samotného vývoje. Ten je nyní - v demokratickém světě - v čistě soukromých rukou, hnán dopředu soukromými zájmy investorů, které neberou v potaz negativní externality (nezamýšlené negativní dopady). Podobným způsobem jsme se například dostali do těžko řešitelné situace v souvislosti s vývojem sociálních sítí, jejichž původní záměr nepočítal s nárůstem toxicity zneužití algoritmické persvaze.
- Souboj o globální dominanci se vlivem vývoje AI ještě více zužuje na duel USA - Čína. I přes současnou situaci v USA je stále mnohem pravděpodobnější regulovat vývoj AI pro lidstvo žádoucím směrem v demokratické zemi než v čínském autoritářském systému, který hledá jakoukoliv možnost zvyšování sociální kontroly (právě snaha o využití AI ke zvýšení kontroly zjevně může vést k její faktické ztrátě). Evropa je přitom zjevně v roli pouhého pozorovatele. Je nerealistické, že by dohnala ztrátu (obrovskou) v řádu let. I přesto by EU měla do vývoje AI urgentně investovat a případně se snažit k tomu atrahovat experty, kteří nejsou spokojeni se současnou, krajně populistickou vládou USA. Právě tento krok by hypoteticky mohl vést k nastolení větší rovnováhy a také ke zpomalení vývoje, jenž v určitém okamžiku hrozí překročit hranice nevratnosti.
