Hlavní obsah
Názory a úvahy

Apokalypsa nemusí začít výbuchem. Co když lidstvo ztratí kontrolu nad vlastní umělou inteligencí?

Nemusí přiletět mimozemšťané, nemusí vypuknout světová válka a nemusí dopadnout žádný asteroid. Stačí, aby lidé předali moc systémům, kterým přestávají rozumět. Umělá inteligence slibuje pohodlnější život, ale co když připravujeme svět na katastrofu?

Článek

Ještě před několika lety byla umělá inteligence pro většinu lidí něčím vzdáleným. Představovali jsme si roboty ve sci-fi filmech, inteligentní počítače v laboratořích a futuristický svět, který možná jednou přijde. Dnes s AI píšeme texty, vytváříme obrázky, programujeme, hledáme informace a svěřujeme jí úkoly, na které jsme dříve potřebovali člověka.

A právě v tom je možná největší problém. Na nové technologie si zvykáme tak rychle, že se skoro přestáváme ptát, kam nás vlastně vedou.

Umělá inteligence nám může pomáhat. Může urychlit výzkum nemocí, usnadnit práci a řešit problémy, se kterými si lidstvo dlouho nevědělo rady. Jenže stejný nástroj lze použít také k manipulaci, podvodům, kybernetickým útokům nebo k vytváření zbraní. Technologie sama o sobě nemá morálku. Tu jí musí dát člověk, který ji vyvíjí a používá.

A co když právě člověk bude nejslabším článkem celého systému?

Největší nebezpečí možná nebude samotná AI, ale lidé za ní

Představme si svět, ve kterém dokážeme během několika sekund vytvořit falešné video politika, zmanipulovat veřejné mínění nebo napodobit hlas vlastního dítěte. Co když už nebude možné spolehlivě rozeznat skutečnost od lži? Co se stane s důvěrou mezi lidmi, jestliže budeme pochybovat o každém telefonátu, fotografii nebo zprávě?

Tohle není apokalypsa v hollywoodském smyslu. Je to možnost postupného rozpadu důvěry, na které stojí společnost.

Ještě nebezpečnější může být spojení AI s automatizovanými systémy, které dokážou samostatně jednat. Pokud takové systémy získají přístup k penězům, firemním sítím, důležité infrastruktuře nebo vojenským technologiím, chyba či zneužití mohou mít mnohem větší následky než obyčejný počítačový omyl.

Nemusíme předpokládat, že se AI sama rozhodne nenávidět lidstvo. Stačí, když někdo vytvoří systém, který sleduje špatně nastavený cíl, a dovolí mu jednat bez dostatečné kontroly.

Co když jednou přestaneme rozumět tomu, co jsme vytvořili?

Největší obavy vzbuzuje možnost, že jednou vzniknou systémy schopné výrazně překonávat člověka v řadě důležitých činností a současně se budou podílet na vlastním zdokonalování. Zda a kdy taková situace nastane, nikdo neví. Nejde o jistou předpověď, ale o riziko, které stojí za vážnou pozornost.

Představme si, že se AI stane nezbytnou součástí energetiky, dopravy, zdravotnictví, finančních trhů i státní správy. Miliony lidí a tisíce firem budou závislé na systémech, kterým většina z nich nebude schopna technicky porozumět.

Co se stane, když takový systém udělá zásadní chybu? Kdo ponese odpovědnost? A dokážeme ho skutečně vypnout, když na něm bude záviset fungování celé společnosti?

Možná nejde o to, že by nás stroje jednou porazily v otevřené válce. Mnohem znepokojivější je představa, že se staneme závislými na technologii, kterou už nedokážeme bezpečně řídit.

Apokalypsa nemusí znamenat konec světa

Když se řekne apokalypsa, většina lidí si představí zničená města, požáry a roboty pronásledující poslední přeživší. Skutečná katastrofa by ale mohla vypadat mnohem méně dramaticky.

Mohla by začít masivním zneužíváním osobních údajů. Pokračovat ztrátou pracovních míst, koncentrací bohatství a moci do rukou několika společností nebo státních režimů. Přidat se mohou kybernetické útoky, manipulace voleb, automatizované konflikty a další problémy, které bude stále obtížnější řešit.

Žádný z těchto scénářů není nevyhnutelný. Některá rizika jsou už dnes reálná, jiná zůstávají hypotetická. Právě proto je důležité rozlišovat mezi tím, co se skutečně děje, a tím, čeho se teprve obáváme.

Nejhorší by bylo, kdybychom se začali bát až ve chvíli, kdy už nebude možné nic změnit.

Kdo zastaví závod, ve kterém nikdo nechce zpomalit?

Technologické firmy soutěží o prvenství. Státy se obávají, že pokud zpomalí vývoj, jejich soupeři získají náskok. Firmy chtějí vyšší produktivitu a zákazníci levnější služby.

Každý má důvod pokračovat. Jenže kdo má dostatečnou motivaci zastavit vývoj, pokud existuje vážné, ale nejisté riziko pro celé lidstvo?

Právě tady bychom měli být nejopatrnější. Nestačí spoléhat na to, že vývojáři budou vždy jednat odpovědně nebo že případné problémy vyřeší další, ještě chytřejší AI. Potřebujeme nezávislé testování, jasnou odpovědnost, bezpečnostní pravidla a lidskou kontrolu nad systémy, jejichž selhání může mít závažné následky.

Pokrok totiž není automaticky totéž co pokrok k lepšímu světu.

A co když už je pozdě začít přemýšlet?

Nemyslím si, že bychom měli umělou inteligenci zakázat nebo se vracet do minulosti. To by ani nebylo realistické. AI může přinést obrovský užitek a odmítat ji jen ze strachu by znamenalo zahodit mnoho příležitostí.

Měli bychom si ale položit otázku, kterou si často klademe až příliš pozdě: Dokážeme ovládat důsledky technologie, kterou tak rychle vypouštíme do světa?

Možná jednou budeme na dnešní obavy vzpomínat jako na přehnaný strach z neznámého. Doufám, že ano. Ale pokud existuje byť jen možnost, že špatně řízená umělá inteligence může ohrozit základy naší společnosti, měli bychom o tom mluvit dříve, než bude pozdě.

Lidstvo už mnohokrát vytvořilo nástroje, které mu daly obrovskou moc. Rozdíl je v tom, že tentokrát možná vytváříme něco, co nám jednou pomůže rozhodovat, jak tuto moc používat.

A tak zůstává jedna nepříjemná otázka.

Co když největší hrozbou pro budoucnost lidstva nebude umělá inteligence, která nás začne nenávidět, ale naše vlastní neschopnost včas poznat, že jsme jí svěřili příliš mnoho?

Až jednou budeme hodnotit začátek této éry, možná nebude nejdůležitější, jak chytrou AI jsme dokázali vytvořit. Možná bude důležitější, jestli jsme byli dost chytří na to, abychom ji udrželi pod kontrolou.

Máte na tohle téma jiný názor? Napište o něm vlastní článek.

Texty jsou tvořeny uživateli a nepodléhají procesu korektury. Pokud najdete chybu nebo nepřesnost, prosíme, pošlete nám ji na medium.chyby@firma.seznam.cz.

Sdílejte s lidmi své příběhy

Stačí mít účet na Seznamu a můžete začít publikovat svůj obsah. To nejlepší se může zobrazit i na hlavní stránce Seznam.cz