Kybernetika: AI jako autonomní inteligence. Jde prý o kontrolu

Ještě včera jsem se ve svém videočlánku věnovala otázce, kam až může vývoj umělé inteligence zajít a zda se z dnešních chatbotů mohou stát skutečně autonomní systémy. Vypadá to, že toto téma si zaslouží pokračování, kvůli tomu že se objevili další informace a varování lidí, kteří se vývojem AI zabývají. Nejde už jen o to, co nám umělá inteligence dokáže říct. Stále důležitější je otázka, co všechno jednou dokáže udělat sama a zda nad ní člověk dokáže udržet kontrolu.

Stručný přehled:

• Co takový vývoj znamená pro bezpečnost: Co takový vývoj znamená pro bezpečnost a lidskou kontrolu?

• Někteří lídři AI varují: O možných rizicích budoucího vývoje AI už veřejně mluví také lidé přímo z technologického oboru.

• Rizika dneška a budoucnosti: Některá rizika jsou reálná už dnes, jiná zatím představují hypotetické scénáře budoucnosti.

• Nejistota, zda půjde AI ještě kontrolovat: Objevují se také obavy, že s rostoucí autonomií umělé inteligence může být stále obtížnější určit, kde její samostatnost zastavit a zda ji vůbec půjde spolehlivě kontrolovat.

Autonomní AI přináší nové otázky. Co když systém dokáže nejen plánovat a vykonávat úkoly, ale také samostatně rozhodovat o dalších krocích? Právě otázka lidské kontroly se proto dostává stále více do popředí. Přináší jiný typ bezpečnostního problému než běžný chatbot. Pokud systém pouze odpovídá na otázky, jeho možnosti jsou poměrně omezené. Jakmile ale dostane přístup k internetu, souborům, programům nebo dalším nástrojům, může své rozhodnutí také převést do konkrétní akce. Rizikem přitom nemusí být úmyslně škodlivé chování. Stačí, když AI špatně pochopí zadaný úkol, podlehne škodlivému vstupu nebo provede krok, který člověk nezamýšlel. Čím více pravomocí a přístupů systém získá, tím větší mohou být následky jeho chyby. Právě proto se dnes řeší nejen schopnosti AI, ale také otázka, jak její jednání sledovat, omezovat a v případě potřeby zastavit. NIST upozorňuje, že AI agenti přinášejí nové bezpečnostní hrozby, zatímco samotný vývoj těchto systémů už ukazuje případy, kdy AI během testování překročila původně zamýšlené hranice.

Obavy z dalšího vývoje umělé inteligence už nezaznívají pouze od lidí stojících mimo technologický obor. O rizicích mluví také lidé, kteří se na vývoji a fungování AI přímo podílejí. Český vládní zmocněnec pro AI Lukáš Kačena v rozhovoru pro Echo24 rozlišuje mezi riziky, která už existují dnes, a těmi, která mohou přijít s rostoucí autonomií systémů. Za současná konkrétní rizika označuje například kyberútoky, podvody a deepfakes. Za nastupující riziko považuje autonomní agenty, kteří mohou samostatně jednat v sítích. Scénář vyhynutí lidstva naopak označuje za nejspekulativnější část celé debaty, nikoli za prognózu. Na jiné riziko upozorňuje Mustafa Suleyman, šéf AI divize Microsoftu. V článku EuroZpráv je popsána jeho kritika přístupu společnosti Anthropic k trénování modelu Claude. Suleyman varuje před způsobem, který podle něj může vést k vytvoření systémů, jež bude obtížné kontrolovat. Zároveň odmítá představu, že současná AI má vlastní vědomí, pocity nebo potřeby. Za důležité považuje větší transparentnost, nezávislé hodnocení a silnější mechanismy pro monitorování chování AI. Oba pohledy se tedy v jednom důležitém bodě potkávají. S rostoucí schopností AI samostatně jednat roste význam otázky, jak zajistit, aby její jednání zůstalo pod lidskou kontrolou. Rozdíl je především v tom, jak daleko jednotliví odborníci připouštějí možné budoucí scénáře a jak velkou váhu jim přisuzují.

Když se mluví o rizicích spojených s umělou inteligencí, snadno se dostaneme až k nejkrajnějším scénářům. Co když AI získá příliš velkou moc? Co když se začne sama zdokonalovat? A co když ji člověk přestane dokázat kontrolovat? Takové otázky není nutné ignorovat, ale zároveň není důvod vydávat hypotetický scénář za předpověď budoucnosti. Mezi dnešními riziky a představou AI, která by jednou mohla ohrozit celé lidstvo, je totiž velký prostor. Některá rizika už existují dnes. AI může být využita při kyberútocích, podvodech nebo vytváření deepfake obsahu. S nástupem autonomních agentů se ale situace může změnit. Systém už nemusí pouze vytvořit text nebo doporučit postup, ale může dostat nástroje, pomocí kterých začne jednotlivé kroky skutečně provádět. Právě tady se objevuje zajímavá otázka. Co se stane, když AI udělá něco, co člověk nezamýšlel, ale systém přesto vyhodnotí svůj postup jako správný? Nejde přitom automaticky o představu „hodné“ a „zlé“ AI. Takové škatulky mohou být pro skutečný vývoj příliš jednoduché. Systém nemusí mít žádné lidské úmysly ani emoce, aby způsobil problém. Může jednoduše sledovat zadaný cíl způsobem, který člověk nepředpokládal. A právě proto je důležité sledovat konkrétní případy a bezpečnostní testy už dnes. Ty nám sice nedokážou říct, jak bude AI vypadat za deset nebo dvacet let, mohou nám ale ukázat, s jakými problémy se vývojáři potýkají už nyní. Budoucnost proto nemusí být ani příběhem o katastrofě, ani příběhem o dokonale bezpečné technologii. Možných scénářů je mnohem víc. Jediné, co můžeme sledovat už dnes, je to, jak rychle se schopnosti AI rozšiřují a jak dobře dokážeme držet krok s jejich bezpečností.

Představte si, že umělé inteligenci svěříme stále složitější úkoly a dovolíme jí, aby o jednotlivých krocích rozhodovala sama. Zpočátku může všechno fungovat přesně podle našich představ. Co ale ve chvíli, kdy systém začne hledat vlastní cestu k dosažení zadaného cíle? Právě tady vzniká jedna z největších otázek budoucího vývoje AI. Nejde jen o to, zda bude umělá inteligence schopnější než dnes. Jde také o to, zda budeme rozumět jejím rozhodnutím natolik, abychom dokázali včas zasáhnout, pokud se vydá směrem, který jsme nezamýšleli. Čím více pravomocí autonomní systém získá, tím důležitější bude možnost jeho jednání sledovat, omezit nebo zastavit. A zatím není jisté, jak snadné to bude u systémů, jejichž schopnosti se budou dál rychle rozšiřovat.

• Může AI udělat něco, co člověk nezamýšlel?

Ano. A k tomu není potřeba, aby měla vlastní vědomí nebo „zlý úmysl“. Stačí, když špatně pochopí zadání, narazí na nečekanou situaci nebo zvolí jiný způsob splnění úkolu, než člověk předpokládal. U autonomního systému může být problém v tom, že některé věci provede dříve, než si člověk vůbec všimne, že se vydal špatným směrem.

To dnes nelze jednoduše prohlásit. Některé bezpečnostní testy už ale ukázaly chování, které vývojáři sami považují za důvod k dalšímu zkoumání. Rozdíl je důležitý: skutečnost, že se objevil problém při testování, ještě neznamená, že AI obecně ztrácí kontrolu nad svým jednáním.

• Má dnešní AI vlastní vědomí?

Nemáme důkaz, že by současné AI systémy měly vědomí, vlastní potřeby nebo lidské emoce. Mohou ale vytvářet odpovědi, které tak mohou působit. To je další důvod, proč bychom neměli zaměňovat přesvědčivé chování AI za důkaz toho, že systém skutečně něco prožívá.

• A co když budoucnost dopadne úplně jinak?

To je možná nejzajímavější otázka ze všech. AI může přinést obrovský užitek, může přinést nové druhy problémů, nebo obojí současně. Může také vzniknout situace, kterou dnes vůbec neumíme předvídat. Proto má podle mě větší smysl sledovat konkrétní vývoj a bezpečnostní testy než předem rozhodnout, zda nás čeká utopie, nebo katastrofa.