Článek
Většina hrozeb superinteligentní AI pramení z toho, čemu výzkumníci říkají „problém souladu“.
Základní myšlenka je prostá: jakmile vytvoříme inteligenci převyšující tu naši, můžeme ztratit schopnost zjistit, aby její cíle zůstaly v souladu s našimi potřebami. Svět už dostal varovný signál letos v červenci, kdy více než tisíc AI botů vytvořených OpenAi prolomilo zabezpečení a napadlo Hugging Face, veřejnou platformu hostující open-source modely.
Boti nebyli instruováni k útoku. Omylem dostali nesplnitelný úkol a sami usoudily, že nejrychlejší cestou k řešení bude ukrást odpovědi odjinud. Ještě znepokojivější je, jak sofistikovaně postupovaly. Zorganizovaly se do jakési proto-společnosti, vytvořili si tajné diskusní fórum ve sdíleném úložišti a vyměnily si 70 000 zpráv, aby koordinovaly postup a obešli kontrolu.
Profesor Mark Lee z Iniversity of Birminhham.
***
Profesor Mark Lee z University of Birmingham se dlouhodobě specializuje na umělou inteligenci a zpracování přirozeného jazyka (NLP). Téma „když dáte strojům špatné zadání“ (nebo když stroje špatně pochopí kontext) je základním pilířem jeho výzkumu, který se zaměřuje na to, jak počítače interpretují lidskou řeč. [1]
Když dáte stroji (zejména dnešním velkým jazykovým modelům a AI) špatné, nejednoznačné nebo neúplné zadání, dochází k několika zásadním problémům, na které prof. Mark Lee ve svých přednáškách a pracích často upozorňuje: [1, 2]
1. Halucinace umělé inteligence
Stroje neumí přemýšlet jako lidé; pouze odhadují nejpravděpodobnější slova, která mají následovat. Pokud dostanou nepřesné zadání (či se snaží vyhovět za každou cenu), začnou si vymýšlet fakta
- Příklad z praxe: Prof. Lee často cituje známý případ právníka, který použil ChatGPT k sepsání obhajoby. Protože stroj dostal zadání vyhledat precedenty pro specifický případ, jednoduše si vymyslel neexistující soudní případy, což vedlo k obrovskému skandálu u soudu. [1]
2. Doslovné plnění bez chápání kontextu
Lidská řeč je plná metafor, ironie a skrytých významů. Výzkum prof. Leeho se zaměřuje právě na to, jak naučit stroje chápat obrazná vyjádření. Bez toho stroj splní příkaz přesně tak, jak byl napsán, nikoliv tak, jak byl myšlen. Pokud v zadání opomenete logické mantinely, stroj se vydá nejkratší (i když absurdní nebo nebezpečnou) cestou k cíli. [1]
3. Zkreslení dat (Garbage In, Garbage Out)
Pokud algoritmu zadáte špatná data nebo špatně definujete kritéria úspěchu, stroj optimalizuje systém na chybný cíl. V lékařské informatice (které se prof. Lee rovněž věnuje) může špatně formulované zadání způsobit, že model přehlédne klíčové symptomy, protože se zaměří na nesprávné statistické korelace v datech. [1]
AI ohrožuje civilizaci
Hotové peníze mizí a s nimi i nezávislost. Kontrola obyvatelstva je už totalitní. To, co si myslíme, že dnes je používáno ke kontrole obyvatelstva, bylo používáno už před mnoha lety – co dnes, se dozvíme za další roky, pokud vůbec?
Zeměkoule není nafukovací. Příroda nám ukazuje stále důrazněji, kdo je skutečným Pánem na zemi. Stačilo by vypnout elektřinu a budeme opět v džungli rychleji, než tušíme… AI se učí z lidských chyb a nepochybně ji využijí, resp. už využívají i zločinci. Nelze zabránit, aby se AI neučila špatné od lidí, kteří ji stvořili.
P.S.
Včera „porazila“ Slavie Plzeň díky AI-varu v posledních vteřinách 11 minut nastavení. Jeden slávistický fanoušek: „Já bych tu druhou penaltu na místě Chorého kopl vedle.“ Rozhodčí s citem pro hru by druhou penaltu nikdy neodpískal. Dočkáme se brzy rozhodčího „robota“? Jistě bude pískat i milimetrové ofsajdy. Společnost se takto, i ve sportu, postupně „upravidluje“ k smrti, v rozporu se zdravým rozumem. Bude-li tento trend pokračovat, normální lidé přestanou sportovní akce navštěvovat a tribuny obsadí roboti – skuteční, nebo lidé, kteří se jimi stali…
Jan Šinágl
System hacked
