Stručná historie AI 1950 - 2020

Než přišel ChatGPT, uběhlo sedmdesát let pokusů, omylů a dvou dlouhých zklamání

Bylo to na Massachusetts Institute of Technology někdy mezi lety 1964 a 1966. Profesor Joseph Weizenbaum pracoval na programu, který nazval ELIZA. Šlo o skromný experiment. Program měl napodobit rozhovor s rogersovským psychoterapeutem, tedy takovým, který svého klienta vede tím, že mu jeho vlastní slova vrací zpět ve formě otázky. Napsal-li člověk „Cítím se smutně“, ELIZA odpověděla „Proč se cítíš smutně?“ Za touto zdánlivou empatií nebylo nic než pár desítek pravidel, která hledala klíčová slova a přeformulovávala je do dotazu.

Weizenbaum později ve své knize Computer Power and Human Reason (1976) popsal, co se stalo, když u jeho terminálu usedla jeho vlastní sekretářka. Znala povahu programu a věděla, jak je jednoduchý. Přesto po několika minutách u konverzace požádala Weizenbauma, aby opustil místnost.

Tato scéna, jakkoli ji dnes známe hlavně z Weizenbaumova vlastního svědectví, patří k prvním doloženým okamžikům, kdy si západní věda uvědomila, že lidský mozek dokáže do velmi jednoduchého softwaru projektovat cosi jako partnera. Weizenbaum tím byl otřesen do té míry, že se z něj do konce života stal jeden z nejostřejších kritiků přehnaných nároků na umělou inteligenci. A přece kdyby dnes viděl program jménem GPT-3, který spatřil světlo v květnu 2020, patrně by nespal celé týdny.

Cesta od ELIZY ke GPT-3 trvala více než půl století. Byla plná slepých uliček, dvou takzvaných zim umělé inteligence a několika překvapivých průlomů. Pokud se dnes zdá, že umělá inteligence přišla znenadání někdy na podzim roku 2022, opak je pravdou. Je to jeden z nejdéle stavěných snů moderní vědy.

Zpět na začátek. V říjnu 1950 publikoval britský matematik Alan Turing ve filosofickém časopise Mind článek s titulem Computing Machinery and Intelligence. Turing v něm položil otázku, která od té doby nedává informatikům spát. Může stroj myslet?

Turing sám tomu, čemu dnes říkáme Turingův test, říkal skromněji. Nazýval to imitation game, imitační hra. Šlo o experiment, ve kterém člověk skrytý za oponou vede písemný rozhovor s druhým člověkem nebo se strojem a má za úkol určit, s kým vlastně mluví. Pokud stroj oklame dostatečný počet tazatelů, budeme mu podle Turinga muset přiznat něco jako myšlení. Nebo přinejmenším přehodnotit, co to slovo znamená.

Turing predikoval, že do konce dvacátého století budou stroje schopné v pětiminutovém testu oklamat aspoň třicet procent tazatelů. Byl ambiciózní. Zdaleka však ne tak naivní jako jeho pozdější následovníci.

Prvním masivně medializovaným úspěchem umělé inteligence byla demonstrace strojového překladu, kterou v lednu 1954 předvedla firma IBM ve spolupráci s Georgetownskou univerzitou v New Yorku. Systém přeložil zhruba šedesát pečlivě vybraných ruských vět do angličtiny. Tisk psal o zázraku a zástupce IBM prohlásil, že problém strojového překladu bude vyřešen během tří až pěti let.

Ve skutečnosti trvalo dalších padesát a i dnes je strojový překlad, přes všechen pokrok, věcí, v níž rozdíl mezi rozumným a chybným překladem občas rozhoduje o mezinárodním incidentu.

Nadšení šedesátých let vydrželo krátce. V roce 1966, tedy ve stejném roce, kdy Weizenbaum sestavil svou ELIZU, vydala americká vládní komise takzvanou zprávu ALPAC, která střízlivě konstatovala, že strojový překlad je dražší, pomalejší a méně přesný než překlad lidský. Financování se z velké části zastavilo. Nastupovalo první z období, kterým se dnes říká zima umělé inteligence. Dekáda ochlazování zájmu, škrtnutých grantů a zklamaných nadějí.

Ještě jedna zima přišla na konci osmdesátých let, když se ukázalo, že takzvané expertní systémy, tehdejší velká naděje, jsou příliš křehké a drahé na to, aby dokázaly cokoli víc než imitovat úzce specializovaného odborníka v předem zaškrtnutých případech. Umělá inteligence si vysloužila pověst něčeho, o čem se sice hodně mluví, ale co v praxi selhává. Sen o mluvícím stroji šel na dvě dekády k ledu.

Zásadní obrat přišel v devadesátých letech a byl vlastně velmi prostý. Místo aby lingvisté a inženýři psali gramatická pravidla ručně, nechme počítač spočítat, jak často po sobě která slova ve skutečných textech následují. Napíšete-li „dobrou“, jaké slovo přijde nejčastěji? „Noc.“ A po „dobrou noc"? Nejspíš „přeju“ nebo „všem“.

Tomuto přístupu se říkalo n-gramové modely. Stály za prvními použitelnými překladači i za tím, jak Google začal našeptávat vyhledávání. Byla to metoda tupá, ale funkční. Její problém byl zjevný. Takový model uměl jen memorovat řetězce, které někdy viděl. Nechápal, že „král“ a „královna“ spolu souvisejí. A protože jazyk je nekonečně kombinatorický, na většinu skutečných vět narazil systém úplně poprvé a statistika mlčela.

Přesto to fungovalo dost dobře na to, aby v roce 2011 vyhrál systém IBM Watson televizní vědomostní soutěž Jeopardy! proti nejlepším lidským hráčům. Watson ovšem s jazykovými modely, jak je známe dnes, neměl mnoho společného. Šlo o systém, který kombinoval rychlé vyhledávání ve Wikipedii, encyklopediích a dalších znalostních zdrojích s pravděpodobnostním hodnocením kandidátských odpovědí. Vypadal, jako by „chápal“ otázky. Ve skutečnosti se probojovával stovkou různých strategií k tomu, co statisticky nejlépe odpovídalo očekávanému formátu odpovědi.

Skutečná revoluce se ovšem neodehrála na půdě zpracování jazyka, ale rozpoznávání obrázků. V září 2012 vyhrál tým z Torontské univerzity ve složení Alex Krizhevsky, Ilya Sutskever a Geoffrey Hinton mezinárodní soutěž ImageNet Challenge s modelem, který dnes nese jméno AlexNet. Šlo o hlubokou konvoluční neuronovou síť trénovanou na dvou herních grafických kartách Nvidia. Její chybovost byla o deset procentních bodů nižší než u druhého v pořadí, což byl v této soutěži rozdíl mezi vítězem a poraženým, jaký dosud nikdo nezažil.

Slovo konvoluční si zaslouží vysvětlení, protože popisuje docela názorný trik. Síť se nedívá na obrázek jako na celek, ale posouvá po něm malé okénko, řekněme o velikosti pěti krát pěti bodů, a v každé pozici hledá jednoduchý vzorec. Šikmou hranu, přechod ze světla do stínu, skvrnu určité barvy. Výsledky pak předá další vrstvě, která z hran skládá tvary, ta zase další, která z tvarů skládá oči, kola nebo psí uši. Odtud slovo hluboká. Vrstev je za sebou mnoho a každá pracuje s abstraktnějšími pojmy než ta předchozí. Podstatné je, že nikdo síti nedefinuje, co je hrana nebo co je psí ucho. Ta si vzorce najde sama tím, že jí ukážete milion obrázků a pokaždé řeknete, zda se trefila.

Grafické karty tu přitom nejsou detail. Neuronová síť dělá při učení miliardy jednoduchých násobení, která na sobě nezávisí a dají se počítat všechna zároveň. Běžný procesor je stavěný na to, aby zvládal složité úkoly jeden po druhém. Grafická karta, původně navržená pro vykreslování stínů v akčních hrách, umí naopak tisíce jednoduchých výpočtů naráz. Byla to náhoda dějin, že se hardware pro videohry ukázal být přesně tím, co umělá inteligence třicet let potřebovala.

Samotný ImageNet byl přitom dílem stanfordské badatelky Fei-Fei Li, která od roku 2007 pracovala na tom, aby světu poskytla dataset o čtrnácti milionech ručně anotovaných obrázků. Bez jejího dlouhého úsilí by AlexNet neměl na čem cvičit a revoluce hlubokého učení by se odehrála o několik let později, pokud vůbec.

Geoffrey Hinton, Yann LeCun a Yoshua Bengio, kteří na neuronových sítích pracovali celá osmdesátá a devadesátá léta, kdy o ně nikdo nestál, dostali v roce 2018 za deep learning Turingovu cenu. Právem. Bez roku 2012 by nevznikl slovní vektor, transformer ani GPT. Klíčovým prvkem jejich úspěchu bylo pochopení, že hluboké neuronové sítě potřebují dvě věci, které do té doby chyběly. Obrovská data a obrovský výpočetní výkon, který nabízely grafické karty původně vyvinuté pro videohry.

Jméno Ilyi Sutskevera se v této historii ještě několikrát vrátí. O tři roky později bude stát u zrodu OpenAI a stane se hlavním architektem řady GPT.

Rok 2013 pak přinesl obrat pro zpracování jazyka a stojí za ním Čech. Tomáš Mikolov, absolvent brněnské VUT z laboratoře profesora Jana Černockého, publikoval během svého působení v laboratoři Google Brain metodu, které dal jméno word2vec. Šlo o poměrně jednoduchou neuronovou síť, která se učila reprezentovat každé slovo jako sadu čísel, tedy vektor, tak aby si podobná slova byla podobná i matematicky.

Vektor si lze představit jako souřadnice bodu v prostoru. Na mapě má každé město dvě čísla, zeměpisnou šířku a délku, a města, která jsou si čísly blízká, jsou blízká i ve skutečnosti. Word2vec dělal totéž se slovy, jen prostor neměl dva rozměry, ale několik set. To si nikdo nedokáže představit, matematika s tím ale počítá stejně snadno jako s mapou. Slovo tak dostalo své místo v krajině významů a od sousedů se dalo poznat, o co jde.

Zní to abstraktně, ale výsledek byl fascinující. V tomto matematickém prostoru najednou platily rovnice jako „král minus muž plus žena rovná se královna“. Stroj poprvé zachytil něco, co se dalo nazvat významem. Ne definici ze slovníku, ale vztahy mezi pojmy vyvozené výhradně z toho, jak se slova ve velkém množství textu vyskytovala vedle sebe.

Šlo o filosoficky pozoruhodný okamžik, který jen potvrdil starou intuici britského lingvisty J. R. Firtha z roku 1957. „Slovo poznáte podle společnosti, ve které se pohybuje,“ napsal Firth. Word2vec dal jeho tezi matematický důkaz.

Mikolov, dnes působící v pražském Českém institutu informatiky, robotiky a kybernetiky (CIIRC) při ČVUT, patří k autorům, jejichž práce zásadně změnila směr celé disciplíny. V rozhovorech se opakovaně vyjadřuje o soudobých obřích jazykových modelech spíše skepticky. Přesto bez word2vec by nic z toho, co následovalo, nevzniklo.

Slova ve větě mají pořadí a smysl závisí na kontextu. Anglické slovo bank znamená banku i břeh a teprve věta rozhodne. Vědci proto začali stavět neuronové sítě s pamětí, takzvané rekurentní sítě (RNN) a jejich vylepšenou variantu známou pod zkratkou LSTM. Ty čtou text slovo po slovu a průběžně si pamatují, co už viděly.

Fungovalo to obstojně. Strojový překlad Googlu se v roce 2016 kompletně přepsal do neuronové podoby a najednou překládal mnohem plynuleji než verze poháněné čistě statistikou. Byla tam ovšem bolestivá slabina. Pokud se věta protáhla, síť postupně zapomínala její začátek. Jako když čtete dlouhé souvětí a než dojdete k tečce, už si nepamatujete, o čem se mluvilo v první části.

Řešení navrhli v roce 2015 Dzmitry Bahdanau a Kyunghyun Cho z Montrealské univerzity společně s Yoshuou Bengiem. V článku o strojovém překladu popsali mechanismus, který dostal jméno attention, pozornost. Idea byla prostá. Při generování každého slova výstupu ať model věnuje pozornost tomu slovu vstupu, které je právě relevantní. Přestal zapomínat začátek dlouhé věty.

Attention se nejprve prosazovala jako nadstavba nad rekurentními sítěmi. Nikoli jako jejich náhrada. Ta myšlenka měla přijít až o dva roky později.

V prosinci 2015 se v San Francisku sešla skupina, která chtěla mít na budoucí umělou inteligenci vliv nezávisle na velkých korporacích. Mezi zakladateli tam byli Sam Altman, tehdejší šéf inkubátoru Y Combinator, podnikatel Elon Musk, počítačový vědec Ilya Sutskever, který o tři roky dříve stál u AlexNet, a inženýr Greg Brockman. Nová organizace se jmenovala OpenAI a měla ambici stát se protiváhou tomu, co v oboru chystaly Google, Facebook nebo Microsoft.

Sutskever přešel z Google Brain a stal se v OpenAI hlavním architektem toho, čemu se později bude říkat řada GPT. Původní neziskový model ovšem dlouho nevydržel. Musk odešel z představenstva v roce 2018 s odvoláním na možný střet zájmů s Teslou. O rok později se OpenAI restrukturalizovala do hybridní podoby s dceřinou společností s takzvaným omezeným ziskem, což jí umožnilo přijmout miliardovou investici od Microsoftu. V roce 2015 to znělo jako romantický akademický projekt s příliš ambiciózním rozpočtem. Za sedm let bude OpenAI firmou, na kterou se dívá celý svět.

V březnu 2016, tři měsíce po založení OpenAI, se v soulském hotelu odehrálo něco, co s jazykem přímo nesouviselo, mělo však na jeho pozdější osudy zásadní vliv. Program AlphaGo od londýnské laboratoře DeepMind, kterou o dva roky dříve koupil Google, porazil v pětizápasovém utkání korejského velmistra Lee Sedola. Jednoho z nejlepších hráčů deskové hry go všech dob. Výsledek zněl 4:1 pro stroj.

Go bylo dlouho považováno za pevnost, kterou umělá inteligence dobude nejspíš až za mnoho desetiletí. Prostor možných tahů je v této hře astronomicky větší než v šachu. AlphaGo zvládl ono tvořivé, intuitivní hledání díky kombinaci hlubokého učení a takzvaného posilovaného učení.

Posilované učení je jiný princip než ten, na kterém stojí jazykové modely. Síť nedostává správné odpovědi předem. Místo toho jedná, sleduje výsledek a dostává odměnu nebo trest. Vyhrála partii, dobře. Prohrála, hůř. Postupně, po milionech odehraných her sama proti sobě, si vybuduje cit pro to, které tahy vedou k výhře, aniž by kdy dostala vysvětlení proč. Je to blíž tomu, jak se učí zvíře nebo dítě, než tomu, jak se učí student z učebnice. A vysvětluje to, proč AlphaGo v jedné partii zahrál tah, který lidští komentátoři nejprve označili za chybu a teprve o desítky tahů později pochopili, že šlo o brilantní strategii, kterou žádný člověk nikdy nezvolil.

Souboj sledovaly desítky milionů diváků v Asii. V Silicon Valley to spustilo záplavu peněz do všeho, co mělo přívlastek deep learning. Odborná i laická veřejnost pochopila naráz, že hluboké neuronové sítě nejsou akademická hračka. Nálada, ve které během následujících let začaly do laboratoří typu OpenAI a DeepMind téct miliardy dolarů, se rodila velkou měrou právě u soulského zápasu.

V červnu 2017 publikovala skupina osmi výzkumníků z Google Brain a Google Research článek s poetickým názvem Attention Is All You Need, tedy volně „Stačí pozornost“. Titul byl hravou parafrází beatlesovské All You Need Is Love z roku 1967. Za lehkovážným názvem se skrývala provokativní teze. Rekurentní sítě, na kterých se strojový překlad opíral celou dekádu, jsou zbytečné. Stačí attention.

Nová architektura se jmenovala Transformer. Opustila myšlenku číst text lineárně, slovo po slovu. Místo toho se model dívá na celou větu naráz a pro každé slovo počítá, na která ostatní slova má „dávat pozor“. V české větě „Petr slíbil Janě, že jí zavolá“ by při zpracování zájmena jí věnoval velkou pozornost slovu Janě. Model tak pochopil, kdo je kdo, aniž by musel držet v paměti celou předcházející sekvenci.

Změna vypadala technicky, ale její dopad byl enormní a šlo hlavně o rychlost učení. Rekurentní síť musela při tréninku zpracovat větu slovo po slovu, protože každý krok potřeboval výsledek toho předchozího. Nedalo se to uspěchat o nic víc, než se dá uspěchat čtení. Transformer tuto závislost odstranil. Všechna slova věty se zpracují současně, což znamená, že se výpočet dá rozdělit mezi tisíce jader grafické karty naráz. Tomu se říká paralelizace a v praxi znamenala rozdíl mezi tréninkem, který trvá měsíce, a tréninkem, který trvá dny. Otevřela se tím cesta k modelům, jejichž velikost přesáhla vše, co si kdo v roce 2016 dokázal představit.

Naplno docenit dopad Transformeru trvalo oboru několik let. Někteří z osmi autorů to sami později v rozhovorech přiznali. Věděli, že mají vylepšení strojového překladu. Že týž princip za pět let změní celý svět, se dalo v létě 2017 jen tušit.

Následující dva roky se cesta rozdělila do dvou paralelních směrů, oba postavené na Transformeru.

Google v říjnu 2018 vydal model BERT. Šlo o systém určený k porozumění textu. BERT četl větu z obou stran zároveň a báječně uměl odpovídat na otázky, doplňovat chybějící slova nebo hledat v textu. Během několika měsíců se stal součástí Googlu a proměnil to, jak vyhledávač chápe dotazy.

OpenAI se vypravila jinou cestou. Vsadila na model, který text nejen chápe, ale generuje. Píše ho slovo po slovu. GPT-1, vydaný v červnu 2018, měl sto sedmnáct milionů parametrů. Parametry si lze představit jako nastavitelné knoflíčky, kterými model ladí svou odpověď. Byla to slušná demonstrace, málokdo jí ovšem přikládal velký význam.

Zásadní bylo GPT-2 z února 2019. Model s 1,5 miliardy parametrů uměl napsat souvislé několikaodstavcové články, které se od lidských textů daly rozeznat jen s obtížemi. OpenAI se ho tehdy neodvážila zveřejnit celého. Obávala se, že model by mohl posloužit k výrobě falešných zpráv nebo hromadné manipulace. Zveřejnila pouze menší varianty a plnou verzi vypustila až v listopadu téhož roku, když se ukázalo, že podobné modely stejně brzy zveřejní jiné laboratoře.

Poprvé se rozpoutala veřejná debata o tom, zda existují jazykové modely, které jsou příliš nebezpečné na to, aby se vydávaly ven. Kritici tehdy OpenAI vinili z marketingového tahu. Debata se ovšem od té doby jen prohloubila a dnes formuje regulaci umělé inteligence v Evropské unii i ve Spojených státech.

Květen 2020 přinesl něco, na co odborná komunita čekala a nečekala zároveň. OpenAI zveřejnila akademický článek popisující model GPT-3 se sto sedmdesáti pěti miliardami parametrů. Byl více než stokrát větší než GPT-2, na kterém se odborníci teprve doučovali odhalovat slabiny.

V tuto chvíli stojí za to vysvětlit, co vlastně znamená natrénovat model. Síť dostane kus textu z internetu, ze kterého se zakryje jedno slovo, a má uhodnout, které tam patřilo. Zpočátku hádá naprosto náhodně. Pokaždé, když se netrefí, se všech sto sedmdesát pět miliard jejích parametrů nepatrně posune tím směrem, který by odpověď přiblížil správné. Tenhle cyklus se zopakuje mnohomiliardkrát na textu o rozsahu stovek miliard slov. Nikdo síti nevysvětlil gramatiku, historii ani logiku. Všechno, co GPT-3 umí, vzniklo jako vedlejší produkt jediného cvičení. Uhodni další slovo.

Odhaduje se, že samotný výpočetní čas potřebný k jednomu takovému tréninkovému průběhu stál kolem 4,6 milionu dolarů, což je odhad firmy Lambda Labs z května 2020. Celkový vývoj s experimenty, laděním nastavení a neúspěšnými pokusy je nepochybně násobně vyšší a některé odhady jdou přes deset milionů dolarů. OpenAI přesná čísla nezveřejnila. Šlo v každém případě o jeden z výpočetně nejnáročnějších projektů, jaký kdy jaká firma bez podpory státu podnikla.

Ještě podstatnější však byla samotná schopnost modelu. Do té chvíle platilo pravidlo. Chceš-li, aby model uměl nový úkol, musíš ho na tento úkol dotrénovat na tisících příkladů. GPT-3 to zpochybnil. Ukázalo se, že když je model dostatečně velký a natrénovaný na dostatečně obřím korpusu textu z internetu, umí spoustu úkolů bez jakéhokoli speciálního tréninku. Stačí mu v zadání ukázat pár příkladů. Nebo dokonce srozumitelně popsat, co má dělat. Tomuto principu se začalo říkat few-shot learning a zero-shot learning.

GPT-3 uměl překládat mezi desítkami jazyků. Uměl shrnovat, psát básně ve stylu konkrétního autora, generovat funkční programový kód z popisu v angličtině, odpovídat na otázky ze všeobecného přehledu, vymýšlet titulky, hrát textové adventury. Nebyl geniální. Často si vymýšlel, plácl faktické nesmysly, ztrácel se v dlouhých úvahách. Rozsah jeho schopností ovšem otřásl představou o tom, co je jazykový model vůbec zač. Přestával to být chytré prediktivní psaní z mobilní klávesnice a začínal to být nástroj, který dělá něco, co vypadá jako uvažování.

Zároveň se objevil jeden z nejdůležitějších pojmů, který od té doby definuje celé odvětví. Takzvané škálovací zákony. Výzkumníci OpenAI ukázali, že když zvětšíte model, přidáte více dat a vložíte více výpočetního výkonu, schopnosti rostou předvídatelně. A některé nové schopnosti se objevují emergentně, jakoby ze dne na den. Menší modely úkol nezvládaly vůbec, větší ho najednou zvládly. Proč se to dělo, nebylo jasné. Že to funguje, ovšem bylo zřejmé.

Nadšení nebylo univerzální. Ještě v roce 2020 dala lingvistka Emily Bender z Washingtonské univerzity společně s výzkumnicí Timnit Gebruovou z Googlu do oběhu text, který později vyšel pod titulem On the Dangers of Stochastic Parrots. Autorky v něm argumentovaly, že obří jazykové modely jsou stochastičtí papoušci. Napodobují jazyk, aniž by mu rozuměly. Konflikt kolem interního schvalování článku stál Gebruovou místo v Googlu už v prosinci 2020, tedy tři měsíce před tím, než text oficiálně vyšel na konferenci FAccT. Spor se stal jedním z definujících momentů následujících let. GPT-3 uměl mnoho. Za jakou cenu a s jakými riziky, zůstávalo otevřenou otázkou.

Rok 2020 tak končí ve zvláštním napětí. GPT-3 je zpočátku velmi drahou hračkou pro několik privilegovaných výzkumníků a firem, které mají přístup k jeho API. Veřejnost jej ještě nezná. Kdo s ním ovšem pracuje, začíná tušit, že se něco fundamentálně mění.

Do světa, ve kterém průměrný člověk chatuje s modelem přes okno prohlížeče, zbývaly necelé dva a půl roku. Do listopadu 2022 a ke spuštění ChatGPT. Základ pro všechno, co přišlo poté, byl ovšem položen právě v květnu 2020.

Alan Turing by z toho měl radost. A Joseph Weizenbaum, který zemřel v roce 2008, by patrně po několika hodinách u obrazovky vstal a šel psát další knihu o tom, proč nás počítač nikdy nedokáže nahradit. Ať už by měl v čemkoli pravdu, jednu důležitou věc předpověděl správně. Lidé budou do jazykových modelů projektovat víc, než v nich reálně je. A na tom se za šedesát let nezměnilo nic.

Neuronová síť. Navzdory jménu nemá s mozkem mnoho společného. Jde o matematickou funkci uspořádanou do vrstev, kde každá vrstva bere čísla od té předchozí, vynásobí je svými váhami, sečte a pošle dál. Inspirace mozkem je vzdálená a spíš historická. Funguje to, protože dostatečně velká síť takových vrstev dokáže napodobit prakticky libovolně složitý vztah mezi vstupem a výstupem, pokud jí ukážete dost příkladů.

Parametr, neboli váha. Číslo uvnitř sítě, které určuje, jak silně jeden výpočet ovlivní další. Trénink není nic jiného než hledání správných hodnot těchto čísel. GPT-3 jich měl sto sedmdesát pět miliard. Kdybyste je vytiskli po jednom na řádek, seznam by obtočil Zemi zhruba stotisíckrát.

Hluboké učení. Učení neuronové sítě, která má mnoho vrstev za sebou. Slovo hluboké se vztahuje k počtu vrstev, ne k hloubce porozumění. Každá vrstva pracuje s abstraktnějšími pojmy než předchozí, aniž by jí kdo řekl, jaké ty pojmy mají být.

Trénink. Fáze, ve které se model učí. Probíhá jednou, trvá týdny až měsíce a stojí miliony. Poté je model hotový a jeho parametry se už nemění. Když s modelem dnes mluvíte, neučí se z toho nic. Jen aplikuje to, co se naučil kdysi.

Vektor. Sada čísel, která popisuje polohu bodu v prostoru. Slovo převedené na vektor dostane své místo v mapě významů, kde blízkost znamená podobnost.

Konvoluční síť. Typ sítě pro obrázky, která po nich posouvá malé okénko a hledá v něm jednoduché vzorce. Z hran skládá tvary, z tvarů předměty.

Rekurentní síť a LSTM. Typy sítí, které čtou text slovo po slovu a nesou si s sebou paměť toho, co už viděly. Trpěly tím, že u dlouhých vět zapomínaly začátek, a od roku 2017 je Transformer prakticky nahradil.

Attention, pozornost. Mechanismus, který pro každé slovo počítá, jak moc má při jeho zpracování zohlednit každé jiné slovo ve větě. Ve větě „Petr slíbil Janě, že jí zavolá“ spojí zájmeno jí se jménem Janě.

Transformer. Architektura z roku 2017, která postavila celý model výhradně na pozornosti a odstranila potřebu číst text po řádku. Stojí pod GPT, BERT, Claude, Gemini i všemi ostatními modely dneška. Písmeno T ve zkratce GPT znamená právě Transformer.

Posilované učení. Učení metodou pokus a odměna, bez správných odpovědí předem. Používá se u her a robotiky. U jazykových modelů se v odlišné podobě uplatní až po roce 2020, když bude potřeba naučit je odpovídat způsobem, který lidem vyhovuje.

Paralelizace. Rozdělení výpočtu na části, které lze počítat současně místo po sobě. Bez ní by trénink dnešních modelů trval desítky let.

Grafická karta, GPU. Hardware původně určený pro vykreslování her, který umí tisíce jednoduchých výpočtů naráz. Ukázalo se, že přesně to neuronové sítě potřebují, což udělalo z firmy Nvidia jednu z nejcennějších společností světa.

Korpus. Velká sbírka textů, na které se model učí. U GPT-3 šlo o stovky miliard slov z webu, digitalizovaných knih a Wikipedie.

Few-shot a zero-shot. Schopnost modelu zvládnout úkol, na který nebyl speciálně cvičen, buď po ukázce několika příkladů v zadání (few-shot), nebo jen na základě slovního popisu (zero-shot).

Emergentní schopnost. Dovednost, která se u menších modelů neprojevuje vůbec a u větších se objeví jakoby naráz. Nikdo ji tam nezabudoval a nikdo ji předem nepředpověděl. Právě tato nepředvídatelnost stojí za velkou částí dnešních obav i nadějí.

API. Rozhraní, přes které se k modelu připojí cizí program. Než přišel ChatGPT s oknem v prohlížeči, byl přístup přes API jediná cesta, jak s GPT-3 pracovat, a měla ji jen hrstka vývojářů.

Poznámka o pramenech

Text vychází z primární literatury. Turingova článku Computing Machinery and Intelligence (Mind, 1950), Weizenbaumovy knihy Computer Power and Human Reason (W. H. Freeman, 1976), Krizhevského a kolektivu (AlexNet, NeurIPS 2012), Mikolova a kolektivu (word2vec, 2013), Bahdanaua a kolektivu (Neural Machine Translation by Jointly Learning to Align and Translate, 2015), skupiny z Google Brain (Attention Is All You Need, 2017), Devlina a kolektivu (BERT, 2018), Radforda a kolektivu (GPT-2, 2019) a Browna a kolektivu (GPT-3, 2020). Článek Bender, Gebruové, McMillan-Majorové a Mitchellové On the Dangers of Stochastic Parrots byl publikován v aktech konference FAccT v březnu 2021.

Pro kontext AI zim, Georgetown-IBM experimentu a raných dějin oboru jsem čerpal z monografií Nilsse Nilssona (The Quest for Artificial Intelligence, Cambridge University Press, 2010) a Melanie Mitchellové (Artificial Intelligence: A Guide for Thinking Humans, 2019).

Anekdota o Weizenbaumově sekretářce stojí na jeho vlastním pozdějším svědectví, které v přesných detailech nelze nezávisle doložit. Podávám ji tak, jak ji autor sám prezentoval. Odhad ceny tréninku GPT-3 kolem 4,6 milionu dolarů pochází z analýzy firmy Lambda Labs z roku 2020 a týká se pouze samotného výpočetního průběhu. Celkové investice do vývoje modelu OpenAI nezveřejnila.