Článek
Když od vektoru slova „Paříž“ odečtete „Francii“ a přičtete „Itálii“, dostanete se k „Římu“. Nejde o slovní hříčku, ale o jeden z výsledků práce, která v roce 2013 ukázala, jak překvapivě mnoho jazykové struktury lze převést do matematiky.
Tomáš Mikolov a jeho kolegové z Googlu tehdy představili dvě jednoduché metody pro tvorbu číselných reprezentací slov. Tyto architektury dnes známe především pod označením Word2Vec. V takové reprezentaci už slovo nebylo jen samostatnou položkou ve slovníku. Dostalo souřadnice v mnohorozměrném prostoru, ve kterém blízkost a směr začaly nést informaci o jeho použití a vztazích k ostatním slovům.
Dnes, v éře ChatGPT a dalších velkých jazykových modelů, může Word2Vec působit skromně. Právě v tom ale spočívá jeho historická zajímavost. Jeden z důležitých kroků k dnešní AI nevznikl přidáváním dalších vrstev a komplikací. Vznikl zjednodušením.
Méně modelu, více dat
Neuronové jazykové modely existovaly už před Word2Vec a slova uměly reprezentovat pomocí vektorů. Byly však výpočetně náročné. Mikolovův tým se proto soustředil na to, co potřeboval nejvíc: kvalitní reprezentaci slov, kterou lze naučit na opravdu velkém množství textu.
Vznikly dvě architektury. CBOW se snažil z okolních slov odhadnout slovo uprostřed. Skip-gram dělal opak a z daného slova předpovídal jeho okolí. Úloha byla jednoduchá natolik, že ji bylo možné škálovat na miliardy slov.
V jednom z hlavních experimentů autoři trénovali na šesti miliardách slov z Google News. Skip-gram s tisícirozměrnými vektory dosáhl na jejich testu sémantických a gramatických vztahů přesnosti 65,6 procenta. Důležitější než samotné číslo bylo srovnání. Jednodušší model se dal trénovat výrazně levněji než tehdejší plnohodnotné neuronové jazykové modely a přitom vytvářel kvalitnější reprezentace.
To byla lekce, která se v AI později opakovala znovu a znovu. Nezáleží jen na tom, jak sofistikovaný algoritmus navrhnete. Rozhodující může být, zda je dost jednoduchý a efektivní, aby se mohl učit z mnohem většího množství dat.
Česká stopa není jen poznámka pod čarou
Do tohoto příběhu patří i Brno. Rok před publikací Word2Vec obhájil Mikolov na Fakultě informačních technologií VUT disertaci o neuronových jazykových modelech. Jejím školitelem byl Jan Černocký a práce vznikala v prostředí skupiny Speech@FIT, která se dlouhodobě věnuje rozpoznávání řeči a strojovému zpracování jazyka.
Tahle souvislost je dnes zajímavá i z jiného důvodu. Rada pro výzkum, vývoj a inovace 4. září 2026 navrhla Jana Černockého na Národní cenu vlády Česká hlava za zásadní přínos moderním řečovým technologiím využívajícím umělou inteligenci.
Bylo by přehnané dělat z Word2Vec „český vynález“. Studie vznikla v Googlu a má čtyři autory. Stejně zavádějící by ale bylo tvářit se, že Mikolovova práce začala až v Kalifornii. Jeho výzkum neuronových jazykových modelů má jasnou brněnskou předhistorii. Česká stopa tedy není marketingová ozdoba, ale součást rodokmenu myšlenek, z nichž Word2Vec vyrostl.
Od mapy slov k modelům, které píší
Word2Vec není ranou verzí ChatGPT, kterou stačilo zvětšit. Mezi rokem 2013 a dnešní generativní AI leží několik zásadních průlomů.
Jeden z nejdůležitějších přišel v roce 2017 s architekturou Transformer. Ta umožnila modelům efektivně pracovat se vztahy mezi jednotlivými částmi textu a stala se základem dnešních velkých jazykových modelů. O rok později BERT ukázal sílu kontextových reprezentací. Stejné slovo už nemuselo mít jeden neměnný vektor. Jeho vnitřní podoba se mohla měnit podle věty, ve které se právě nachází.
Přesto vede od Word2Vec k dnešní AI zřetelná intelektuální linka. Počítači už nemusíme ručně říkat, jak přesně mají být pojmy uspořádány. Necháme model, aby si z dat vytvořil vlastní reprezentaci a v ní našel strukturu, která je užitečná pro další úlohy.
Právě tento posun se ukázal jako mimořádně plodný. Vektorové reprezentace dnes nejsou vyhrazeny slovům. Do matematických prostorů se převádějí celé věty, obrázky, zvuk, molekuly nebo proteiny. Místo ručně zadaných definic tak AI stále častěji pracuje s vnitřními reprezentacemi, které si vytvořila učením z dat.
A tady je možná nejzajímavější dědictví jednoduchého modelu z roku 2013. Word2Vec neukázal, jak postavit inteligentní stroj. Ukázal ale, že část vztahů, které v jazyce vnímáme jako významové, lze zachytit jako matematickou strukturu.
Dnešní modely tuto myšlenku dovedly do měřítka, které tehdy nebylo představitelné. A s tím vzniká paradox. Čím přesvědčivěji dokáže stroj s jazykem zacházet, tím méně samozřejmé je, co přesně máme na mysli, když mluvíme o porozumění.
Word2Vec neprokázal, že stroj jazyku rozumí. Ukázal však, jak daleko se lze dostat jen učením z obrovského množství textu. Neodpověděl tedy na otázku, kdy stroj začne rozumět. Pomohl ukázat, jak obtížné je určit, co za porozumění vůbec považujeme.
ZDROJE
[1] Mikolov, T., Chen, K., Corrado, G. & Dean, J. Efficient Estimation of Word Representations in Vector Space. International Conference on Learning Representations, 2013.
https://arxiv.org/abs/1301.3781
[2] Mikolov, T., Yih, W.-T. & Zweig, G. Linguistic Regularities in Continuous Space Word Representations. Proceedings of NAACL-HLT, 2013.
https://aclanthology.org/N13-1090/
[3] Fakulta informačních technologií VUT. Rada pro výzkum, vývoj a inovace nominovala Jana Černockého z FIT VUT na Národní cenu vlády Česká hlava. VUT, 2026.
https://www.fit.vut.cz/fit/news/d361138/.cs
[4] Vaswani, A. et al. Attention Is All You Need. Advances in Neural Information Processing Systems, 2017. https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html
[5] Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT, 2019.
https://aclanthology.org/N19-1423/
