Článek
Pořád slyším: „AI je drahý, to se nevyplatí.“ A já jsem si řekl, tak si to konečně spočítejme pořádně. Sedl jsem si s naším Innovation Directorem Vojtěchem Černým a rozebrali jsme si čísla.
„AI vždycky bylo levný,“ řekl Vojta na rovinu. „Lidi vidí ty poplatky a mají strach, že když to začne hodně lidí používat, vyleze jim to třeba na desítky tisíc. Ale to jen znamená, že v tom musí být obrovský užitek, jinak by to nikdo nepoužíval.“
A má pravdu. Bojíme se nákladů u technologie, která ve skutečnosti stojí takřka nic.
Za milion tokenů zaplatíte dvě stovky. Token je pár písmen, taková stavební kostka pro AI. Milion tokenů? To je zhruba 750 tisíc slov. Tři knihy jako Harry Potter za dvě stovky. Zkuste si za dvě stovky najmout copywritera, ať vám napíše tři knihy.
Každopádně, opravdu potřebujete tu nejdražší, nejvýkonnější AI?
Vojta mi vysvětlil, že máme něco, co se dá nazvat „malé jazykové modely“. OpenAI vydalo model s označením mini a nano. Tyto menší modely jsou rychlejší a ještě levnější.
Jak říká Vojta: „Platíte halíře za docela velké věci, které AI zpracuje.“
A tady přichází bonus: některé AI modely můžete mít zadarmo a pustit si je lokálně. Třeba DeepSeek si můžete stáhnout a spustit lokálně. Dokonce na mobilu.
Ano, opravdu modely do 3 miliard parametrů zvládne i telefon, i když rychlost bude kolem 9 tokenů za sekundu. Co to znamená prakticky? Že si můžete zpracovávat kratší texty přímo ve svém zařízení zcela lokálně.
Samozřejmě je nutné brát v potaz tzv. context window, neboli množství textu, které model zvládne zpracovat najednou. Určuje, kolik informací si AI „pamatuje“ během jedné úlohy. Menší context window znamená kratší texty, ale pro spoustu úkolů to úplně stačí.
Nenechte se zmást, menší neznamená horší.
Tyto modely se skvěle hodí na:
- Automatické zpracování dokumentů
- Kategorizaci dat
- Analýzu nálad zákazníků
- Transformaci informací
„Pořád je to velký jazykový model a je univerzální,“ zdůrazňuje Vojta. V Algotechu tohle používáme každý den a náklady jsou skutečně zanedbatelné. Zvlášť když si spočítáte, kolik ušetříte času a lidské práce.
Je to jako s procesory před třiceti lety.
Samozřejmě, výpočetní technika je náročná. Ale s rozšiřováním infrastruktury budou ceny klesat ještě víc. Lidé si neuměli představit gigahertzové procesory. Dnes máme v kapse iPhone s výkonem několika počítačů z devadesátek.
Nemusíte dělat žádnou revoluci. Stačí jeden projekt, jeden proces, jeden tým. Vyzkoušejte si na něčem konkrétním, kolik vás to bude stát. Vsadím se, že budete překvapení.
