Hlavní obsah

Neupínejte se na tokeny, o ceně rozhoduje efektivita AI modelů

Foto: Lukáš Kraus

Umělá inteligence zdražuje a u špičkových modelů jako jsou ChatGPT nebo Claude ceny často rostou exponenciálně. Pravidla hry se ale mění a jedním z nejvýhodnějších se stává tvůrce ChatGPT. Nejde ale o cenovou válku, nýbrž o efektivitu.

Článek

Ještě nedávno platila v AI byznysu jednoduchá matematika, kdy chytřejší model byl bez ohledu na cokoliv jiného okamžitě žádanější. Významný nárůst využívání umělé inteligence, který v posledních měsících tohoto roku můžeme sledovat, ale tento pohled rychle mění. Když se dnes podíváme na nejlepší modely od amerických laboratoří, jako jsou OpenAI (tvůrci ChatGPT) a Anthropic (modely Claude), zjistíme že se dbá i na cenu, a že skutečná cena za vyřešení vašeho úkolu už dávno nezávisí na pouhém ceníku. Rozhoduje to, jak efektivně dokáže daný model pracovat.

Toto lze sledovat na nejnovějším a nejvýkonnějším OpenAI modelu GPT-5.6 Sol. Při pohledu do ceníku působí pro mnohé jako nedostupný luxus, protože si účtuje 5 dolarů za milion vstupních a 30 dolarů za milion výstupních tokenů. Ačkoliv tento model pojme kontextové okno až do výše 1 milionu tokenů, tak i přesto nastává paradox, kdy nezávislé testy ukazují, že vás ve výsledku může vyjít jako ta nejekonomičtější volba na trhu.

Proč tomu tak je? Odpovědí je efektivita při zpracovávání požadavku. Podle nezávislých testů totiž GPT-5.6 Sol spotřebuje k vyřešení úlohy polovinu výstupních tokenů, a díky tomu je o polovinu rychlejší, oproti konkurenčnímu a nedávno vydanému modelu Fable 5 od společnosti Anthropic. Ačkoliv má tedy GPT-5.6 Sol v porovnání s jinými modely vyšší „ceníkovou“ cenu za jednotku, úspornější generování tokenů výrazně srazí celkový účet za výkon. Zkrátka už neplatíte za zbytečný balast v přemýšlení, což je pro modely od Anthropicu typické.

Důkazem, že cenová křivka AI modelů nemusí mířit jen strmě vzhůru, je nedávno představený a vydaný model Gemini 3.6 Flash od Googlu. Ten nejenže spotřebuje v průměru o 17 % méně tokenů oproti svému předchůdci. Ve složitých, vícekrokových procesech potřebuje mnohem méně kroků a vyhýbá se zbytečnému volání externích nástrojů, což se projeví převážně během programování. Navíc oproti předchůdci výrazně zlevnil, kdy nově zaplatíte 1,50 dolaru za milion vstupních a 7,50 dolaru za milion výstupních tokenů.

Tlak z Východu

Americká dominance v umělé inteligenci čelí sílícímu tlaku, což začíná hýbat i samotnou cenotvorbou. Na trh se totiž stále častěji dostávají vysoce vyspělé asijské, převážně čínské modely. Jedná se o takzvané open-weight modely, u kterých vývojáři dávají vnitřní parametry, neboli váhy, volně k dispozici, takže si je člověk může teoreticky spustit i sám na vzdálených serverech, které si pronajme. Díky těmto modelům lze snadno ukázat, že k přístupu k té nejlepší AI už dávno není nutné platit západním gigantům prémiové ceny.

Vhodným příkladem z poslední doby je model Kimi K3 od startupu Moonshot AI, o který je teď mezi uživateli obrovský zájem. Na papíře je to absolutní gigant: disponuje 2,8 biliony parametrů a standardním kontextovým oknem pro 1 milion tokenů. Od začátku byl stavěný jako přímá konkurence pro ty nejlepší americké modely, a do historie se zapisuje jako vůbec první otevřený model s takto velkým počtem parametrů.

Výsledky nejnovějších testů modelu Kimi K3 by měly pro západní laboratoře představovat jasné varování. V testech komplexní analytické práce, jako je AA-Briefcase, se umístil v těsném závěsu za prémiovým modelem Fable 5. Cenový rozdíl je přitom výrazný. Zatímco Anthropic si u svého vlajkového modelu účtuje 10 dolarů za milion vstupních a 50 dolarů za milion výstupních tokenů, čínský konkurent sráží ceny na pouhé 3 dolary na vstupu a 15 na výstupu.

Díky takové pestrosti trhu se naplno ukazuje potenciál takzvaného routingu. V praxi to funguje tak, že chytrý model zhodnotí náročnost zadaného úkolu. Běžnou agendu pak deleguje na levnější, úspornější model, který ji zvládne vyřešit ve stejné kvalitě. Testy ukazují, že pokud se asijský Kimi K3 takto zkombinuje s modelem Fable 5, dokážou zachovat 93 % přesnost výstupů. Díky tomu se celkové náklady na řešení úkolů významně srazily oproti situaci, kdy se na stejnou práci nasadil pouze americký prémiový model.

Máte na tohle téma jiný názor? Napište o něm vlastní článek.

Texty jsou tvořeny uživateli a nepodléhají procesu korektury. Pokud najdete chybu nebo nepřesnost, prosíme, pošlete nám ji na medium.chyby@firma.seznam.cz.

Sdílejte s lidmi své příběhy

Stačí mít účet na Seznamu a můžete začít publikovat svůj obsah. To nejlepší se může zobrazit i na hlavní stránce Seznam.cz

Doporučované

Načítám