Článek
Mistral na tenhle komunitní vtip později navázal názvem Le Chonk. A tohle vypasené kotě teď můžete mít doma. Jenže to bude hodně drahé, i když je samotný model ke stažení zdarma.
Francouzská společnost Mistral AI zveřejnila svůj největší model Mistral Large 4, přezdívaný Le Chonk, také ve variantě, kterou lze stáhnout a provozovat na vlastní infrastruktuře. Technicky si ho tedy může kdokoli stáhnout bez závislosti na cloudové službě Mistralu. Jenže právě u tohoto modelu je velký rozdíl mezi slovy „mohu si ho stáhnout“ a „mohu ho rozumně provozovat“.
Le Chonk má přibližně 1,05 bilionu parametrů. Díky architektuře Mixture-of-Experts se při zpracování jednoho tokenu aktivuje jen asi 52 miliard parametrů, což snižuje výpočetní náročnost. Všechny potřebné části modelu ale stále musejí být někde uložené a dostupné. A právě paměť je při lokálním provozu jedním z hlavních problémů.
Model je multimodální, pracuje s textem i obrazem a podporuje kontext až jeden milion tokenů. Mistral ho zaměřuje především na programování, agentní úlohy, kybernetickou bezpečnost a náročné firemní použití.
Důležité odkazy:
Co vlastně znamená, že Mistral zveřejnil „váhy“ modelu
V souvislosti s otevřenými modely se často používá pojem váhy modelu. Nejde o zdrojový kód v běžném smyslu ani o databázi vět, které se model naučil nazpaměť.
Při trénování se v neuronové síti nastaví obrovské množství číselných parametrů. Právě jejich výsledné hodnoty se označují jako váhy. Zjednodušeně řečeno v nich model uchovává vztahy a vzory, které během trénování získal.
Samotnou architekturu lze přirovnat k plánům stroje. Váhy jsou jeho konkrétní „nastavení“ po dokončeném trénování. Bez nich bychom měli popis konstrukce modelu, ale nikoli skutečně natrénovaný Le Chonk.
Když tedy Mistral zveřejní váhy, umožňuje ostatním stáhnout skutečný natrénovaný model a provozovat ho mimo servery Mistralu.
To je podstatný rozdíl proti používání modelu přes API. U API posílá uživatel požadavek na servery poskytovatele a dostává odpověď. K samotnému modelu přístup nemá. Se zveřejněnými vahami může firma, výzkumník nebo instituce model provozovat na vlastní technice, zkoumat ho a v rámci licence také dále upravovat.
Stáhnout ano. Jenomže soubor může mít dva terabajty
Velikost Le Chonku zároveň ukazuje, proč „veřejně dostupný model“ ještě neznamená „model pro běžný počítač“.
Základní FP8 checkpoint má přibližně jeden terabajt. Nekvantizovaná reprezentace BF16 zabírá přibližně 2,1 TB. Komunita kolem llama.cpp připravila i výrazně menší kvantizované varianty.
Počítač musí mít vedle vah prostor také pro program, který model obsluhuje, pro právě zpracovávaná data, mezivýsledky výpočtů a takzvanou KV cache. Ta slouží k ukládání informací z již zpracovaného kontextu, aby je model nemusel při generování každého dalšího tokenu znovu počítat.
Čím delší kontext model zpracovává, tím větší může být i tato další paměťová režie. Proto nestačí říct: model má 381 GB, takže počítač s 381 GB paměti ho zvládne. Potřebuje rezervu.
Mixture-of-Experts zároveň neznamená, že se z bilionového modelu stane při provozu běžný padesátimiliardový model. Výpočetně se v daném okamžiku skutečně používá pouze část expertů, router však musí mít přístup k celé jejich sadě.
Jeden Mac Studio: jde to, ale model musí být silně stlačený
Hugging Face při testování ukázal, že Le Chonk skutečně lze provozovat na jediném počítači. Použil Mac Studio s čipem M3 Ultra a 512 GB sjednocené paměti.
Dvoubitová varianta Q2_K na něm při zpracování vstupu dosahovala asi 90 tokenů za sekundu a při samotném generování přibližně 15 tokenů za sekundu.
To už je rychlost, při níž lze s modelem normálně interaktivně pracovat.
Je ale podstatné dodat, že jde o 381GB dvoubitově kvantizovanou variantu. Uživatel tedy neprovozuje původní model v FP8 kvalitě.
Hugging Face výslovně uvádí, že právě dvoubitové varianty mohou běžet na jednom Apple Silicon Ultra s 512 GB sjednocené paměti. Vyšší varianty už vyžadují distribuovaný provoz.
Od podzimu 2026 navíc Apple nabízí novější Mac Studio s M5 Ultra, který může mít rovněž až 512 GB sjednocené paměti. Naměřených 15 tokenů za sekundu ale pochází z testu staršího M3 Ultra, takže konkrétní výkon nové generace nelze bez měření jednoduše převzít.
Pro vývojáře, výzkumníka nebo firmu, která potřebuje pracovat lokálně s citlivými daty, tak vzniká skutečná možnost provozovat Le Chonk na jediném pracovním počítači.
Pro člověka, který by si chtěl pouze pořídit „vlastní chatbot bez cloudu“, je to ale velmi drahý způsob, jak dosáhnout něčeho, co lze prostřednictvím API získat za řádově nižší náklady.
Čtyři profesionální grafické karty: kolem dvou milionů korun
Druhou cestou je profesionální pracovní stanice s několika GPU. Hugging Face testoval Le Chonk na čtyřech kartách RTX PRO 6000. Každá má 96 GB paměti, takže čtyři karty nabídnou celkem 384 GB VRAM.
U silně kvantizované varianty IQ2_XXS dosahovala sestava při kratším kontextu přibližně 30 generovaných tokenů za sekundu. Při kontextu kolem 800 tisíc tokenů výkon klesal zhruba na tři tokeny za sekundu. Varianta NVFP4 při kontextu 32 tisíc tokenů generovala kolem deseti tokenů za sekundu.
Ani čtyři RTX PRO 6000 ale nejsou konfigurací, do které by se pohodlně vešel celý původní FP8 model.
Jejich 384 GB VRAM stačí například pro 298GB IQ2_XXS, nikoli pro 635GB Q4_K_M nebo zhruba terabajtový FP8 checkpoint. U větších variant je proto nutné model rozdělit mezi více zařízení, část dat přesouvat do systémové RAM nebo použít rozsáhlejší GPU infrastrukturu.
A tady už rychle rostou ceny.
Jedna RTX PRO 6000 Blackwell Server Edition s 96 GB paměti se v českých nabídkách pohybuje kolem 420 tisíc korun včetně DPH. Čtyři karty tedy samy stojí přibližně 1,68 milionu korun.
Po připočtení serverového procesoru AMD EPYC nebo Threadripper Pro, 512 GB až 1 TB ECC RAM, základní desky, rychlých NVMe disků, napájecích zdrojů, skříně a odpovídajícího chlazení je realistická cena celé stanice přibližně 1,9 až 2,3 milionu korun.
U dražších integrovaných řešení může být ještě vyšší.
A elektřina?
RTX PRO 6000 má maximální příkon 600 wattů. Čtyři karty tedy mohou samy spotřebovávat až 2,4 kW.
Se zbytkem pracovní stanice se při plném zatížení lze dostat přibližně ke třem kilowattům.
Pokud bychom pro jednoduchý výpočet počítali cenu elektřiny 6 Kč za kWh, vychází provoz tříkilowattového stroje přibližně:
· osm hodin denně: asi 4 320 Kč měsíčně,
· nepřetržitě: asi 12 960 Kč měsíčně.
A to ještě bez nákladů na chlazení místnosti, klimatizaci a dalších ztrát.
U vlastní AI infrastruktury tedy nejde jen o pořizovací cenu počítače. Do ekonomiky vstupuje elektřina, chlazení, správa, servis, aktualizace softwaru a čas lidí, kteří infrastrukturu provozují.
Plnohodnotný FP8 Le Chonk už patří do datacentra
Pokud chce někdo provozovat původní FP8 variantu bez drastické kvantizace, situace se posouvá z pracovního stolu do serverovny.
Hugging Face nabízí referenční deployment na osmi NVIDIA H200. Model je rozdělen přes všech osm GPU pomocí tensor a expert parallelismu a běží přes vLLM.
Referenční konfigurace zvládá až 131 tisíc tokenů kontextu a až 16 současných požadavků.
Při jednom požadavku Hugging Face naměřil přibližně 65 generovaných tokenů za sekundu, a při vhodných chatových úlohách se spekulativním dekódováním dokonce 120 až 138 tokenů za sekundu.
Při zatížení tisícem testovacích konverzací dosahoval systém souhrnně přibližně 480 generovaných tokenů za sekundu.
To už ale není osobní počítač.
Evropské nabídky serverů s osmi H200 se pohybují řádově kolem 10 milionů korun a výše. Značkové systémy typu NVIDIA DGX mohou být ještě podstatně dražší.
Navíc například DGX H200 má maximální příkon přes 10 kW. Kdo takový stroj skutečně provozuje, musí počítat s odpovídající elektroinstalací a datacentrovým chlazením.
Proč je tedy zveřejnění samotného modelu důležité
Z předchozích čísel by se mohlo zdát, že zveřejnění vah má malý praktický význam, protože si Le Chonk stejně většina lidí doma nespustí.
Pro běžného uživatele to skutečně zásadní změna být nemusí.
Pro velké firmy, státní instituce, banky, farmaceutické podniky, průmysl, bezpečnostní organizace nebo výzkumná centra je ale situace jiná.
Pokud používají model pouze přes API, běží samotný Le Chonk na infrastruktuře Mistralu. Organizace mu posílá vstupy a dostává odpovědi.
Se staženými vahami může model provozovat sama.
Může ho:
· provozovat uvnitř vlastní infrastruktury,
· neposílat důvěrná data externímu poskytovateli,
· přizpůsobit svým dokumentům a procesům,
· fine-tunovat,
· nastavovat vlastní bezpečnostní pravidla,
· zkoumat jeho chování,
· integrovat do interních systémů,
· provozovat bez závislosti na tom, zda poskytovatel změní cenu, podmínky nebo API.
Právě tady dává smysl pojem sovereign AI, který Mistral u otevřených modelů používá.
Organizace nekupuje pouze možnost pokládat modelu otázky. Získává možnost mít samotný natrénovaný model ve vlastní infrastruktuře a pod vlastní kontrolou.
Le Chonk má navíc podporu pro další fine-tuning. Hugging Face například uvádí postup úprav původní FP8 varianty na uzlu s osmi GPU B300.
Licence je otevřená, ale ne úplně bez podmínek
Mistral Large 4 je vydaný pod Mistral Ecosystem Open-Weight License, tedy upravenou licencí vycházející z MIT.
Model lze bezplatně používat, upravovat, fine-tunovat a využívat komerčně.
Existuje ale důležitá výjimka: firma, která by vzala Le Chonk a nabízela ho dál zákazníkům jako vlastní Model-as-a-Service, potřebuje zvláštní komerční licenci od Mistralu.
Proto je přesnější označovat Le Chonk jako open-weight modelnež jednoduše jako open source.
„Open-weight“ v tomto případě znamená právě to, že jsou dostupné natrénované váhy, tedy samotné numerické parametry modelu. Neznamená to automaticky, že veškeré části vývoje, trénovací data a celý proces vzniku modelu jsou otevřené ve stejném smyslu jako u klasického open-source softwaru.
Pro většinu lidí a firem je mnohem levnější API
Zveřejnění vah neznamená, že vlastní provoz je automaticky ekonomicky výhodný.
Mistral současně nabízí Le Chonk přes své API za:
· 0,70 USD za milion vstupních tokenů,
· 0,07 USD za milion cachovaných vstupních tokenů,
· 2,10 USD za milion výstupních tokenů.
Například úloha se 100 tisíci vstupními tokeny a 20 tisíci vygenerovanými tokeny stojí:
· vstup 0,07 USD,
· výstup 0,042 USD,
· dohromady 0,112 USD.
Tedy v přepočtu jen několik korun.
Z tohoto pohledu je zřejmé, proč se investice do počítače za dva miliony korun nebo serveru za více než deset milionů běžnému uživateli nemůže vrátit jen tím, že přestane platit za tokeny.
Dokonce i firma s poměrně velkou spotřebou musí počítat velmi pečlivě. K vlastnímu hardwaru přibývá elektřina, servis, infrastruktura a zaměstnanci.
Self-hosting proto dává smysl především tehdy, když organizace potřebuje něco, co API neposkytuje: kontrolu, soukromí, vlastní úpravy modelu, velmi vysoké stabilní vytížení nebo úplnou nezávislost na externím poskytovateli.
Kdo tedy může Le Chonk skutečně používat?
Prakticky lze uživatele rozdělit do několika skupin.
Typ uživatele
Reálná cesta
Orientační náklady
běžný uživatel, vývojář
Mistral API
koruny až tisíce Kč podle spotřeby
experimentátor, výzkumník
výkonný 512GB Mac, 2bitová kvantizace
vyšší stovky tisíc Kč podle konfigurace
firma se specializovaným lokálním provozem
několik RTX PRO 6000
přibližně 2 mil. Kč a více
velká organizace požadující FP8
8× H200 nebo obdobný server
přibližně 10 mil. Kč a více
poskytovatel rozsáhlé AI infrastruktury
datacentrový cluster
desítky milionů Kč a výše
Pro běžného programátora je nejjednodušší API. Pro výzkumníka může být zajímavé stáhnout kvantizovanou verzi. Pro banku nebo státní instituci může být rozhodující možnost provozovat model ve vlastním prostředí. A pro firmu, která chce model výrazně upravovat, jsou zveřejněné váhy podstatně důležitější než samotný přístup přes API.
Otevřené váhy nejsou totéž jako dostupný osobní model
Mistral tak udělal dvě věci současně.
Na jedné straně skutečně zpřístupnil jeden z největších současných evropských modelů tak, že jeho natrénované parametry může kdokoli stáhnout, studovat, upravovat a provozovat na vlastní infrastruktuře v mezích licence.
Na druhé straně rozměry modelu ukazují, jak relativní může být pojem „otevřený“.
Nejmenší silně kvantizovaná varianta má kolem 300 GB. Kvalitnější varianty potřebují přes půl terabajtu a původní model kolem jednoho terabajtu paměti jen pro samotné váhy. K tomu přistupuje další paměť potřebná při provozu.
Plnohodnotná serverová konfigurace proto stojí miliony až desítky milionů korun.
Zveřejnění Le Chonku tedy neznamená, že se bilionový frontierový model stává běžným domácím softwarem.
Znamená něco jiného: Organizace, která má dostatečnou infrastrukturu, už nemusí Mistralu posílat vlastní data a platit mu za každý požadavek. Může mít samotný model u sebe, provozovat ho sama a přizpůsobit ho vlastním potřebám.
Pro běžného uživatele je nejpraktičtější API. Pro firmy a instituce, kterým záleží na kontrole nad daty a vlastní AI infrastruktuře, je ale právě možnost stáhnout váhy nejdůležitější částí celé zprávy.
Autor provozuje AI web https://tahakomat.cz
Technické údaje a rešeršní informace k textu vznikly na základě údajů získaných od AI.
