Hlavní obsah

Kompresní zlom: Jak nápad jednoho vývojáře změnil každý pevný disk na světě

Jistě! Tady je reálně vystavěný sci-fi příběh, založený na skutečných technologiích a možnostech, které dnes existují (H.264/H.265/AV1, hw encoding/decoding, SSD/HDD, AI asistenti a GPU výpočty):

Článek

Rok 2028

Už několik let se datový svět dusil pod náporem videa. Domácí kamery snímaly ve 4K i 8K, herní nahrávky rostly stovkami GB denně a umělá inteligence generovala desítky milionů videí týdně. Cloudy, disky, pásky – všechno se plnilo. Lidé začali vybírat mezi kvalitou a kapacitou.

Přitom řešení bylo celé roky přímo před očima.

Jeden e-mail

V kanceláři středně velké firmy v Litvě seděl vývojář jménem Karel Dobeš. Pracoval na analýze videa pro bezpečnostní systémy a frustrovala ho jedna věc: obrovské množství dat. Každý den museli ukládat až 30 TB záznamu. Přitom většina byla téměř statická – prázdné chodby, prázdné parkoviště, stejné obrazy. Jenže kvůli forenzní hodnotě nesměli používat ztrátovou kompresi jako běžný H.264.

Jednoho dne ho napadlo:
„Co kdybychom ukládali i běžné soubory do videokontejneru? Co kdybychom prostě uložili data jako video stream, komprimovaný v reálném čase, přímo při zápisu na disk?“

Zkusil to. Vzal běžný zip archiv, rozřezal ho na 8×8 bloky jako video, a napasoval je na H.264 encoder pomocí GPU. Výsledek? 60% úspora. Náhodné čtení bylo složitější, ale při sekvenčním přístupu to fungovalo jako zázrak.

Napsal o tom návrh a poslal ho otevřeně společnosti NeuroSoft – tehdy jedné z mála firem, které veřejně používaly síť inteligentních AI botů jako součást vývoje.

DevBoti v akci

Návrh padl do rukou autonomního týmu NeuroBot Collective, AI vývojářů s přístupem k nejmodernějším vývojovým prostředím a grafickým farmám. Do 12 minut po doručení návrhu:

  • rozebraly návrh,
  • vytvořily C++ knihovnu pro konverzi libovolného datového proudu do video streamu (s metadata mapováním pro zpětné dekódování),
  • vytvořily první verzi firmware pro KODEX-0, čip simulovaný na běžné NVIDIA grafické kartě.

První test: 5TB složka mixu dokumentů, videí, textu a zdrojových kódů.
Výsledek: po zápisu na disk skrze KODEX knihovnu se vešla na 1.2 TB.
A co víc – díky tomu, že každá moderní grafická karta má integrovaný H.264/H.265/AV1 hardware encoder i decoder, přehrání a čtení bylo téměř okamžité.

Integrace do disků

NeuroSoft navrhl dedikovaný kompresní čip, který uměl:

  • hardwarově převádět klasické binární soubory do formátu vhodného pro video enkodér (např. přes mapping do frame-like bloků),
  • ukládat tato data do AV1 (open-source) streamu s možností ztrátového nebo bezeztrátového režimu,
  • automaticky dekódovat obsah při čtení, bez zásahu OS nebo CPU.

Tento čip, pojmenovaný KODEX-AV1, byl licencován zdarma. Byl malý, levný a pasivně chlazený. První implementace v HDD firmwaru trvala pár měsíců.

V roce 2029 byl každý nový pevný disk prodáván se štítkem:

„Hardware Compression Enabled – Powered by KODEX“

A jak to fungovalo?

  • Když jste zapisovali soubor na disk, čip jej automaticky převedl na komprimovaný blokový video stream.
  • Když jste jej chtěli číst, HDD použil dekodér (H.264/H.265 nebo AV1, podle režimu).
  • Operační systém o ničem nevěděl. Pro něj se soubory jevily jako normální – jenže byly několikanásobně menší.

Důsledky pro svět

  • Datacentra ušetřila 65–80 % místa na videoarchivy a zálohy.
  • Domácí uživatelé mohli nahrát 20× více záznamů z kamer na obyčejný disk.
  • Vývojáři dostali otevřené API, přes které mohli specifikovat úroveň komprese, případně vynutit bezeztrátové uložení.
  • Regulace v EU i USA uznaly KODEX jako kompatibilní s digitálním uchováním důkazního materiálu.

A Karel?
Ten dál pracoval ve své firmě, občas se pousmál, když otevřel disassembler a uviděl kód, který kdysi v noci napsal.
Odmítl jakékoli patenty. Jeho nápad měl patřit světu.

Dodnes běží většina uložených dat v pozadí přes KODEX protokol.
A málokdo ví, že to celé začalo jedním e-mailem a GPU, která si myslela, že komprimuje video – ale ukládala svět.

Chceš k tomu i technický whitepaper, třeba jak by ten čip fungoval na úrovni blokové struktury, bufferování nebo návrhu firmware?

Máte na tohle téma jiný názor? Napište o něm vlastní článek.

Texty jsou tvořeny uživateli a nepodléhají procesu korektury. Pokud najdete chybu nebo nepřesnost, prosíme, pošlete nám ji na medium.chyby@firma.seznam.cz.

Sdílejte s lidmi své příběhy

Stačí mít účet na Seznamu a můžete začít psát. Ty nejlepší články se mohou zobrazit i na hlavní stránce Seznam.cz