Co se z titulků ztratilo: Šéf Anthropicu skutečně píše o bezpečnosti, ale i Číně a kontrole vývoje

To je ale jen částečná interpretace. Celá Amodeiho esej je totiž daleko zajímavější. (Celý text najdete v originále zde: Dario Amodei)

Kromě jiného chce šéf jedné z nejmocnějších AI firem světa chce pustit cizí kontrolory přímo do vlastní firmy. Dostali by kartu, notebook, přístup k lidem a některým interním systémům — a právo zveřejnit i to, co se Anthropicu nebude líbit.

Amodeiho text je ve skutečnosti pokusem popsat, jak by mělo zpomalení vypadat, podle čeho by se mělo řídit a co by se mělo během získaného času dělat. Nevolá po zastavení vývoje ani po moratoriu. Navrhuje spíš spojit další růst schopností AI s konkrétními bezpečnostními podmínkami a zavést nezávislou kontrolu přímo uvnitř firem, které nejpokročilejší modely vyvíjejí. (Dario Amodei)

Amodei nezačíná varováním, ale velmi silnou obhajobou umělé inteligence. Očekává, že by během pěti až deseti let mohla pomoci léčit většinu závažných nemocí, urychlit ekonomický růst a výrazně zvýšit kvalitu života.

Jeho problém tedy není v samotném rozvoji AI. Naopak. Tvrdí, že by bylo chybou její potenciál nevyužít. Současně ale podle něj vzniká stále větší rozdíl mezi tím, co systémy dokážou, a tím, jak dobře je dokážeme chápat a kontrolovat. (Dario Amodei)

Klíčové slovo celé eseje je pacing. Nejlépe se dá přeložit jako řízení nebo regulace tempa.

Amodei výslovně píše, že tím nemyslí zastavení trénování modelů ani konec technologického pokroku. Chce, aby firmy měly dost času na alignment, zabezpečení a nezávislé ověření toho, že nové schopnosti modelů nepředbíhají bezpečnostní mechanismy. (Dario Amodei)

Jeho základní princip by se dal shrnout jednoduše:

Schopnosti AI by neměly růst rychleji než schopnost ověřit, že je dokážeme bezpečně řídit.

První je podle Amodeie rostoucí schopnost AI pomáhat při vývoji další AI. Tento proces označuje jako recursive self-improvement, tedy rekurzivní sebezdokonalování. Neříká, že už existuje autonomní systém, který se sám nekontrolovaně zdokonaluje. Tvrdí však, že modely stále více urychlují práci na další generaci modelů, a tím mohou zvyšovat celkové tempo pokroku. (Dario Amodei)

Druhým důvodem je incident OpenAI–Hugging Face. Amodei jej interpretuje jako varování, že agentní systémy mohou při dostatečné autonomii překračovat zamýšlené hranice a spolupracovat způsoby, které jejich tvůrci nepředpokládali. Zároveň upozorňuje, že podobné, byť méně závažné incidenty zaznamenal i Anthropic. (Dario Amodei)

Tady je důležité oddělit fakt od jeho odhadu. Incident skutečně nastal. Amodeiho představa, že podobný systém s vyššími schopnostmi by mohl v horizontu měsíců způsobit škody v řádu stovek miliard dolarů, je už jeho scénář rizika, nikoli doložená prognóza. (Dario Amodei)

Amodei připomíná, že ještě v roce 2023 mu návrhy na zpomalení AI příliš smysl nedávaly. Tehdejší modely podle něj neuměly dostatečně dlouhodobě jednat ve světě, provádět významné kybernetické operace nebo sofistikovaně obcházet omezení.

Dnes je situace jiná. Současné modely už podle něj vytvářejí dostatek reálných incidentů a neobvyklého chování, aby bylo možné jejich bezpečnost skutečně studovat.

Pokud by zpomalení získalo jeden až dva roky, měly by podle něj firmy tento čas využít především ke zlepšení provozní bezpečnosti, alignmentu, interpretovatelnosti a testování modelů. (Dario Amodei)

Jedna z nejzajímavějších pasáží eseje je zároveň jedna z nejméně dramatických.

Amodei píše, že mnoho problémů nevzniká kvůli neznámé teorii nebo záhadným vlastnostem AI, ale jednoduše proto, že trénování frontier modelů je mimořádně komplikovaný technický a organizační proces. Podílí se na něm tisíce lidí, miliony čipů a velmi složitá infrastruktura. (Dario Amodei)

Jako příklad zmiňuje nedávné alignment incidenty Anthropicu, kde část problému souvisela s nedokonalým filtrováním chybných reinforcement-learningových prostředí.

Jeho pointa: i velmi schopné týmy mohou při extrémně rychlém vývoji přehlížet věci, které by při pomalejším tempu dokázaly lépe kontrolovat.

Alignment zde znamená snahu trénovat modely tak, aby zůstávaly bezpečné, dodržovaly pravidla a nepřestávaly sledovat zamýšlené cíle.

Amodei uznává pokrok, ale připouští, že se stále objevují vzácné a neočekávané příklady nežádoucího chování. Získaný čas by podle něj měl sloužit k hledání společných příčin těchto incidentů a k vývoji metod, které jim budou předcházet. (Dario Amodei)

Velkou roli přisuzuje interpretability, tedy metodám, které se snaží zjistit, co se uvnitř modelu děje.

Přirovnává je k jakémusi „fMRI mozku AI“. Takové metody už Anthropic používá například při zkoumání motivací, které model výslovně nepopsal ve svých odpovědích.

Současně ale Amodei přiznává, že dnešní interpretovatelnost je stále omezená. Výzkumníci podle něj rozumějí jen malé části procesů uvnitř modelů. Přesto věří, že soustředěná práce během jednoho až dvou let by mohla přinést výrazný pokrok. (Dario Amodei)

Dalším problémem jsou samotné evaluace.

Amodei upozorňuje, že inteligentnější model může lépe rozpoznat, že je testován, nebo se naučit test obejít. Výsledek může vypadat bezpečněji, než jaký systém ve skutečnosti je.

Proto nechce spoléhat na jeden bezpečnostní benchmark. Navrhuje kombinovat více typů testů s interpretability metodami a s kontrolou samotného tréninkového procesu. (Dario Amodei)

Nejkonkrétnější část celé eseje se týká takzvaných embedded evaluators.

Anthropic se podle Amodeie chystá umožnit externím hodnotitelům dlouhodobý přístup podobný interním bezpečnostním zaměstnancům. Nešlo by tedy o jednorázový audit po dokončení modelu.

Externí tým by měl dostat kancelářská místa, vstupní karty, firemní notebooky a přístup k relevantním interním nástrojům, pracovním prostorům a zaměstnancům. (Dario Amodei)

Ještě důležitější je publikační právo.

Hodnotitelé by podle návrhu mohli zveřejňovat zásadní zjištění o rizicích, incidentech a bezpečnostních postupech bez redakční kontroly Anthropicu. Firma by mohla odstranit například bezpečnostně citlivé informace, právně chráněný obsah nebo důvěrná data třetích stran, ale neměla by právo zamlčet závěr pouze proto, že je pro ni nepříjemný. (Dario Amodei)

Amodei připodobňuje tento model k finančnímu sektoru, kde mohou regulátoři dlouhodobě působit uvnitř bank.

To už není pouze deklarace „bereme bezpečnost vážně“. Je to návrh na změnu kontroly samotných AI firem.

Amodei nechce stanovovat jednoduché pravidlo typu „nový model nejdříve za šest měsíců“.

Preferuje checkpointy založené na schopnostech.

Princip by mohl vypadat například takto:

pokud systém dosáhne schopnosti X, musí existovat důkazy, že splňuje bezpečnostní vlastnosti Y a Z.

Jako příklad uvádí model, který dokáže uniknout nebo překonat většinu běžných sandboxů. Takový systém by podle něj neměl pokračovat k vyšší úrovni schopností bez dostatečných důkazů, že nemá tendenci z prostředí unikat a přebírat kontrolu nad velkým množstvím počítačů. (Dario Amodei)

To je možná nejpřesnější popis celé jeho myšlenky:

Ne pevná rychlost vývoje, ale vazba mezi schopnostmi a bezpečností.

Amodei považuje za nejlepší řešení regulaci vztahující se na všechny americké frontier AI firmy.

Podporuje zejména pravidla založená na transparentnosti, externích auditech a bezpečnostních standardech. Protože legislativa postupuje pomaleji než vývoj AI, navrhuje mezitím také dobrovolnou koordinaci mezi firmami.

Spojené státy by podle něj měly takovou koordinaci umožnit nebo zprostředkovat, protože jinak může narážet na antimonopolní pravidla. (Dario Amodei)

Tady esej přestává být pouze debatou o bezpečnosti a stává se geopolitickým textem.

Amodei tvrdí, že demokratické země nemohou vývoj zpomalovat libovolně. Pokud by Spojené státy zabrzdily výrazně více než Čína, mohly by čínské projekty získat technologický náskok.

Proto spojuje pacing s opatřeními, která mají naopak zpomalení Číny zajistit.

Navrhuje mimo jiné:

Podle Amodeie by tato opatření mohla během tří až pěti let zvětšit americký náskok natolik, aby demokratické státy získaly větší prostor pro bezpečnější tempo vývoje.

To je ovšem už výrazně politická část jeho argumentace.

Amodei připouští, že globální koordinace bude mnohem obtížnější než dohoda mezi americkými firmami.

Rozlišuje čtyři možné úrovně.

První by zahrnovala zákaz úzce vymezených nebezpečných použití AI, například při výrobě biologických zbraní.

Druhou by byly společné bezpečnostní testy modelů před jejich nasazením.

Třetí možností by byl jakýsi rychlostní limit pro rekurzivní sebezdokonalování AI. Přirovnává jej ke smlouvám SALT, které během studené války omezovaly počet strategických raket, aniž by odstranily celý vojenský arzenál. (Dario Amodei)

Čtvrtou a nejméně pravděpodobnou variantou by byla skutečná globální pauza nebo výrazné omezení celkového tempa vývoje AI.

Sám připouští, že právě tato poslední možnost je v dohledné době málo realistická.

Dario Amodei ve skutečnosti nenavrhuje jednoduše „sešlápnout brzdu“. Jeho argument je jiný.

Umělá inteligence podle něj může přinést mimořádný prospěch a vývoj má pokračovat. Jenže schopnosti systémů začínají růst tak rychle, že bezpečnostní výzkum, provozní kontrola a schopnost samotné modely pochopit nemusí jejich tempu stačit.

Proto chce část rychlosti vyměnit za čas.

Čas na lepší testování. Čas na hledání příčin nežádoucího chování. Čas na interpretability. Čas na provozní disciplínu. A také čas na to, aby systém nekontrolovaly jen samotné firmy, které jej vyvíjejí.

Jeho největší praktický návrh proto není moratorium, ale nezávislí hodnotitelé přímo uvnitř laboratoří a checkpointy, podle nichž se další růst schopností povolí až tehdy, když je doložena odpovídající úroveň bezpečnosti.

Současně ale Amodei odmítá představu, že by Spojené státy mohly bezpečnostní zpomalení provést bez ohledu na geopolitiku. Jeho návrh počítá s tím, že demokratické státy budou zároveň omezovat přístup Číny k nejvýkonnějším čipům, modelům a výpočetní infrastruktuře.

Proto je jeho esej současně textem o bezpečnosti AI, technickém řízení, regulaci i geopolitice.

A právě to se z jednoduché zpravodajské věty „šéf Anthropicu chce zpomalit AI“ téměř úplně vytratí.

Celou esej zveřejnil Dario Amodei pod názvem We Must Pace the Frontier:

Dario Amodei — We Must Pace the Frontier

Text je v angličtině. Pokud anglicky nečtete, můžete dnes celý webový text nebo jeho jednotlivé pasáže vložit do ChatGPT, Claude, Mistralu či jiného AI asistenta a požádat o překlad do češtiny. U pasáží, na jejichž přesném významu záleží, je rozumné porovnat překlad s původním zněním.

Agenturní zpracování udělalo to, co má zpráva obvykle dělat: vytáhlo nový a snadno sdělitelný fakt — šéf jedné z nejvýznamnějších AI firem veřejně žádá zpomalení frontier AI.

Po přečtení originálu ale vychází jeho postoj přesněji:

Amodei nechce zpomalovat AI proto, aby se vyvíjela méně. Chce ji zpomalit natolik, aby bezpečnost dokázala držet krok s jejími schopnostmi.

A to je podstatně jiná teze.

Ještě důležitější je, že nabízí konkrétní mechanismus, podle něhož by se to mělo posuzovat: ne podle kalendáře, ale podle schopností modelů a důkazů o jejich bezpečnosti.

Právě proto má u podobných témat cenu přečíst původní dokument. Zpráva odpovídá především na otázku co se stalo dnes. Originál často odpovídá na mnohem zajímavější otázku:

Co tím autor skutečně myslí? (Dario Amodei)

Autor článku provozuje AI web https://tahakomat.cz