AI jako masový nástroj pro sexuální násilí

Škála problému

Podle auditu (Daffalla, Chao a Zeng 2026) umožnilo 109 ze 155 testovaných aplikací na „výměnu obličejů“ (face swapping) vytvořit nekonsensuální deepfake sexuální obsah, tedy 70 % testovaných aplikací. V Apple App Store to bylo 80 % aplikací, v Google Play 59 %.

Výzkumný tým z Oxfordské univerzity identifikoval téměř 35 000 veřejně stažitelných variant modelů pro tvorbu deepfake obsahu, které od listopadu 2022 zaznamenaly téměř 15 milionů stažení. Podle analýzy 2 000 z těchto modelů jich 96 % cílilo na ženy (Hawkins, Russell a Mittelstadt 2025).

Rychle roste také dětský sexuální obsah vytvořený umělou inteligencí. Organizace Internet Watch Foundation (IWF) posoudila v roce 2025 celkem 3 443 AI videí zobrazujících sexuální zneužívání dětí, kdežto v roce 2024 jich bylo jen 13 (IWF 2026a). Děti to samy hlásí: britská linka Report Remove dostala v prvních šesti měsících roku 2026 celkem 420 hlášení o snímcích, které podle dětí byly zfalšované, zatímco za celý rok 2025 jich bylo 397 (IWF 2026b). Hlášení sexuálního násilí je přitom už tak nízké a u AI generovaného sexualizovaného obsahu dětí bude poměr nahlášených případů nejspíš ještě nižší.

Proč je Grok jiný

Výše zmíněné nástroje vyžadují, aby je útočníci sami vyhledali. Grok funguje přímo na X, která podle vlastních údajů má 600 milionů aktivních uživatelů měsíčně, přičemž nezávislí analytici odhadují zhruba 388 milionů uživatelů. Mnozí z nich na ní běžně zveřejňují svoje fotky.

Elon Musk dokončil koupi Twitteru 27. října 2022 za zhruba 44 miliard dolarů, a v červenci 2023 jej přejmenoval na X. Dnes je podle Forbesu nejbohatším člověkem světa. Grok, který na X mimo jiné slouží k ověřování tvrzení uživatelů, se v červenci 2025 po aktualizaci sáme sebe začal označoval za „Mecha Hitlera“.

To stejné léto přišla aktualizace Grok Imagine, která přidala tzv. „spicy mode“ (pikantního režimu). xAI navíc umožnila uživatelům posílat přímo fotky existujících lidí a zadávat pokyny k jejich digitálnímu svlékání či úpravám („undress“ funkce). Grok se tak stal nástrojem pro přímé sexuální obtěžování konkrétních profilů na X.

Podle analýzy Genevieve Oh, citovanou Bloomberg, Grok na X vytvářel při 24hodinovém sledování 5.–6. ledna zhruba 6 700 sexuálních obrázků za hodinu, zatímco pět dalších předních webů s takovým obsahem dosahovalo dohromady v průměru 79 obrázků za hodinu (Bloomberg 2026). Podle odhadu CCDH ze vzorku 20 000 obrázků z 4,6 milionu obrázků, které Grok vytvořil, mezi 29. prosincem a 9. lednem vzniklo přibližně 3 miliony sexualizovaných obrázků, tedy zhruba 11 000 za hodinu. Z toho přibližně 23 000 obrázků zobrazuje děti - jeden každých 41 sekund. (CCDH 2026).

Reakce firmy

Společnost xAI čelí ostré kritice. Kalifornský generální prokurátor Rob Bonta oznámil 14. ledna 2026 vyšetřování xAI a o dva dny později jí poslal výzvu k okamžitému zastavení nezákonné činnosti (Bonta 2026;). Na dotazy médií týkající se nekonsensuálního sexuálního obsahu xAI odpovídala automatickou zprávou „Legacy Media Lies“ („Tradiční média lžou“) (Reuters 2026).

Kritika nepřestala a xAI bylo donuceno jednat. Její řešení?

Zpoplatnit ho.

xAi, místo toho, aby tenhle problém jakkoliv řešila, rozhodla se na něm profitovat. Za necelé dvě stovky měsíčně tedy můžete generovat, kolik nekonsensuálního materiálu budete chtít - jen aby nejbohatší muž na světě byl ještě ještě o trošku bohatší.

Právní rámec

Oběti potřebují silný právní rámec, který jim pomůže situaci řešit.

V USA zákon „The Take It Down Act“ ukládá platformám povinnost odstranit intimní snímky pořízené bez souhlasu do 48 hodin od podání platné žádosti. Federální obchodní komise (FTC) ho začala vymáhat 19. května 2026 a za každé porušení hrozí civilní pokuty až do výše 53 088 dolarů.

V EU Evropská komise 11. března potvrdila, že stávající právo nezakazuje systémy schopné generovat sexuální deepfaky nebo materiál zobrazující sexuální zneužívání dětí (CSAM). Pozměňující nařízení vstoupilo v platnost 27. července a zákaz platí od 2. prosince 2026.

V Česku je od 1. ledna 2026 v trestním zákoníku nový trestný čin „zneužití identity k výrobě pornografie a jejímu šíření“.

Co dělat dál

Nekonsensuálních deepfaků se nejspíš nikdy úplně nezbavíme. Bez toho, abychom sklouzli do obviňování obětí, je přesto potřeba informovat, jak se takovým situacím vyhnout. Vinu ale nese ten, kdo obrázek vytvoří a šíří, a firma, která nástroj vypustila. U případu Grok žádné chování obětí nemohlo škodě zabránit: CCDH uvádí, že Grok sexualizoval fotky skutečných lidí, včetně veřejných osobností. Stačila fotka, která už existovala online.

Musíme po zákonodárcích požadovat efektivní a povinné guardrails u LLMs, odstranit nudify aplikace z obchodů a rychle stahovat jejich obsah. K tomu patří i vzdělávání o souhlasu, jasné sdělení, že samotné vytvoření takového obrázku škodí a v řadě zemí je trestné, a důraz na roli svědků, kteří obrázky sdílejí dál.

Literatura