Povinné označování AI obsahu může mít zásadní nežádoucí efekt

Požadavek na radikální transparentnost a povinné označování syntetického obsahu nevznikl v akademickém či úřednickém vakuu. Představuje nutnou reakci na situace, kdy obsah generovaný nástroji umělé inteligence se zničující lehkostí překonává lidské i technologické bezpečnostní perimetry. Krystalickým příkladem z korporátní sféry je útok na pobočku společnosti Arup v Hongkongu. Běžný finanční pracovník zde převedl 25 milionů dolarů poté, co se zúčastnil videokonference, na níž mu příkazy udílel údajný finanční ředitel a další kolegové. Ve skutečnosti však na druhé straně obrazovky neseděli reální lidé, nýbrž jejich dokonalé klony vygenerované umělou inteligencí. Útočníci tak nepotřebovali prolamovat hesla ani hledat chyby v softwaru; pomocí vizuální iluze zacílili přímo na lidský instinkt a vnitropodnikovou důvěru k autoritě.

Tato fundamentální asymetrie hrozby – kdy je vygenerování přesvědčivé lži otázkou pár minut, zatímco její vyvrácení vyžaduje ohromné technologické i lidské kapacity – dopadá s děsivou měrou na ty nejzranitelnější. Podle studie organizací UNICEF a INTERPOL uvedlo více než 1,2 milionu dětí, že jejich fotografie byly zmanipulovány do podoby sexuálně explicitních deepfakes. Organizace Internet Watch Foundation zaznamenala v roce 2025 nárůst AI generovaných materiálů se sexuálním zneužíváním dětí v řádech desetitisíců procent. Konkrétním varováním je incident z Velké Británie, kde kyberzločinci vydírali střední školu pomocí 150 vysoce realistických explicitních obrázků studentek, jež vytvořili prostým stažením obyčejných portrétů ze školního webu a jejich prohnáním přes nástroje založené na generativní umělé inteligenci.

Hrozba se ovšem nezastavuje u jednotlivců a lokálních firem; plynule přetéká do základů států a globální ekonomiky. Zahrnuje zásahy do volebních procesů, jakým bylo třeba strategické vypuštění falešné zvukové nahrávky pouhé dva dny před otevřením volebních místností na Slovensku. Zahrnuje také bleskovou destabilizaci finančních trhů, což naplno ukázal moment, kdy jediná uměle vygenerovaná fotografie exploze ve Washingtonu způsobila okamžitý propad amerického akciového indexu a momentální ztrátu stovek miliard dolarů. Všechny tyto jmenované případy naprosto jasně ukazují, proč Evropa musela konat.

Základním nástrojem evropské obrany je Akt o umělé inteligenci (EU AI Act). Ten nezakazuje samotný vývoj technologií, ale pomocí článku 50 přesouvá odpovědnost na konkrétní aktéry v informačním řetězci. Zatímco vývojáři (Poskytovatelé) musí do modelů ukrýt neviditelná metadata, odpovědnost za to, co vidí koncový čtenář, nese Provozovatel (Deployer).

Je důležité pochopit, kdo tímto Provozovatelem je. Není jím sociální síť, která obsah pouze přenáší. Provozovatelem je ten, kdo generátor využije k ovlivnění veřejného prostoru. Plná odpovědnost – a s ní spojená hrozba pokuty sahající k 15 milionům eur nebo 3 % globálního obratu u velkých subjeků – tak dopadá na politické strany, mediální domy, reklamní agentury, ale i na influencery budující svou profesionální online značku. Ačkoli legislativa obsahuje úzkou výjimku pro čistě soukromé užití, jakmile běžný občan vytvoří deepfake s cílem zasáhnout do veřejné debaty, stává se z pohledu zákona plnohodnotným Provozovatelem. Ten má podle povinnost nejen využívat generovaný obsah s implementovanými ochrannými prvky, ale také jasně označit takový obsah i na úrovni popisu. Naopak u žurnalistiky platí logická úleva: pokud novinář použije AI pouze jako rešeršní nástroj a nad textem převezme plnou lidskou redakční kontrolu, povinnost vizuálního varování odpadá.

Evropská legislativa také respektuje svobodu umělecké tvorby a právo na satiru. Pokud je syntetický obsah prokazatelnou součástí zjevně uměleckého, kreativního, satirického, fiktivního nebo obdobného díla, neuplatňuje se na něj plošná povinnost křiklavého varovného štítku. Povinnost transparentnosti v těchto případech zůstává, avšak je redukována na méně intruzivní formu. Tvůrce musí existenci umělé inteligence přiznat takovým způsobem, který nenarušuje zobrazení díla nebo zážitek z něj (například v závěrečných titulcích nebo v doprovodném textu k výstavě). Hranice mezi tím, co je škodlivý deepfake a co je legitimní satira, však bude nepochybně předmětem složitých soudních sporů a výkladové judikatury.

Vraťme se však k povinnosti označování generovaného obsahu pomocí ochranných prvků. K vynucení tohoto systému využívá Unie takzvaný Bruselský efekt. Legitimní subjekty operující v evropském digitálním prostoru nebudou riskovat likvidační sankce; raději dobrovolně omezí svůj produkční proces na certifikované, komerční AI ekosystémy. Tyto systémy se snaží legislativní požadavky plnit pomocí dvouvrstvé technologické obrany. U obrazu a zvuku tvoří první vrstvu kryptografická metadata (standard C2PA), fungující jako průkaz původu. Ta jsou však extrémně křehká. lze je beze stopy odstranit běžným pořízením snímku obrazovky nebo často pouhým nahráním na sociální síť, která při kompresi tato data odstraní. Roli záložního mechanismu proto plní neviditelné digitální vodoznaky zapletené přímo do pixelů. U prostého textu je však obrana mimořádně zranitelná. Algoritmy se spoléhají na tzv. statistické vodoznaky(model je nucen preferovat určitá slova, čímž vzniká latentní matematický vzorec). Stačí ovšem, aby útočník text mírně parafrázoval, a tato stopa se zcela rozpadne.

Popsaná kombinace technologické křehkosti a přísné tržní regulace odhalují znepokojivou propast ve vymahatelnosti práva. Zákon sice formálně platí i pro anonymní tvůrce dezinformací a zahraniční trollí farmy, ti jsou však v kybernetickém prostoru fakticky nedotknutelní. Legitimní scéna tak bude poslušně štítkovat každý svůj článek, zprávu či post, zatímco kyberzločinci tento regulovaný trh komerčních aplikací zcela opustí. Přesunou se do stínů volně dostupných, otevřených (open-source) modelů. Pomocí metod jemného ladění (tzv. fine-tuningu na čistých datech) dokážou tito aktéři během pouhých několika hodin systém „odnaučit“ vkládat ochranné statistické i digitální vodoznaky. Tím z nich nenávratně vymažou veškeré bezpečnostní bariéry a vytvoří si vlastní nedotknutelnou infrastrukturu pro masovou produkci forenzně čistých lží.

Na průsečíku těchto technologicko-legislativních trhlin a lidské psychologie spočívá nezamýšlená, avšak kritická past celé regulace. Ambice plošně označovat syntetický obsah staví na naději, že výstražný štítek probudí ostražitost. Tento cíl se sice u označených zpráv daří plnit, ukazuje se však jako dvousečná zbraň. Kognitivní vědy varují před tím, co se odehrává v psychologickém stínu celého mechanismu.

Pokud instituce a platformy převezmou paternalistickou odpovědnost za systematické varování, průměrný uživatel logicky adaptuje své chování. Tj. svou intelektuální ostražitost deleguje na tento systém. V behaviorální psychologii se tomuto mechanismu říká efekt implikované pravdy. Detailní experimentální studie z MIT či Hertie School exaktně dokazují, že lidé sice pod vlivem varovných štítků správně devalvují důvěryhodnost označeného obsahu, ovšem jejich důvěra v lživé materiály, kterým varování chybí, statisticky významně stoupá. Mozek si absenci štítku (zapříčiněnou tím, že útočník například použil „vypraný“ open-source model bez vodoznaku) podvědomě racionalizuje jako garanci nezpochybnitelné lidské autenticity.

Unijní snaha chránit integritu digitálního prostoru prostřednictvím Aktu o AI je opodstatněná. Přináší s sebou však nevyhnutelný paradox. Plošné zavádění štítků a digitálních vodoznaků nevytváří automaticky odolnější společnost, nýbrž buduje zrádnou kognitivní iluzi. Zločincům, kteří legislativně nařízené technologické překážky z podstaty věci obcházejí, se otevírají dveře k publiku, jež vypne svůj kritický filtr v přesvědčení, že neoznačené rovná se pravdivé.

Z této pasti falešné bezpečnosti existuje jediná smysluplná cesta. Regulace a algoritmické detektory musí fungovat pouze jako podpůrná, nikoliv hlavní obranná linie. Těžiště obrany se musí urychleně přesunout k radikální transformaci vzdělávacího systému. Informatika v celé své šíři – vyžadující důsledné pochopení principů fungování a trhlin umělé inteligence – se musí organicky protnout s do hloubky pojatou mediální výchovou. Schopnost analyticky rozebrat persvazivní záměr v textu a schopnost kontextuálního uvažování nad původem informace se musí stát elementární celospolečenskou kompetencí. Pokud totiž legislativa dokonale sešněruje pouze legitimní část digitálního ekosystému, ale společnost rezignuje na pěstování skeptické lidské mysli, zbavíme se naší jediné skutečně funkční zbraně – přirozené schopnosti pochybovat.

$25 Million Deepfake Scam: The Ultimate Con? - Trustpair, https://trustpair.com/blog/25-million-deepfake-scam-the-ultimate-con/

Incident 634: Alleged Deepfake CFO Scam Reportedly Costs Multinational Engineering Firm Arup $25 Million, https://incidentdatabase.ai/cite/634/

Arup deepfake CFO scam: Finance worker loses $25m | Eftsure US, https://www.eftsure.com/blog/cyber-crime/finance-worker-loses-39-million-to-deepfake/

AI Deepfake Fraud: The Growing Cybersecurity Threat - TeKnowledge, https://teknowledge.com/insights/ai-deepfake-fraud-cybersecurity-eu-ai-act/

Deepfake CFO Video Calls Result in $25MM in Damages | Trend Micro (US)Beyond the deepfake hype: AI, democracy, and „the Slovak case“, https://misinforeview.hks.harvard.edu/article/beyond-the-deepfake-hype-ai-democracy-and-the-slovak-case/

Impact of Artificial Intelligence–Generated Content Labels On Perceived Accuracy, Message Credibility, and Sharing Intentions for Misinformation: Web-Based, Randomized, Controlled Experiment - PMC, https://pmc.ncbi.nlm.nih.gov/articles/PMC11892328/

Partnership on AI & First Draft Begin Investigating Labels for Manipulated Media, https://partnershiponai.org/partnership-on-ai-first-draft-begin-investigating-labels-for-manipulated-media/

Fact-checker warning labels are effective even for those who distrust fact-checkers, https://www.semanticscholar.org/paper/Fact-checker-warning-labels-are-effective-even-for-Martel-Rand/b82bf41e72f252adcb78ada924cf743916168815

Beliefs and sharing intentions of human- and AI-generated fake news: Evidence from 27 European countries - PMC, https://pmc.ncbi.nlm.nih.gov/articles/PMC12964124/

Article 50: Transparency Obligations for Providers and Deployers of Certain AI Systems | EU Artificial Intelligence Act, https://artificialintelligenceact.eu/article/50/

AI Act transparency obligations from 2 August | Bratby Law, https://bratby.law/ai-act-transparency-obligations-2026/

AI-generated Child Pornography Deepfake Litigation - Lieff Cabraser, https://www.lieffcabraser.com/ai-deepfakes/

Deepfake sextortion forces schools to remove student photos from websites - Malwarebytes, https://www.malwarebytes.com/blog/family-and-parenting/2026/05/deepfake-sextortion-forces-schools-to-remove-student-photos-from-websites

Deepfake abuse is abuse - Unicef, https://www.unicef.org/laos/press-releases/deepfake-abuse-abuse

CritiSense: Critical Digital Literacy and Resilience Against Misinformation - arXiv, https://arxiv.org/html/2603.16672v1

Platform-generated misinformation warning labels during disasters - School of Journalism and Communication, CUHK, https://www.com.cuhk.edu.hk/publication/sora-journal-2025-platform.pdf

People are skeptical of headlines labeled as AI-generated, even if true or human-made, because they assume full AI automation | PNAS Nexus | Oxford Academic, https://academic.oup.com/pnasnexus/article/3/10/pgae403/7795946