Článek
Některým nástrojům může k přesvědčivé imitaci hlasu stačit krátký vzorek. Pět sekund ale není univerzální práh. U plateb je bezpečnější ověření druhým kanálem než spoléhání na sluch.
Známý hlas v telefonu už není spolehlivým důkazem identity. Syntetická nahrávka může znít věrně, zatímco detektor úspěšný na laboratorních souborech selže po průchodu telefonním kodekem. Obrana proto musí pracovat s procesem platby a druhým ověřovacím kanálem, ne jen se sluchem.
Ředitel chce detektor, IT navrhuje zákaz hlasových zpráv, finanční oddělení trvá na druhém kanálu u plateb a právník cituje AI Act. Každý popisuje jiný problém. Detektor může správně označit zvuk, a přesto nezabránit odeslání peněz. Bezpečný postup odděluje kanál, práh částky, dohodnuté heslo, schválení druhou osobou a možnost platbu zastavit.
Pět vrstev podvodného hovoru
Podvodný hovor má surovinu (veřejné video, podcast), syntézu (model z krátkého vzorku), kanál (hovor, hlasová zpráva), scénář (tíseň, autorita, tlak) a kontrolu (heslo, zpětné volání, limit platby). Stejný klon se může chovat jinak podle kanálu, tlaku a toho, zda existuje druhý krok.
Co znamená laboratorních 73 procent
Mai a kolegové v roce 2023 v PLOS ONE testovali 529 posluchačů v angličtině a mandarínštině, kteří deepfake rozpoznali v 73 procentech případů. Šlo ale o laboratorní úlohu: lidé věděli, že hledají podvrh, a poslouchali čisté krátké nahrávky. Neočekávaný telefonát je jiná situace a telefonní kodek navíc ořezává a komprimuje signál.
V laboratoři lidé vědí, že hledají podvrh. V běžném hovoru ne.
Europol popisuje nástroje, kterým stačí pětisekundová nahrávka z videa, podcastu nebo hlasové zprávy. Pět sekund ale samo není podvod. Ten začíná, když se věrnost spojí s požadavkem, který nelze vrátit. Hlasová syntéza má i legitimní použití, například pro pacienty po ztrátě řeči nebo dabing se souhlasem.
Podvod nezačíná u modelu
Úspěch závisí na manipulaci a časovém tlaku. NÚKIB řadí vishing mezi nejčastější techniky. Česká bankovní asociace evidovala za rok 2023 téměř 70 tisíc napadených klientů s průměrnou škodou přes 19 tisíc korun a celková škoda dosáhla téměř 200 milionů Kč. Tato čísla popisují telefonické podvody obecně, ne podíl deepfake.
V New Hampshire v roce 2024 dostaly tisíce voličů automatický hovor se syntetickým hlasem Joea Bidena a FCC uložila pokutu 6 milionů dolarů. V Hongkongu zaměstnanec firmy Arup autorizoval převody 25 milionů dolarů po videokonferenci se syntetickými podobami vedení. Kauzy ukazují škálovatelnost kanálu, ne že každý hovor je deepfake.
Detektor je závod, ne zámek
Detektory hledají spektrální stopy nebo nesrovnalosti v dechu a v testovacích sadách skórují vysoko. Útočníci ale mohou modely přizpůsobit známým znakům a telefonní komprese je může změnit. Falešný poplach zatěžuje provoz, přehlédnutý podvrh zůstane tichý.
02-070-mikrofon-a-telefon
AI Act od 2. srpna 2026 vyžaduje strojově čitelné označení syntetického obsahu a zjevné označení deepfake. Český trestní zákoník nemá samostatný trestný čin „deepfake“; může jít o podvod, poškození cizích práv nebo pomluvu. Trestní postih ale nevrátí odeslanou platbu.
Pravidlo místo detektoru
U hovoru je dobré ověřit, zda jde o živý hovor, zda číslo pochází z vlastního adresáře, zda požadavek odpovídá dohodnutému postupu a zda sedí částka, účet a čas. Výstupem nemá být jméno detektoru, ale provozní pravidlo: z hlasu se neplatí, heslo platí a zpětné volání je povinné.
Zdroje
- Mai, K. T., Bray, S., Davies, T., & Griffin, L. D. (2023). Warning: Humans cannot reliably detect speech deepfakes. PLOS ONE, 18(8).
- Europol / Trend Micro / UNICRI. Malicious Uses and Abuses of Artificial Intelligence.
- NÚKIB. Zpráva o stavu kybernetické bezpečnosti České republiky za rok 2023.
- FCC. Pokuta za robocally s hlasem vytvořeným AI v primárkách v New Hampshire.
- Nařízení (EU) 2024/1689 (AI Act), článek 50.
Původně publikováno na jinykontext.cz: https://jinykontext.cz/clanek/deepfake-znameho-hlasu
