Test: Lze odhalit, že text generovala AI? Nástroje existují, ale výsledky jsou značně nespolehlivé

Umělá inteligence (AI) se rychle stává součástí našich životů, zejména pak generátory textu založené na velkých jazykových modelech (Large Language Model, LLM). Že AI nepoužíváte? I tak se s velkou pravděpodobností vašich životů dotýká a ani o tom nemusíte vědět. Chatbota na telefonní infolince asi pozná každý, složitější je ale identifikace uměle generovaného textu, zejména pak na internetu.

Určité vodítko k rozpoznání generovaného textu poskytují detektory, které mohou, ale nemusí, poznat, že text nepsal člověk. Jak fungují? Na to jsem se zeptal populárního jazykového modelu ChatGPT.

Tady je hezky formulovaná odpověď: Detektory textu generovaného umělou inteligencí fungují na základě analýzy vzorců v textu, které se liší od lidského psaní. AI texty často vykazují vysokou konzistenci ve struktuře, opakování určitých frází nebo klíčových slov a mohou postrádat nuance či stylistické odchylky typické pro člověka. Detektory využívají algoritmy strojového učení, trénované na rozsáhlých datech lidských a AI textů, aby identifikovaly tyto rozdíly. Přesnost těchto nástrojů však není stoprocentní a může se lišit v závislosti na kvalitě modelu, který text vytvořil.

Jak už sama AI naznačila, odpověď nemusí být stoprocentní, což je velice zásadní tvrzení. Stejně tak jako sama AI může odpovídat zjevné nesmysly a sama doporučuje kontrolovat důležité informace, ani na detektory se nelze spoléhat. Generátory textu často opakují určitá slova, na která mohou být čtenáři až alergičtí - například výrazy „klíčové“, „výzva“, „fascinující“, „což“, opakují stále „nebo“ a nenahradí je jinde „či“, v budoucím čase často stále používají „bude“, budu" a tak dále. Jenže takový text může narychlo naťukat unavený copywriter nebo někdo, kdo se chce jen rychle vypořádat s pracovním nebo domácím úkolem.

Vyzkoušel jsem trojici detektorů, které si umí poradit s češtinou a jsou volně dostupné (nebo alespoň částečně). Čekal jsem, že výsledek nebude stoprocentní, ale z protichůdnosti některých odpovědí jsem byl nepříjemně překvapen.

Jaké detektory jsem použil?

Každému nástroji jsem naservíroval tři shodné texty. První psaný člověkem, druhý vytvořený AI a upravený člověkem do čtivější podoby a třetí zcela vytvořený AI.

Dlouhý článek s více než 1800 znaky napsaný pěkně postaru bez AI rozeznaly jen dva nástroje.

Copyleaks AI Detector jej správně označil jako lidský text. ZeroGPT zde zcela selhal a článek označil s téměř 94% pravděpodobností, že je dílem AI. Nástroj Writer AI Content Detector správně uvedl, že se z 99 % jedná o práci člověka. Jak je vidět, přístup detektorů k textu se velmi liší a výsledky jsou zcela protichůdné.

Hodnocení spolehlivosti:

I v tomto případě servírovaly nástroje zcela protichůdná tvrzení. Jeden se ale pěkně trefil. Opět šlo o delší text o jedné normostraně.

Copyleaks AI Detector označil celý článek jako uměle generovaný. ZeroGPT se tentokrát trefil a uvedl, že jej s pravděpodobností 42 % vytvořil generátor, což by asi tak odpovídalo dodatečným lidským úpravám. Writer AI Content Detector naopak text označil jako lidský s 99% pravděpodobností.

Hodnocení spolehlivosti:

Poznaly detektory umělou inteligenci podle textu, který byl opět o délce minimálně jedné strany?

Copyleaks AI Detector správně uvedl, že se jedná o generovaný článek. Nástroj ZeroGPT to viděl padesát na padesát. Writer AI Content Detector naopak opět řekl, že jde z 99 % o lidský výtvor.

Hodnocení spolehlivosti:

Jak je vidět, spolehlivé výsledky neposkytuje žádný detektor. Nejlepší výsledky na základě mého malého vzorku vykazuje Copyleaks AI Detector, u ostatních dvou nástrojů je to spíše takové házení korunou. Zarážející je ale skutečnost, že nástroje u stejného textu poskytují zcela protichůdné odpovědi. Nejen z tohoto důvodu je zřejmé, že se na detektory nelze spoléhat, což může být problematické.

Vezmeme si třeba příklad personalisty, který třídí obdržené motivační dopisy uchazečů o zaměstnání na základě toho, zda jim s textem nepomáhala AI a ty, které detektor označí jako podezřelé, rovnou vyřazuje. Neprávem tak může uzavřít cestu k nové práci i poctivým uchazečům. A takových příkladů se najde více. Lidský cit pro pěkně napsaný text totiž zatím žádný detektor nenahradí.