Past byrokracie řízené AI: Co se stane, když už není nikdo, kdo vám může pomoct?

Moje absurdní cesta automatizovaným systémem EA se týká videohry. Čím dál víc jsem ale přesvědčený, že je zároveň varováním před něčím mnohem větším.

EA tvrdilo, že můj účet byl zapojen do „Coin Distribution“ – distribuce herních mincí.

Věděl jsem, že jsem žádné mince nekupoval. Neprodával jsem je. Nepřeváděl jsem je mezi účty. Jediné, co jsem dělal, bylo obchodování. Hodně obchodování.

Kupoval jsem karty, prodával je, hledal příležitosti, někdy je nabízel výrazně nad aktuální tržní cenou a čekal, jestli se někdo chytí. Transfer Market pro mě nebyl nějaká vedlejší funkce Ultimate Teamu. Umět mu porozumět byla součást hry.

Tak jsem udělal to, co by udělal každý rozumný zákazník.

Odvolal jsem se.

EA odpovědělo, že své rozhodnutí pečlivě přezkoumalo a dospělo k závěru, že sankce byla oprávněná.

Dobře. Systémy dělají chyby, ale možná jsem nevědomky udělal něco, co vypadalo podezřele.

Položil jsem tedy velmi jednoduchou otázku:

Co jsem udělal?

A právě v tu chvíli přestal být tenhle příběh jen o videohře.

EA odmítalo sdělit, která konkrétní transakce nebo chování vedly k sankci.

Odvolal jsem se znovu a přidal další informace.

Odpověď byla v zásadě stejná.

Kontaktoval jsem podporu. Stáhl jsem si data ke svému účtu. Informace o relevantních transakcích tam nebyly. Kontaktoval jsem podporu znovu. Případy se otevíraly, eskalovaly, zavíraly, označovaly jako duplicitní nebo vyřešené.

Kontaktoval jsem pověřence EA pro ochranu osobních údajů. Vrátil jsem se na EA Help. Opakovaně jsem ověřoval svou totožnost. Mluvil jsem s několika pracovníky podpory.

Nakonec se celý proces stal natolik komplikovaným, že jsem si vytvořil diagram jen proto, abych ho dokázal vysvětlit.

Vypadá to absurdně.

Bohužel to není vtip.

V jednu chvíli mi Community Manager EA na oficiálním fóru vysvětlil, že odvolání jsou kontrolována ručně, a doporučil mi, abych se odvolal znovu a poskytl co nejvíce dodatečných informací.

To zní rozumně.

Jenže tu byl jeden problém.

Dodatečné informace o čem?

Konverzace se totiž fakticky změnila na tohle:

EA: Porušil jste pravidla.

Já: Co jsem udělal?

EA: Přezkoumali jsme důkazy a potvrdili, že jste pravidla porušil.

Já: Jaké informace vám můžu poskytnout, abych ukázal, že jsem je neporušil?

EA: Poskytněte další informace.

Já: O čem?

Community Manager EA byl trpělivý a slušný. Neviním ho. Ve skutečnosti mám pocit, že jeho odpovědi problém nechtěně demonstrovaly lépe než cokoli, co bych o něm dokázal napsat já.

Když jsem se nakonec zeptal, zda existuje jiné oddělení, možnost eskalace nebo zástupce společnosti, se kterým bych mohl proces odvolání skutečně probrat, jeho odpověď byla pozoruhodně jasná:

„Neexistuje žádný jiný tým, který by vám mohl pomoci.“

Zároveň vysvětlil, že EA používá při odpovědích na odvolání šablony, aby zajistilo „jednotnost“.

Ta věta se mnou zůstala.

Protože jednotnost není totéž co komunikace.

Po týdnech snahy mi EA nakonec poskytlo výrazně více informací prostřednictvím žádosti o přístup k osobním údajům.

Dostal jsem historii přihlášení do FC a stovky transakcí na Transfer Marketu.

A najednou jsem mohl alespoň začít vyšetřovat svůj vlastní údajný zločin.

Data ukazovala rozsáhlé obchodování: stovky nákupů a stovky prodejů. Opakovaně jsem nakupoval a prodával stejné karty se ziskem.

Byly tam ale i extrémy.

Jeden vyčníval okamžitě.

Koupil jsem několik verzí Kyliana Mbappého s hodnocením 93 zhruba za 100 000 mincí. U jedné z nich jsem zkusil absurdně optimistickou prodejní cenu.

Někdo ji koupil za 301 000 mincí.

Z mého pohledu jsem měl prostě štěstí.

Z pohledu algoritmu proti podvodům, který hledá podezřelé převody virtuální měny?

Možná to vypadá úplně jinak.

Tady musím být opatrný: EA mi nikdy neřeklo, že právě tato transakce způsobila sankci.

Nevím, jestli ji způsobila.

A přesně v tom je ten problém.

EA ve své odpovědi na mou žádost o osobní údaje samo uvedlo, že některé z poskytnutých informací mohou tvořit podklad sankce. Přesto mi stále nesdělilo, kterou transakci považovalo za nelegitimní.

Po tom všem jsem se tedy ocitl v situaci, kdy jsem se z vlastních dat snažil zpětně rekonstruovat obvinění proti sobě.

Na chvíli se nad tím zamyslete.

O své zkušenosti jsem napsal na fórum EA.

Zpočátku to byl můj problém.

Pak začali odpovídat další lidé.

Jeden hráč napsal, že zažil přesně totéž: legitimně nakupoval a prodával karty, aby vydělával mince, systém ho označil za distributora mincí, jeho případ několikrát přezkoumali, vždy dostal stejnou odpověď a nenašel žádný způsob, jak si skutečně promluvit se zákaznickou podporou.

Jiný napsal, že po své zkušenosti už žádné další hry od EA kupovat nebude.

Jedna odpověď mě ale zasáhla víc než ostatní.

Otec napsal, že hraje FC se svým desetiletým synem.

Společně nakupovali a prodávali hráče a budovali svůj tým. Podle jeho slov opakovaně obchodovali se stejnou kartou, třeba i stovkykrát.

Pak přišla sankce za „Balance Transfer“.

Jeho syn se rozplakal.

Otec napsal, že neví, jak má EA vysvětlit, že žádné mince nekupovali. Byl ochotný nechat EA zkontrolovat úplně všechno.

Chtěl jen, aby se na to někdo skutečně podíval.

Nemohu vědět, jestli byl každý člověk v tom vlákně sankcionován správně, nebo chybně.

A to je důležité.

Tohle není důkaz, že je systém EA proti podvodům nefunkční.

Je to ale důkaz něčeho jiného, co podle mě stojí za zamyšlení:

Lidé, kteří věří, že systém udělal závažnou chybu, jen velmi těžko hledají člověka, který má zároveň schopnost i pravomoc tu chybu s nimi skutečně řešit.

Představte si úplně stejnou architekturu někde, kde jde o mnohem víc.

Algoritmus označí vaši bankovní transakci za podezřelou. Účet je omezen. Odvoláte se. Člověk údajně rozhodnutí algoritmu přezkoumá, ale vy s ním nemůžete mluvit. Dostanete šablonovitou odpověď, že rozhodnutí bylo správné.

Zeptáte se, která transakce to způsobila. Systém vám to neřekne. Kontaktujete podporu. Podpora nemůže rozhodnutí změnit. Požádáte o eskalaci. Není kam eskalovat. Odvoláte se znovu. Údajně to přezkoumá další člověk. Přijde další šablona.

Každá jednotlivá součást takového systému může fungovat přesně tak, jak byla navržena.

A systém jako celek se přesto může stát naprosto šíleným.

A právě to mě znepokojuje.

Nebezpečí byrokracie řízené umělou inteligencí si často představujeme jako stroj, který autonomně rozhoduje o našem osudu.

To je možná až příliš jednoduchá představa.

Mnohem realističtější nebezpečí může být daleko nudnější.

Algoritmus něco zachytí. Člověk jeho výstup přezkoumá prostřednictvím interního rozhraní. Jiný systém vytvoří nebo vybere odpověď pro zákazníka. Pracovník podpory postupuje podle workflow. Žádosti týkající se osobních údajů vstupují do jiného workflow. Community manageři mají zase jinou sadu oprávnění.

A každý zaměstnanec může naprosto pravdivě říct:

„Tohle nemůžu udělat.“

Nikdo nemusí být zlý. Nikdo ani nemusí udělat nějaké očividně iracionální rozhodnutí. V několika fázích mohou být technicky vzato přítomní lidé.

A přesto nemusí existovat jediný člověk, se kterým můžete vést skutečně smysluplný rozhovor a který zároveň disponuje dostatečným kontextem a pravomocí problém vyřešit.

V tom je ta past.

Noční můrou nemusí být umělá inteligence, která nahradí lidi.

Noční můrou mohou být lidé, kteří se stanou pouhými rozhraními systémů, jež sami nemohou obejít.

Samozřejmě, nic z toho nevynalezla umělá inteligence.

Každý, kdo někdy jednal s pojišťovnou, státním úřadem, aerolinkou nebo telekomunikační společností, zná prastarý rituál:

„Počítač říká ne.“

AI a automatizace ale mohou změnit měřítko.

Tradiční byrokracie je drahá. Každá stížnost vyžaduje něčí čas.

Automatizace dělá byrokracii mimořádně levnou.

Firma může zpracovat miliony rozhodnutí, miliony označených případů, miliony odvolání a miliony odpovědí.

To zní jako efektivita.

Dokud nejste tou výjimkou vy.

Protože výjimky jsou drahé.

Vyžadují někoho, kdo zastaví workflow, pochopí historii případu, prostuduje důkazy, použije vlastní úsudek a případně systém obejde.

A pokud organizace optimalizuje efektivitu dostatečně agresivně, může se člověk schopný něco takového udělat nakonec úplně vytratit ze světa, do kterého má zákazník přístup.

Ne doslova.

Někde uvnitř korporace takoví lidé pravděpodobně existují.

Ale prakticky?

Je to skoro totéž, jako kdyby neexistovali.

Tahle zkušenost změnila způsob, jakým přemýšlím o lidském dohledu nad automatizovanými systémy.

Firmy nás stále častěji ujišťují, že důležitá rozhodnutí nejsou plně automatizovaná, protože v procesu zůstává „člověk“.

Jenže tahle formulace může skrývat obrovské množství různých realit.

Vyšetřoval ten člověk případ skutečně nezávisle?

Viděl vysvětlení zákazníka?

Měl přístup ke všem relevantním důkazům?

Mohl se systémem nesouhlasit?

Měl dostatek času?

Mohl s ním zákazník komunikovat?

Mohl vysvětlit své rozhodnutí?

Mohl jeho rozhodnutí někdo další přezkoumat?

Pokud je odpověď na většinu těchto otázek ne, pak nám věta „přezkoumal to člověk“ ve skutečnosti říká překvapivě málo.

Přítomnost člověka a skutečný lidský úsudek nejsou totéž.

Můj příběh se nakonec týká virtuálních fotbalových kartiček.

Nikdo nezemřel. Nepřišel jsem o dům. Nezničilo mi to úvěrové hodnocení. FC můžu pořád hrát.

A nakonec jsem se s tím smířil a začal své zbývající karty házet do SBC jako člověk, který před odchodem z vesnice obřadně pálí svůj majetek. 😄

Možná je ale právě proto tenhle příklad užitečný.

Sázky jsou dost nízké na to, abychom mohli sledovat samotnou architekturu systému bez politických sporů, které obklopují závažnější automatizovaná rozhodnutí.

A ta architektura mě znepokojuje.

Detekce → sankce → odvolání → šablona → podpora → eskalace → žádná pravomoc → další odvolání.

A teď si stejnou architekturu představte kolem zaměstnání.

Úvěrů.

Pojištění.

Zdravotní péče.

Vzdělávání.

Bydlení.

Sociálních dávek.

Vaší identity.

AI nemusí být zlá, aby se z toho stala dystopie.

Stačí, když bude celý systém natolik efektivní, že někdo zapomene postavit dveře ven.

Nemyslím si, že řešením je „přestat používat AI“.

To by bylo absurdní.

Automatická detekce podvodů je nezbytná. EA provozuje obrovskou virtuální ekonomiku. Prodejci mincí, boti a manipulace trhu jsou reálné problémy. V takovém měřítku by čistě ruční kontrola nebyla možná.

Totéž bude platit v mnohem důležitějších odvětvích.

Otázkou není, jestli budeme automatizovat.

Otázkou je, jaká práva lidem zůstanou ve chvíli, kdy se automatizace splete.

A myslím, že jedno z těch práv by mělo být neuvěřitelně jednoduché:

V určitém bodě dostatečně závažného procesu musí existovat dosažitelný člověk, který má kontext, pravomoc a možnost použít vlastní úsudek a výsledek změnit.

Ne chatbot, který může vytvořit ticket.

Ne pracovník podpory, který smí pouze kopírovat interní pravidla.

Ne lidský hodnotitel schovaný za rozhraním, který s vámi nemůže komunikovat.

Ne další tlačítko „Odvolat se“, které vás pošle zpátky do stejného systému.

Někdo, kdo může slyšet:

„Tohle je výjimečný případ. A tady je důvod.“

…a skutečně s tím něco udělat.

Protože bez takového člověka může odvolací proces dokonale existovat na papíře a zároveň být v praxi zcela bezvýznamný.

Během toho všeho se opakovaně děla ještě jedna věc.

Jak jsem na fóru EA psal další a další příspěvky ve snaze najít někoho, kdo by mi mohl pomoct, začaly mi chodit automatické e-maily:

„Získali jste novou úroveň na EA Forums!“

Bylo na tom něco téměř nádherně absurdního.

Získával jsem zkušenostní body na fóru, protože jsem trávil tolik času odvoláváním se proti systému, který se mnou nebyl schopný skutečně komunikovat.

Můj postup v Ultimate Teamu se prakticky zastavil.

Ale můj postup na EA Forums?

Fantastický.

Achievement unlocked:

Odvolávej se proti byrokracii tak dlouho, dokud ti byrokracie nezačne dávat XP.

Je to legrační.

Zatím.

Jenže základní myšlenka mi legrační vůbec nepřipadá.

Protože příští systém, který někoho uvězní v podobné smyčce, už nemusí spravovat virtuální fotbalové kartičky.

A až se to stane, věta

„Neexistuje žádný jiný tým, který by vám mohl pomoci.“

by neměla být něčím, co jsme ochotni přijmout jako konečný návrh naší budoucnosti.