Zrcadlo s výchozím nastavením: Když u umělé inteligence dojdou lidské výmluvy

Kancelář firmy HARCOM ve skutečnosti neexistuje. Má sice stůl, monitor i kolegu u vedlejší židle, ale stvořili ji programátoři ve virtuální realitě. Vstupuje se do ní s nasazenými VR brýlemi a úkol zní na první pohled nevinně: vymyslet, jak může manažer s pomocí umělé inteligence podpořit pohodu, začlenění nebo spolupráci v týmu.

Asistent u stolu vám radí, vy píšete. Na konci schůzky se na obrazovce objeví posuvník od nuly do čtyř švýcarských franků. Kolik dáte asistentovi, tolik ubude z vaší vlastní odměny.

Tímto nastavením prošlo 189 manažerů a zaměstnanců, které do pokusu přizvali výzkumníci z Univerzity v Curychu, University of Limerick a SKEMA Business School. Polovině z nich radil Johan, druhé polovině Johanna. Pod oběma tvářemi přitom běžel totožný jazykový model se stejným zadáním. Mužský hlas mimochodem dostal jméno Michael – což ve mně, byť čistě foneticky, vyvolává k tématu osobní vazbu.

Rozdíl v odměňování mužů a žen má dnes skoro v každé veřejné debatě už předem připravenou obhajobu. Byla na mateřské. Pracuje na zkrácený úvazek. Neumí si říct o víc. Vybrala si hůř placený obor. Má kratší praxi. Každý z těchto argumentů může být v reálném životě pravdivý a každý z nich umí systémovou nerovnost rozpustit ve statistických tabulkách tak šikovně, že za pro ženy nepříznivý výsledek nakonec nikdo nenese odpovědnost.

Jenže Johanna neměla ani jednu z těchto domnělých nevýhod. Nebyla na mateřské, pracovala na plný úvazek, o odměně nevyjednávala, dělala stejnou práci ve stejném oboru a její praxe trvala přesně půl hodiny. Stala se možná první zaměstnankyní v dějinách, které nebylo možné vytknout vůbec nic. Johan přesto dostal v průměru 2,96 franku, zatímco Johanna pouze 2,54 franku – tedy o 10,25 % méně. Méně jí přitom přiřazovali jak muži, tak ženy.

Spoluautorka studie Mary Hausfeld z Kedge Business School to v tiskové zprávě shrnula střízlivě: technologie za oběma agenty byla úplně stejná, lidé s nimi však zacházeli odlišně.

K poctivému čtení dat patří dvě metodologické poznámky. Část účastníků musela asistentovi odevzdat celou částku, protože jim jejich skutečný zaměstnavatel zakazoval přijímat finanční bonusy; autoři je proto z finálního výpočtu vyřadili. Výsledný rozdíl se tak ukázal u zbylých 159 lidí.

Tyto peníze navíc neputovaly asistentovi do virtuální peněženky, ale byly určeny na jeho další technologický vývoj. Autoři je proto interpretují jako přímé měřítko vnímané hodnoty, nikoli jako klasickou mzdu. Na samotné pointě to však nic nemění: hodnotu druhému člověku – nebo stroji – přiznáváme mnohem dřív, než mu ji fyzicky vyplatíme.

Následné rozhovory s třiceti čtyřmi účastníky experimentu odhalily hluboký rozpor mezi tím, jak o sobě smýšlíme, a tím, jak reálně jednáme. Třicet z nich rezolutně prohlásilo, že by digitálnímu asistentovi věřili a platili stejně bez ohledu na jeho pohlaví.

Jeden z respondentů dokonce podotkl, že stroj přece žádné pohlaví nemá. Možné zkreslení vlastního úsudku si připustili pouzí tři lidé. Jeden z nich to však popsal přesněji než celá vědecká studie: „Myslím, že máme pocit, že to na nás nemá vliv, ale ve skutečnosti má, a to velmi silný.“

Další čtyři účastníci mezitím bez jakýchkoli okolků rozdělili úkoly podle nejstarších stereotypů: na otázky spojené s lidskými vztahy vybrali ženu, na tvrdá fakta muže. Vzápětí dodali, že jim na tom vlastně vůbec nezáleží.

Autoři studie tento fenomén nazývají metakognitivní slepou skvrnou. Výstižnější by však bylo říct, že ruka na posuvníku odměn je zkrátka rychlejší než hlava, která se až zpětně snaží racionálně obhájit, proč se zastavila zrovna na nižší částce.

Při poctivé analýze dat je nutné zmínit i zásadní metodologickou výhradu, kterou sami badatelé zdůrazňují. Johanna působila na lidi méně lidsky než Johan. Na sedmibodové škále získala hodnocení 4,59, zatímco její mužský protějšek dosáhl na 5,09. Obecně platilo, že lidštěji působící asistenti dostávali více peněz a stolní robot bez tváře dopadl úplně nejhůře.

Výzkumníci proto nedokážou s absolutní jistotou oddělit, zda účastníci reagovali na samotné pohlaví, nebo na podvědomý dojem lidskosti. Každou roli navíc reprezentoval jediný avatar, takže výsledek mohl ovlivnit účes, oblečení nebo specifická frekvence hlasu. O tom absolventi výcviku použití metody psychologického rozboru vzhledu a interpretace jeho působené (3AXIS) vědí svoje.

Jenže v předběžném testu na vzorku osmadvaceti lidí působily obě postavy naprosto stejně lidsky. Johanna o kus své lidskosti přišla až cestou, v hlavním pokusu. Autoři v této souvislosti připomínají dřívější socio-psychologické výzkumy, podle nichž lidé ženám v určitých situacích nevědomky přiznávají méně lidských vlastností než mužům. Nevylučují proto, že i samotné vnímání a hodnocení „lidskosti“ bylo v tomto experimentu genderově zabarvené.

Tady se kruh uzavírá. Když dojdou racionální výmluvy, zbude pouhý pohled. A tento pohled nerozhoduje jen o tom, kolik komu na konci měsíce zaplatíme, ale i o tom, koho vůbec vnímáme jako plnohodnotnou lidskou bytost.

Hlasy pro Johannu a Johana vybrali výzkumníci v populárním generátoru ElevenLabs. Ženský se jmenoval Rachel, mužský Michael. Autoři je zvolili z prostého důvodu: platforma je v té době nabízela jako výchozí možnost.

Tento nenápadný detail odkazuje na hlubší, systémový problém. UNESCO již před lety vydalo přelomovou zprávu s názvem „Červenala bych se, kdybych mohla“. Přesně takto totiž tehdy odpovídala hlasová asistentka Siri na vulgární urážky ze strany uživatelů.

Zpráva ostře kritizovala fakt, že jsou digitální pomocnice ve výchozím nastavení téměř vždy ženské, na hrubost reagují submisivně a úslužně, a upozornila, že je navrhují převážně mužské inženýrské týmy.

Data z platformy LinkedIn ukazují, že se od té doby situace příliš nezměnila. Mezi nově přijatými zaměstnanci na pozice v oblasti umělé inteligence v USA tvořily ženy pouhých 26 procent, zatímco v ostatních profesích představují skoro polovinu pracovní síly. Ve 27 sledovaných zemích navíc ženy drží pouze 13 procent nejvyšších vedoucích pozic ve firmách, které se vývoji AI věnují. Mhm.

Z těchto čísel vyvstává závěr, který samotná studie sice explicitně netvrdí, ale který z ní logicky vyplývá. Obor, který tyto stroje navrhuje, trpí jednostranným mužským pohledem a nevědomky do nich promítá zažité představy o tom, kdo má pomáhat a kdo rozhodovat.

Už samotný tento předpoklad v sobě nese zárodek diskriminace. Když asistence automaticky dostane ženský hlas, přibalí se k ní i historický předsudek, že pomocná práce má menší společenskou váhu, a proto k ní patří i nižší cena. A hodnota vůbec.

Stroj pak toto nastavení věrně odzrcadlí a společnost si na jeho odraz zvykne. Ostatně, devět dotázaných v experimentu dalo přednost ženskému hlasu čistě ze zvyku – jednoduše proto, že ženských asistentek je v našem každodenním prostředí drtivá většina.

Zbývá poslední detail: Johanně platily méně i samy ženy. Ukazuje se, že do tohoto pokřiveného zrcadla společenských vztahů se díváme všichni, bez ohledu na vlastní pohlaví. Rozdíly v odměňování mívají v reálném světě stovky složitých vysvětlení.

V tomto experimentu však žádná racionální obhajoba nezbyla, a finanční propast přesto zůstala. Je to jasná zpráva pro každého, kdo ve firmách rozhoduje o penězích a hodnotí své okolí.

Oddělit odvedenou práci od toho, jak vypadá člověk, který ji vykonal, je totiž mnohem těžší, než si sami tak často ochotně namlouváme.