Článek
Zaznamenal jsem pár úsměvných případů, které ale nejsou vůbec zanedbatelné. Někdy vznikne chyba už při zadání, kdy autor nedomyslí, jaké vzorce má vlastně v trénovacích datech hledat. Jindy jsou vzorce dobré, ale pokulhávají vstupní data.
Jedním ze známých případů je ten, kdy se výzkumný tým rozhodl naučit AI rozpoznávat riziková znaménka na kůži. K trénování použil fotografie od lékařů, kteří si nebezpečné nálezy dokumentují. S testovacími daty se zdálo, že vše funguje dobře. Bez dat lékařů ale ani jedna piha nezdála AI riziková, což bylo podezřelé. Brzy se přišlo na to, že kromě škodlivých znamének fotografie od lékařů obsahovaly ještě něco – pravítko, které přikládali ke kůži pro představu o velikosti nálezu. AI se tedy při trénování naučila, že piha s pravítkem = rakovina a piha bez pravítka = negativní nález (což tak ve vstupních datech bylo). Taková diagnostika je mimochodem dnes běžně dostupná v mobilní aplikaci a jedna zdravotní pojišťovna ji dokonce svým klientům hradí. Obecně AI diagnostika může přinést velkou úsporu a do jisté míry i zlepšení kvality výsledků – v pár vteřinách může projít RTG snímky a vyřadit jich jen pár, které by měl vidět lékař.
Podobné chyby se dopustili kolegové mého kamaráda v jedné německé prémiové automobilce. Využili AI k rychlému rozpoznávání objektů a zvláště chodců. Kamera nad zpětným zrcátkem tak sledovala prostor před vozem a systém mohl aktivovat brždění, i když řidič např. odbočoval z křižovatky přes přechod a musel se otočit na přijíždějící vozidla z druhého směru. Pro trénování dat využili dodavatele v Irsku. Vše fungovalo naprosto perfektně až do dalšího kola testů ve státech. Tam se z vozu stal doslova rasista, když před Afroameričany odmítl brzdit. V našich zeměpisných šířkách často nedomýšlíme, že co se u nás týká jednotek lidí, může být v jiných zemích výrazně naopak. Jinak dobrý model stačilo přetrénovat na rozmanitějších datech a začal fungovat na výbornou.
Technologie jsou vůbec s etniky na štíru. Podobná selhání se vyskytla i ve státní správě, která trénovala model k predikci recidivy. Logicky použili historická data, která měli k dispozici – jenže už nedomysleli, že v jejich případě to není tak dávno, kdy měly některé menšiny vyhrazená místa v autobusech. Nebo rozpoznávání obličeje, používané např. k odemykání telefonu, vykazovalo u většiny velkých výrobců výrazně nižší úspěšnost u žen tmavší pleti, zatímco excelovaly u bílých mužů. Nedostatečná šíře trénovacích dat tak vedla ke stejnému zkreslení, s jakým se setkáváme u nás. Často nás napadá, jak se vlastně ti Asiaté můžou poznat, když jsou všichni stejní? Poznají se úplně přirozeně stejně jako my, protože už za ta léta mají v oku všechny nuance, které jim jejich okolí nabízí. I proto jsem od nich často slyšel pobavenou odpověď „tomu my také nerozumíme, jak se vy, Evropané, můžete mezi sebou poznat?“
HR oddělení z mé zkušenosti nebývají mezi těmi nejoblíbenějšími. U mě osobně jim prvenství v žebříčku nejméně oblíbených oddělení s dostatečným náskokem bere mzdová účtárna. Ale uznávám, že je to o lidech – jako vždy a všude. Podobný žebříček si pravděpodobně vedl i Amazon a jeho snahu nahradit některé procesy umělou inteligencí. Začal proto trénovat vlastní model pro identifikaci zajímavých životopisů, aby tisíce žádostí o práci nemuseli procházet lidé. Nápad to byl dobrý, provedení slabší. Jak byste asi tak popsali AI ideálního uchazeče? No přece jako toho, kdo se k vám dostal. Jejich AI model byl tak brzo obviněn z nekorektnosti, když preferoval muže, a dokonce strhával ženám body, když se v textu objevil třeba „ženský šachový klub“. Prakticky dělal to, co dělali dlouhé roky náboráři před ním, jen to najednou bylo nápadnější.
Jako u každého nástroje je třeba alespoň základně rozumět tomu, jak funguje. Auto si také nemusíte umět opravit, ale dost pomáhá, když občas natankujete, přezujete na zimu a reagujete na kontrolky se závadami.
