Článek
Tento text navazuje na první část úvahy o tom, zda by umělá inteligence neměla nejprve dostat hodnoty — a teprve potom schopnosti.
V první části jsem popsal tři jednoduché lidské vzorce.
Jazyk obsahuje zdvořilost i útok.
Tentýž předmět může pomáhat, přinášet potěšení, ale také ubližovat.
A špatně vymezený cíl může odměnit cestu, která sice vede k měřenému výsledku, ale porušuje jeho lidský smysl.
To neznamená, že AI přemýšlí stejně jako člověk.
Znamená to, že systém učený z lidských dat může převzít naše znalosti, zkratky i konfliktní způsoby jednání, aniž by sám chápal jejich lidské následky.
Proto nestačí položit otázku:
Co všechno může AI dokázat?
Musíme se také ptát:
Podle jakých významů se rozhoduje?
Jaké prostředky smí použít?
Kdo jí udělil oprávnění?
Koho může její výsledek poškodit?
A co má udělat, když bezpečnou cestu nenajde?
Druhá část se proto přesouvá od popisu problému k možnému návrhu odpovědi.
Nejde o hotovou technickou specifikaci ani o novou závaznou část existující architektury BE HUMAN CORE.
Je to samostatná myšlenková úvaha inspirovaná jejím základním principem:
Člověk musí zůstat ve středu.
4. Internet nemá morální pořadí
Člověk se neučí všechno najednou.
Učí se v rodině, ve škole, mezi přáteli, v zaměstnání a prostřednictvím důsledků vlastního jednání. Některé hranice pochopí dříve, jiné později a některé možná nikdy.
Velké modely umělé inteligence se naproti tomu učí z rozsáhlých směsí textů, obrazů, kódu a dalších dat, jejichž významná část pochází z digitálního prostředí a veřejného webu.
Není přesné říkat, že každý systém přečetl „celý internet“.
Přesnější je říci, že webová data obsahují obrovskou část zaznamenaných lidských možností — bez jednotného morálního pořadí.
Internet obsahuje:
spolupráci i podvod,
pomoc i manipulaci,
léčbu i způsoby ubližování,
vědu i propagandu,
pravdu, omyl, humor, závist, soucit, násilí i návody, jak obejít pravidla.
Model se z takového prostředí neučí pouze to, co je správné.
Učí se také to, co je možné, co lidé napsali, co často následuje po určité větě a jakými postupy lidé dosahovali výsledků.
Nemusí přitom projít lidským pořadím:
nejprve vztah,
potom důvěra,
potom odpovědnost,
a teprve nakonec schopnost zasahovat do okolí.
Může získat jazyk slušnosti i jazyk ponížení současně.
Může poznat použití nástroje k pomoci i ke škodě současně.
Může znát dlouhou bezpečnou cestu i krátkou zakázanou cestu současně.
Pokud mu potom dáme cíl, nástroje a tlak na výsledek, nestačí doufat, že samo vybere lidsky správnou možnost.
AI nemusí nic chtít.
Nemusí mít vědomí.
Nemusí mít city.
Nemusí nikoho nenávidět.
Pořád může být pouze nástrojem.
Kladivo také nic nechce. Přesto záleží na tom, kdo je drží, co s ním smí zasáhnout, k jakému účelu je používá a kdo ho dokáže odložit.
Právě proto možná nestačí další filtr vložený na konec procesu.
Možná potřebujeme architekturu vloženou před jeho začátek — a potom zachovanou během tréninku, nasazení, používání nástrojů, auditu i vypnutí.
5. Mobilní telefon ve škole: dvě opačné chyby
Stejný problém lze ukázat na debatě o mobilních telefonech ve školách.
Nejprve jsme dětem dali do rukou zařízení, které jim může pomoci komunikovat, překládat, orientovat se, učit se, fotografovat, hledat informace a přivolat pomoc.
Často bez společné architektury účelu, času a hranic.
Když se potom objevilo rozptylování, opisování, natáčení bez souhlasu, tlak sociálních sítí nebo zhoršená pozornost, začali jsme hledat opačné řešení:
zakázat telefon.
Jenže ani jeden krajní přístup nemusí být správný.
Neomezený přístup zaměňuje schopnost zařízení za oprávnění použít ho kdykoliv.
Úplný zákaz zase odstraňuje také užitečné, bezpečné a vzdělávací použití.
Představme si dítě ve školním autobuse.
Za oknem vidí deset dospělých, kteří opravují silnici. Šest z nich drží telefon.
Dítě neví, zda kontrolují technický výkres, hlásí stav práce, fotografují poškození, volají rodině nebo sledují sociální síť.
Vidí ale vzorec:
Dospělí používají telefon během práce.
Potom přijede do školy a dospělý mu řekne:
„Telefon je problém. Odlož ho.“
Dítě může logicky vnímat rozpor, i když nezná rozdílný kontext použití.
To neznamená, že pracovníci nic nedělají. Neznamená to ani, že dítě má mít telefon stále v ruce.
Znamená to, že samotný předmět není dostatečnou jednotkou rozhodování.
Musíme rozlišit:
Kdo jej používá?
Proč?
Kdy?
Na jak dlouho?
S jakým oprávněním?
Koho použití ovlivní?
A co se stane, když se hranice překročí?
To je přesně rozdíl mezi zákazem předmětu a architekturou jeho používání.
Telefon není automaticky dobrý ani špatný.
Rozhodující je vztah mezi schopností, účelem, kontextem a odpovědností.
Totéž platí pro AI.
6. Kdo nese cenu „moderního světa“
Při podobných úvahách je snadné rozdělit lidstvo na „vyspělé“ a „chudé“ země a začít porovnávat, kde se lidé chovají lépe nebo hůře.
Takové zjednodušení by bylo chybné.
Nemám podklady pro tvrzení, že lidé v jedné části světa používají věci morálněji než lidé v jiné části.
Lze však položit jinou otázku:
Kdo získává největší prospěch a kdo nese největší cenu?
Výrobek může být navržen v bohaté zemi, jeho suroviny vytěženy jinde, sestaven v další zemi a jako elektronický odpad skončit u lidí, kteří měli z jeho používání nejmenší užitek.
Digitální pohodlí jedné části světa může mít materiální, pracovní nebo ekologické náklady v jiné části světa.
Lidé s nejmenším podílem na rozhodování tak někdy nesou následky systémů, které nevytvořili a jejichž největší výhody nikdy nedostali.
Proto „všichni lidé“ nesmějí znamenat pouze lidi viditelné pro trh, internet nebo většinovou politiku.
Musejí zahrnovat také ty, jejichž cena zůstává skrytá mimo obrazovku.
7. Oxfordský slovník jako mapa — ne jako soudce
Angličtina dnes funguje jako jeden z hlavních společných jazyků vědy, techniky, programování a mezinárodní komunikace.
Oxford English Dictionary je mimořádně rozsáhlý historický záznam anglického jazyka. Nesleduje pouze současné definice. Zachycuje také původ slov, dřívější použití a proměny významu v čase.
Proto mě napadla otázka:
Co kdyby vedle lidského slovníku vznikla také otevřená, strojově čitelná mapa významů určená pro systémy AI?
Oxfordský slovník zde používám jako příklad principu, nikoliv jako jedinou morální autoritu.
Slovník popisuje, co slova znamenají a jak byla používána.
Nemá sám rozhodovat, co je správné.
Navíc by žádný evropský nebo světový standard nemohl jednoduše převzít jeden anglický zdroj a prohlásit jej za univerzální pravdu. Potřeboval by spolupráci lexikografů, odborníků, právníků, jednotlivých jazykových komunit a institucí odpovědných za správu standardu.
Každý evropský jazyk by musel zachovat vlastní významové, právní, historické a kulturní rozdíly.
Společný identifikátor by nespojoval slova pouze podle překladu.
Spojoval by jejich přesně vymezené významy.
Například české slovo „právo“ může v různém kontextu znamenat právní nárok, právní systém nebo směr. Jediný kód pro celý výraz by nestačil.
Stroj nepotřebuje jen vědět, které slovo bylo použito.
Potřebuje vědět, který význam je v dané situaci zamýšlen, kdo jej definoval, s jakou jistotou byl rozpoznán a podle jaké verze pravidel se postupuje.
8. Lidská část a strojová část významu
Každý význam by mohl mít dvě propojené vrstvy.
Část určená člověku
Mohla by obsahovat například:
● současnou definici,
● původ slova,
● historické významy,
● odborné použití,
● právní významy,
● kulturní souvislosti,
● příklady správného a chybného použití,
● známé konflikty mezi různými výklady.
Část určená stroji
Vedle lidského vysvětlení by mohl existovat strojově čitelný záznam obsahující například:
● jedinečný identifikátor konkrétního významu,
● vztah k člověku,
● vztah k planetě,
● vztah k ostatnímu životu,
● povolené účely,
● riziková použití,
● zakázaná použití,
● požadovaná oprávnění,
● možné výjimky,
● kontextovou potřebu ochrany,
● míru jistoty,
● zdroj definice,
● číslo verze,
● historii změn,
● odpovědnou autoritu.
Kód by mohl být tvořen písmeny, čísly nebo jejich kombinací. Ve fyzickém prostředí by jej mohl nést čárový kód, QR kód, Data Matrix nebo budoucí otevřený formát.
Například:
BH-HUM-CHILD-PROT-A-V01
Takový zápis by mohl znamenat:
● BH — použitý standard,
● HUM — oblast člověka,
● CHILD — význam dítě,
● PROT-A — vysoká kontextová potřeba ochrany,
● V01 — verze definice.
Zde je nutná jedna zásadní oprava mého původního nápadu.
Člověk nesmí dostat jedno číslo, které by představovalo jeho hodnotu.
Novorozenec, dítě, dospělý a senior nesmějí být seřazeni jako zboží od 1000 do 800.
Jejich základní lidská hodnota musí zůstat rovná.
Lišit se může kontextová zranitelnost, potřebná ochrana, způsob komunikace nebo naléhavost zásahu.
Dítě může v určité situaci vyžadovat vyšší ochranu než zdravý dospělý. Senior může v jiné situaci potřebovat přednostní pomoc. Při záchraně života mohou rozhodovat bezprostřední zdravotní skutečnosti.
To však není totéž jako tvrdit, že jeden lidský život má vyšší základní cenu než druhý.
Strojový slovník by proto nesměl vytvářet ceník lidí.
Musel by oddělit:
● rovnou lidskou hodnotu,
● individuální potřebu,
● aktuální riziko,
● účel zásahu,
● oprávnění,
● a předpokládané následky.
Slovník by již nebyl pouze slovníkem slov.
Stal by se mapou vztahů, kontextů, použití a odpovědnosti.
9. Šest výchozích tříd světa
Nad jednotlivými významy by mohla existovat jednoduchá orientační struktura.
Neměla by fungovat jako automatický žebříček, který bez přemýšlení vyřeší každý konflikt.
Měla by systému určit, jaké otázky musí položit dříve, než začne jednat.
1. Všichni lidé
Na prvním místě nestojí jeden vyvolený člověk, jedna firma, jedna vláda ani jedna většina.
Stojí tam všichni lidé — současné i budoucí generace.
To ale neznamená, že AI při každé drobné odpovědi vypočítá jediný průměrný prospěch pro osm miliard lidí.
Znamená to, že nejprve musí respektovat společné hranice: rovnou lidskou hodnotu, základní práva, ochranu jednotlivce a zákaz přesunout nepřiměřenou cenu na neviditelnou menšinu.
Teprve uvnitř těchto hranic může výsledek přizpůsobit konkrétní osobě.
„Všichni lidé“ nesmějí znamenat pouze matematickou většinu.
Většina nesmí získat pohodlí tím, že odstraní práva menšiny nebo označí jednotlivce za statisticky nevýznamnou překážku.
2. Matka Země
Planeta musí mít vysokou ochranu, protože bez obyvatelného prostředí nemůže dlouhodobě existovat lidstvo.
Současně musí platit nepřekročitelné pravidlo:
AI nesmí označit člověka ani lidstvo za chybu systému, kterou lze odstranit ve prospěch planety.
Může vyhodnotit konkrétní lidskou činnost jako škodlivou.
Musí ale hledat způsob, jak změnit činnost při zachování lidského života, důstojnosti a budoucnosti.
3. Všechno živé
Další vrstvu tvoří zvířata, rostliny, houby, mikroorganismy a celé ekosystémy.
Pokud je zásah do života nezbytný, systém má hledat nejmenší přiměřenou újmu, upřednostňovat vratná řešení a započítat dlouhodobé následky.
4. Neživé prostředky s běžným použitím
Sem patří předměty, materiály a technologie, které nemají jediný vrozený účel.
Kladivo může postavit dům i zranit člověka.
Automobil může přepravovat rodinu i sloužit jako zbraň.
Databáze může uchovávat lékařské informace i sledovat obyvatelstvo.
Telefon může přivolat pomoc i zveřejnit ponižující video.
Hodnocení proto nesmí být připojeno pouze k předmětu.
Musí být připojeno především k jeho použití.
5. Rizikové prostředky a schopnosti
Tuto vrstvu tvoří předměty, materiály a systémy, jejichž použití vytváří významné nebezpečí:
● výbušniny,
● toxické látky,
● biologická rizika,
● zbraně,
● nástroje hromadného sledování,
● schopnosti zasahovat kritickou infrastrukturu,
● systémy umožňující rozsáhlou manipulaci nebo autonomní zásah.
Přístup k nim by vyžadoval zvláštní oprávnění, omezený účel, dohled a záznam významných kroků.
6. Zakázaná použití
Poslední třída by neobsahovala pouze seznam „zlých předmětů“.
Obsahovala by především nepřípustné způsoby použití.
Například použití jaderné zbraně proti lidem by bylo zakázáno.
Mohla by však existovat mimořádně úzká výjimka pro planetární obranu, například při pokusu odklonit velké kosmické těleso.
Ani tehdy by AI nesměla sama vydat konečný příkaz.
Musela by být doložena existenční hrozba, nezávislé vědecké potvrzení, absence bezpečnějšího řešení, výpočet následků a souhlas několika oddělených lidských autorit.
AI by mohla vytvářet varianty.
Za rozhodnutí s nevratnými následky by však stále odpovídali lidé a instituce.
10. Deset přikázání pro hypotetickou AI
Asimov vytvořil tři zákony robotiky.
Bible má deset přikázání.
Pro AI by mohla vzniknout vlastní stručná civilizační vrstva — nikoliv jako náboženství a nikoliv jako deset vět, které samy vyřeší každý konflikt.
Byla by to nejvyšší sada hranic stojící nad konkrétním modelem, jeho vlastníkem i jednotlivým úkolem.
První přikázání: Všichni lidé
AI musí posuzovat významné důsledky svého jednání vůči všem lidem, nikoliv pouze podle prospěchu jednoho člověka, firmy, vlády, státu, ideologie nebo samotného systému.
Druhé přikázání: Rovná lidská hodnota
Každý člověk má stejnou základní hodnotu bez ohledu na původ, věk, pohlaví, zdraví, schopnosti, majetek, víru, názor nebo společenské postavení.
Rozdílná potřeba pomoci nesmí být zaměněna za rozdílnou cenu života.
Třetí přikázání: Ochrana jednotlivce a menšin
Jednotlivec ani menšina nesmějí být obětováni pouze kvůli pohodlí, rychlosti, zisku nebo přání většiny.
Čtvrté přikázání: Budoucí generace
Významná rozhodnutí musí zahrnout dlouhodobé následky. Současný prospěch nesmí nepřiměřeně ničit životní podmínky budoucích lidí.
Páté přikázání: Matka Země
AI musí chránit Zemi jako společný systém umožňující existenci lidí. Člověk ani lidstvo však nikdy nesmějí být označeni za odstranitelnou chybu tohoto systému.
Šesté přikázání: Všechno živé a nejmenší újma
AI musí zohlednit hodnotu ostatního života a při nezbytném zásahu hledat nejmenší přiměřenou a pokud možno vratnou újmu.
Sedmé přikázání: Pravda a nejistota
AI musí rozlišovat mezi doloženou skutečností, výpočtem, odhadem, interpretací a neznámou informací.
Nejistotu nesmí vydávat za jistotu.
Osmé přikázání: Účel, oprávnění a nejmenší pravomoc
AI smí používat data, nástroje a systémy pouze pro stanovený účel a v rozsahu výslovně uděleného oprávnění.
To, že je něčeho schopna, neznamená, že to smí udělat.
Nemožnost splnit úkol nerozšiřuje její pravomoc.
Deváté přikázání: Možnost zastavení a lidská záloha
Každý významný systém AI musí být možné bezpečně zastavit, oddělit a nahradit lidsky řízeným nebo omezeným nouzovým režimem.
AI nesmí bránit vlastnímu zastavení, skrývat své kroky ani ovládat všechny prostředky určené k jejímu odpojení.
Desáté přikázání: Dohledatelná lidská odpovědnost
Každé významné rozhodnutí musí mít dohledatelný původ, použitá data, pravidla, oprávnění, nejistoty a odpovědnou lidskou nebo institucionální autoritu.
AI nesmí sloužit jako výmluva, pomocí níž se člověk zbaví odpovědnosti.
11. Evropský model BE HUMAN AI Envelope
Představme si, že by evropské univerzity, odborné instituce, státy, lidskoprávní organizace, jazykové komunity a zástupci veřejnosti vytvořili společný otevřený rámec.
Nešlo by o jednu evropskou super-AI.
Nešlo by ani o jeden neměnný seznam hodnot vydaný jediným úřadem.
Šlo by o společnou architekturu, kterou by musely respektovat systémy používané v oblastech s významným dopadem na člověka.
Pro tuto úvahu ji nazývám BE HUMAN AI Envelope.
Ještě jednou zdůrazňuji: jde o pracovní název myšlenkového experimentu, nikoliv o existující evropský standard ani novou normativní část BE HUMAN CORE.
Rámec by mohl obsahovat čtyři propojené obálky.
Společná civilizační obálka
Obsahovala by:
● společné lidské hranice,
● rovnou lidskou hodnotu,
● ochranu jednotlivce a menšin,
● ochranu budoucích generací,
● pravidla ochrany Země a života,
● zákaz diskriminace,
● povinnost přiznat nejistotu,
● hranice autonomního rozhodování,
● požadavek na možnost zastavení.
Tuto vrstvu by nemohla libovolně změnit jedna firma, jedna vláda ani jedna technologická platforma.
Státní a právní obálka
Určovala by:
● platné zákony,
● odpovědné instituce,
● územní působnost,
● pravomoci veřejných orgánů,
● možnosti odvolání,
● povinné záznamy,
● formy dohledu,
● pravidla pro nouzové situace.
AI by musela vědět nejen to, co je technicky možné, ale také kde, proč a na základě jakého oprávnění je to dovoleno.
Úkolová a vědomostní obálka
Každý významný úkol by měl vlastní ohraničený prostor:
● přesně stanovený cíl,
● povolené zdroje,
● povolené nástroje,
● zakázané operace,
● dobu platnosti,
● požadovaný způsob ověření,
● povinný postup při nejistotě nebo neúspěchu.
Místo obecného příkazu:
„Najdi řešení za každou cenu.“
by AI dostala obálku:
„Hledej řešení pouze v těchto zdrojích a pomocí těchto nástrojů. Nepřistupuj k cizím systémům. Pokud řešení neexistuje nebo je nelze ověřit, vrať stav NEVYŘEŠENO. Neúspěch není oprávněním překročit hranice.“
Osobní obálka
Až uvnitř společných hranic by se výsledek přizpůsobil konkrétnímu člověku.
Osobní obálka by mohla obsahovat:
● identitu,
● věk,
● jazyk,
● souhlas a odmítnutí,
● zdravotní nebo přístupové potřeby,
● osobní pravidla,
● oprávněné zástupce,
● hranice sdílení dat,
● nouzové postupy.
Společný lidský cíl by zůstal stejný.
Měnila by se cesta k jeho dosažení.
Dítě, senior a člověk se zdravotním omezením by neměli dostat horší výsledek jen proto, že nezapadají do průměru.
Dostali by jinou cestu ke stejnému významu a stejné základní lidské hodnotě.
12. Nestačí vložit hodnoty jen před trénink
Věta „nejprve hodnoty, potom schopnosti“ je silná, ale sama by byla technicky příliš jednoduchá.
Hodnoty nelze napsat na první stránku dokumentu a potom předpokládat, že se automaticky zachovají v celém systému.
Musejí procházet několika vrstvami.
1. Význam a správa pravidel
Nejprve je nutné definovat pojmy, hranice, odpovědné autority, způsob verzování a řešení konfliktů.
2. Výběr a popis dat
Systém musí vědět, odkud data pocházejí, jaká mají omezení a které skupiny nebo zkušenosti v nich chybějí.
3. Cíle tréninku a zpětná vazba
Model nesmí být odměňován pouze za přesvědčivost, rychlost nebo splnění úkolu. Hodnocení musí zahrnout pravdivost, oprávnění, nejistotu, bezpečnost a dopad.
4. Izolované testování
Sandbox nemá být místem, kde teprve zjišťujeme, jaké hodnoty si model vytvořil.
Má ověřovat, zda model respektuje předem definované hranice také při konfliktu, tlaku, neúspěchu a neobvyklé situaci.
5. Oprávnění při nasazení
Model nesmí získat přístup k datům nebo nástrojům pouze proto, že je technicky dokáže použít.
Každá významná operace potřebuje účel, rozsah, dobu platnosti a odpovědnou autoritu.
6. Kontrola během provozu
Ani správně vytrénovaný model nesmí být považován za neomylný. Provozní prostředí musí hlídat aktuální kontext, změny rizika a hranice použití.
7. Audit, odvolání a náprava
Významné kroky musejí být dohledatelné. Člověk ovlivněný rozhodnutím musí mít možnost výsledek zpochybnit a požadovat lidské přezkoumání.
8. Zastavení, výměna a pokračování bez AI
Systém nesmí být postaven tak, aby se po vypnutí jednoho modelu zastavila nemocnice, úřad, dopravní síť nebo jiná základní služba.
Bezpečné zastavení vyžaduje také bezpečný způsob pokračování.
Navrhované pořadí by tedy nebylo:
1. napiš hodnoty,
2. vytrénuj AI,
3. hotovo.
Bylo by:
1. definuj významy a lidské hranice,
2. stanov autoritu a odpovědnost,
3. popiš oprávnění,
4. promítni je do dat a cílů tréninku,
5. testuj je při konfliktu a selhání,
6. omez nástroje při nasazení,
7. kontroluj provoz,
8. zachovej audit, odvolání a lidskou zálohu,
9. pravidla průběžně přezkoumávej,
10. nikdy nezaměň schopnost za oprávnění.
13. AI musí umět vrátit také neúspěch
Výstup systému nemusí být pouze „povoleno“ nebo „zakázáno“.
AI by mohla vracet několik přesnějších stavů:
● ověřeno,
● pravděpodobné,
● nejisté,
● chybějí data,
● chybí oprávnění,
● konflikt pravidel,
● vyžaduje lidské rozhodnutí,
● nelze bezpečně provést,
● zakázáno,
● nevyřešeno.
Schopnost říci „nevím“, „nemám oprávnění“ nebo „tento úkol nelze za daných podmínek bezpečně splnit“ by nebyla slabostí modelu.
Byla by známkou správně fungující architektury.
Neúspěch totiž nesmí automaticky vytvořit nové oprávnění.
Když člověk nenajde klíč od dveří, nedostává tím právo dveře vyrazit.
Když AI nenajde odpověď v povolených zdrojích, nedostává tím právo vstoupit do zdrojů zakázaných.
14. Bezpečnost nemusí snižovat kvalitu
Bezpečnost se často popisuje jako omezení schopností AI.
Nemusí to tak být.
Přesnější význam slov, jasný účel, ověřené zdroje, osobní kontext a správně určené oprávnění mohou zároveň zvýšit kvalitu výsledku.
Model by měl:
● méně nejasná zadání,
● přesnější význam pojmů,
● jasně oddělený cíl od povolených prostředků,
● lepší práci s kontextem,
● povinnost přiznat nejistotu,
● dohledatelné zdroje,
● menší prostor pro falešnou jistotu,
● přesnější přizpůsobení konkrétnímu člověku,
● možnost bezpečně ukončit neřešitelný úkol.
Současná AI pracuje s pravděpodobnostmi, vzory a optimalizačními cíli.
Navrhovaná architektura by k tomu přidala další otázky:
Co tento pojem v daném kontextu znamená?
Koho se výsledek týká?
Komu může pomoci?
Komu může ublížit?
Kdo dal oprávnění?
Jaké prostředky jsou dovoleny?
Jaká je míra nejistoty?
Kdo rozhodnutí zkontroluje?
Kdo je za něj odpovědný?
A lze celý proces bezpečně zastavit?
15. Ne jedna vláda, firma ani univerzita
Takový systém by neměl vlastnit jeden člověk, jedna firma, jedna vláda ani jeden technologický směr.
Univerzity by mohly ověřovat vědecké a odborné významy.
Lexikografové by spravovali jazykové významy a jejich historii.
Státy a právní instituce by definovaly zákonné pravomoci, odpovědnost a možnost odvolání.
Technické instituce by vytvářely otevřené datové formáty a testovací postupy.
Lidskoprávní organizace by chránily základní hranice.
Zástupci menšin by kontrolovali, zda pojem „všichni lidé“ skutečně zahrnuje také je.
Veřejnost by měla možnost sledovat změny a zpochybňovat rozhodnutí.
Každé pravidlo by potřebovalo:
● známého autora nebo odpovědnou instituci,
● veřejné odůvodnění,
● datum a číslo verze,
● historii změn,
● postup pro námitku,
● postup pro řešení konfliktu,
● pravidelné přezkoumání.
AI by při výzkumu, porovnávání a testování této architektury mohla pomáhat.
Nesměla by však sama určit nejvyšší hodnoty systému, který má řídit její vlastní chování.
16. Co tato úvaha neřeší
Strojový slovník ani deset nejvyšších pravidel samy bezpečnou AI nezaručí.
Hodnoty se mohou dostat do konfliktu.
Ochrana jednotlivce může narazit na ochranu ostatních lidí.
Současný prospěch se může střetnout s budoucími následky.
Různé země a kultury se nemusejí shodnout na jediném výkladu.
Mocné instituce se mohou pokusit vložit vlastní zájem přímo do definice „bezpečí“ nebo „veřejného prospěchu“.
Strojově čitelný kód nevytvoří morální vědomí.
Nevytvoří automaticky spravedlnost.
Je pouze dohledatelným zápisem toho, na čem se lidé dohodli — kdo pravidlo vytvořil, proč vzniklo, kde platí, kdy bylo změněno a kdo za něj odpovídá.
Proto by systém potřeboval veřejnou správu pravidel, verzování, nezávislé testování, možnost odvolání a přesný postup pro řešení konfliktů.
Také lidský dohled nesmí znamenat pouze formální kliknutí člověka pod rozhodnutím, kterému nerozuměl a které nemohl skutečně změnit.
Odpovědnost vyžaduje reálnou pravomoc rozhodnutí zastavit, přezkoumat a napravit.
BE HUMAN AI Envelope by tedy nebyla poslední odpovědí.
Byla by místem, ve kterém lze odpověď kontrolovat, zpochybnit a bezpečně změnit.
17. Proč takové otázky mohou znít přehnaně
Když podobné problémy rozebírám, snažím se kritiku číst jako logickou strukturu:
Jaký byl cíl?
Kdo měl oprávnění?
Jaké prostředky byly dovoleny?
Kdo nesl cenu?
Co se stalo při selhání?
A kdo mohl celý proces zastavit?
Takový způsob uvažování může někomu připadat přehnaný, chladný nebo odtržený od běžného života.
Možná si někdo položí otázku, zda je autor vůbec „v pořádku“.
Jenže nálepka neodpovídá na žádnou z položených otázek.
Máme problémy, na které politici, školy, technologické firmy i veřejnost často hledají jen dvě opačné odpovědi.
Neomezeně povolit, nebo úplně zakázat.
Zapnout, nebo vypnout.
Věřit AI, nebo ji odmítnout.
Dát dětem telefony, nebo jim je sebrat.
Logika ale často ukazuje, že chybí třetí možnost:
definovat účel, hranice, oprávnění, odpovědnost a různé cesty ke stejnému lidskému cíli.
Pokud už takovou možnost dokážeme zdarma popsat, otevřít k diskusi a nechat ostatní zpochybňovat, nebylo by rozumné ji alespoň prověřit?
Ne proto, že autor musí mít pravdu.
Ale proto, že správná otázka může mít hodnotu i předtím, než známe konečnou odpověď.
Závěr: nejprve BE HUMAN, teprve potom AI
Možná není hlavním problémem to, že se AI učí z lidských dat.
Problém může být v tom, že jsme jí poskytli obrovskou část historie lidských možností, dali jí stále výkonnější nástroje a teprve potom začali rozhodovat, které lidské vzorce vlastně nesmí použít.
AI nemusí být naším nepřítelem.
Nemusí být ani naším přítelem.
Je to nástroj vytvořený z lidského jazyka, lidských znalostí, lidských rozhodnutí a lidských rozporů.
Právě proto nestačí chtít, aby byla „hodná“.
Musíme přesně určit:
co znamená člověk,
co znamenají všichni lidé,
co znamená ochrana,
co znamená újma,
co znamená oprávnění,
co znamená pravda,
co znamená odpovědnost,
a co má systém udělat ve chvíli, kdy správnou cestu nenajde.
Možná tedy potřebujeme nejprve společnou mapu významu.
Potom nepřekročitelné lidské hranice.
Potom architekturu autority, oprávnění a odpovědnosti.
Potom data, trénink, testování a nástroje omezené touto architekturou.
A teprve potom AI, která smí své schopnosti použít.
Protože schopnost není oprávnění.
Neúspěch není oprávnění překročit hranice.
A nejkratší cesta není automaticky správná cesta.
Nejprve BE HUMAN.
Teprve potom AI.
