Článek
51. díl - perspektivy
Některé firmy, resp. jejich systémy označované souhrnně EdTech (vzdělávací technologie) školám nabízely použití kamer propojených na AI systém, který je schopný automaticky rozpoznávat, zda je žák znuděný, nesoustředěný, demotivovaný a dlouhodobě sledovat jeho angažovanost a emoce. Tyto „emotion analytics“ jsou od 1. 8. 2026 v EU zakázané.
Nařízení EU 2024/1689 neboli AI Act stanoví pravidla podle role, účelu a rizika konkrétního systému provázaného se zpracováním obsahu pomocí AI.
AI Act neukládá obecnou povinnost označit každý pracovní list, který učitel vytvořil s pomocí AI. Čl. 50 ale stanoví konkrétní povinnosti transparentnosti zejména u AI generovaného textu publikovaného za účelem informování veřejnosti o záležitostech veřejného zájmu, což se také vztahuje na vzdělávání dětí a komunikaci školy vůči rodičům o průběhu a hodnocení jejich dětí. Škola si však může stanovit vyšší standard transparentnosti v zájmu etiky a zachování důvěry v komunikaci.
Pro školy je vhodné doporučit pravidla překračující zákonné minimum AI Nařízení a přijmout jednoduché interní pravidlo: AI může pomáhat, ale její použití nesmí být skryté tam, kde má vliv na vzdělávací obsah, hodnocení nebo rozhodování o žákovi.
1. Použití AI musí být transparentní
Pokud zaměstnanec školy použije generativní AI při vytvoření podstatné části vzdělávacího, hodnoticího nebo veřejně publikovaného materiálu, uvede tuto skutečnost přiměřeným způsobem. Rozsah označení má odpovídat významu použití AI.
Doporučené formulace mohou být například: „Materiál byl vytvořen s podporou generativní AI a následně zkontrolován a upraven učitelem.“ nebo stručně „Vytvořeno s podporou AI; odborná kontrola: učitel.“
2. Za materiál vždy odpovídá konkrétní člověk
Použití AI nepřenáší odpovědnost na poskytovatele AI. Učitel musí před použitím materiálu ověřit jeho věcnou správnost, přiměřenost věku, soulad s kurikulem, případnou předpojatost a vhodnost použitých zdrojů. AI nesmí být uváděna jako autorita, která „rozhodla“.
3. AI může připravovat návrh hodnocení, nesmí však bez lidské kontroly hodnotit žáka.
Učitel může AI využít například k návrhu slovního hodnocení, formulaci zpětné vazby, vytvoření rubriky nebo analýze anonymizovaných odpovědí. Výsledné hodnocení však musí posoudit, případně upravit a převzít za něj odpovědnost učitel.
U hodnocení se doporučuje ještě přísnější školní pravidlo: o známce, slovním hodnocení, kázeňském opatření, doporučení další vzdělávací dráhy ani jiném rozhodnutí s významným dopadem na žáka nesmí rozhodnout generativní AI samostatně.
To zcela odpovídá rizikově orientované logice AI Actu. Některé AI systémy používané ve vzdělávání pro hodnocení výsledků učení, určování přístupu ke vzdělávání nebo významné řízení vzdělávací dráhy patří podle přílohy III mezi high-risk AI systems; nejde tedy o totéž jako běžné použití chatbotu učitelem pro pomoc s formulací komentáře.
4. Čím větší dopad na žáka, tím vyšší musí být míra lidské kontroly
Škola může zavést jednoduchý princip proporcionality za předpokladu, že učitel především ví, že AI dělá chyby.
- příprava nápadu: nízké riziko, běžná kontrola
- učitele výukový materiál: kontrola obsahu
- zpětná vazba žákovi: důkladná kontrola
- klasifikace nebo pedagogické rozhodnutí: rozhoduje člověk přijímání
- rozřazování či zásadní rozhodování o vzdělávací dráze: zvláštní právní posouzení systému
5. Osobní údaje žáků se nesmějí bez odpovídajícího právního a technického zabezpečení vkládat do veřejných AI služeb.
Do běžného veřejného chatbotu by učitel neměl kopírovat například celé vysvědčení konkrétního dítěte, zprávu poradenského zařízení, kázeňský záznam, zdravotní údaje nebo kombinaci informací umožňující identifikaci dítěte. Zde se AI Act překrývá především s GDPR a pravidly ochrany osobních údajů.
6. AI nesmí vytvářet psychologické soudy o dítěti
Učitel by neměl používat generativní AI například k určování, zda je dítě „depresivní“, „agresivní“, „líné“, „má ADHD“ apod. z jeho textů, kreseb, fotografie, hlasu či chování. Zvlášť významné je, že AI Act přímo zakazuje používání AI pro rozpoznávání emocí ve vzdělávacích institucích, s úzkými výjimkami z medicínských nebo bezpečnostních důvodů.
7. AI nesmí nahrazovat pedagogický vztah
AI lze využít pro administrativní a pomocné činnosti, ale rodič i žák mají mít možnost komunikovat s konkrétním člověkem. Automaticky generované hodnocení vydávané za osobní sdělení učitele je problematické eticky, psychologicky i pedagogicky: vytváří dojem individuálního posouzení, které ve skutečnosti provedl stroj.
8. AI vytvořený obrazový, zvukový a audiovizuální obsah musí být posuzován zvlášť
U deepfake obsahu AI Act přímo požaduje zveřejnění skutečnosti, že byl obsah uměle vytvořen nebo manipulován. U zjevně uměleckého či fiktivního díla je režim mírnější, ale existence AI manipulace má být vhodně sdělena.
9. Škola rozlišuje mezi pomocí AI a vytvořením práce AI
Stejný princip by měl platit pro učitele i žáky. Je rozdíl mezi použitím AI pro opravu překlepu, brainstorming nebo jazykovou korekturu a situací, kdy AI vytvoří podstatnou část výsledného díla. Pravidla školy by měla tyto stupně výslovně rozlišovat.
10. Škola stanoví pravidla také pro žáky
U každého typu práce má být předem jasné, zda je AI zakázána, povolena jako pomocný prostředek, nebo je její použití součástí zadání. Pokud ji žák použije, uvede způsob použití. Hodnocen má být především výkon, který lze přičíst žákovi.
11. Škola vede přehled používaných AI nástrojů
Nemusí evidovat každý jednotlivý prompt. Měla by však vědět, jaké AI systémy systematicky používá pro výuku, administrativu a hodnocení, kdo je používá, s jakými daty pracují a zda některý způsob použití nespadá do vyšší rizikové kategorie.
12. Zaměstnanci musí být v používání AI proškoleni
Tady už nejde pouze o doporučení školy. Článek 4 AI Actu požaduje, aby poskytovatelé a subjekty zavádějící AI přijímali opatření podporující AI literacy (AI gramotnost) osob, které AI jejich jménem používají. Evropská komise výslovně doporučuje, aby organizace, v našem případě škola, zohlednila používané systémy, kontext, rizika a znalosti zaměstnanců.
Pro školy lze uplatnit provizorně jednoduchou zásadu: použití umělé inteligence musí být dohledatelné a transparentní. Za každý výukový materiál, hodnocení a rozhodnutí vytvořené s podporou AI odpovídá konkrétní zaměstnanec školy. Čím větší dopad má výstup AI na práva, hodnocení nebo vzdělávací dráhu žáka, tím vyšší musí být míra lidské kontroly. AI nesmí samostatně rozhodovat o žákovi.
A vedle ní bych zavedl čtyři standardní označení, aby učitelé nemuseli pokaždé vymýšlet formulaci:
13. Použití a standardizace označení
- drobná jazyková korektura, formátovánínení:nutné interně označovat
- pomoc při tvorbě pracovního materiálu: vytvořeno s podporou AI
- významná část materiálu generována AI: obsah vytvořen s využitím AI, zkontroloval a upravil: [učitel]
- AI použita při přípravě hodnocení AI byla použita jako pomocný nástroj; výsledné hodnocení provedl: [učitel]
Toto poslední pravidlo bych považoval za zvlášť důležité. Rodič má právo vědět, zda osobně formulované hodnocení jeho dítěte skutečně napsal učitel, nebo zda vzniklo s významnou pomocí generativní AI. To není doslovný obecný příkaz AI Actu pro každé školní hodnocení; je to rozumný nadstandard školní transparentnosti, který z jeho principů odvozujeme. AI Act totiž transparentnost spojuje především s prevencí klamání a s možností člověka poznat, kdy vstupuje do hry AI.
Pokud má být toto použito jako oficiální směrnice školy, doporučuji ji rozdělit na čtyři části: učitelé – žáci – hodnocení – ochrana osobních údajů, a výslovně označit, co je pro školy závazné přímo na základě Nařízení o AI, Nařízení GDPR a co je vlastní přísnější pravidlo školy. Tím se vyhne škola tomu, že interní doporučení budeme nesprávně prezentovat jako požadavek evropského práva.
Zdroj:
https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng
