První legislativní úprava umělé inteligence je tady

I když finální znění horizontálního nařízení Evropského parlamentu a Rady, kterým se stanoví harmonizovaná pravidla pro UI neboli Akt o UI, ještě nebylo publikováno v Úředním věstníku EU, obsah není tajemstvím.

Tento výjimečný legislativní počin vůbec poprvé zavádí pravidla pro regulaci UI. Nařízení dopadne na všechny sektory s jedinou výjimkou, kterou je armáda. Hlavním cílem je tak pochopitelně právní jistota a vymezení jasných kritérií a pravidel pro aplikaci UI v EU se záměrem podpořit důvěru a bezpečnost v aplikacích UI.

Absence tohoto rámce byla vnímána jako brzda pro inovaci i ochranu spotřebitelů. Dalším cílem je bezpečnost, soukromí a práva občanů EU, prevence předpojatostí a diskriminace a rozhodně taktéž inovace a podpora globální konkurenceschopnosti EU. Ambicí evropského zákonodárce je taktéž vnímání AIA jakožto inspirace pro země mimo EU.

Co tedy tento legislativní počin obsahuje? Zaprvé samotnou definici UI. Její formulace byla dlouhodobým oříškem. Nakonec však byla domluvena tato verze: An AI system is a machine based system designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments. 

Požadavky Aktu o UI

Zadruhé vymezení povinností uživatelů i poskytovatelů/dovozců/distributorů UI. Výrazně byl diskutován požadavek na transparentnost, popř. vysvětlitelnost UI, kdy je vhodné brát v potaz, že vzhledem ke schopnosti samostatného učení UI může být ex ante omezena její předvídatelnost a ex post je omezena vysvětlitelnost. AIA však obsahuje i nároky na lidský dohled jakožto prevenci nebo minimalizaci potenciálních rizik, technickou dokumentaci a vedení záznamů, robustnost, přesnost a bezpečnostní opatření k zachování integrity a důvěrnosti dat a zajištění odolnosti systémů proti útokům, autorská práva apod. Kromě toho logicky vyžaduje vysoce kvalitní soubory dat pro trénink a testování systémů UI, které snižují rizika a diskriminační výsledky.

Zatřetí z pohledu pojistného sektoru relevantní klasifikaci rizikovosti aplikací UI a navazující povinnosti. Příloha III AIA zavádí kategorie, přičemž diferenciačním kritériem je rizikovost pro zdraví, bezpečnost a základní práva fyzických osob. První kategorií jsou aplikace nesoucí nízké riziko, což je dle zprávy Zvláštního výboru pro umělou inteligenci v digitálním věku (AIDA)³ většina případů využití UI. 

Poté aplikace s vysokým rizikem, kde jsou bohužel řazeny i některé činnosti využívané v pojišťovnictví. Jedná se o claims a underwriting. Proto tato kategorie s sebou nese zvýšené požadavky na testování, risk management, přístup k datům a jejich validaci (s respektem k GDPR), technickou dokumentaci a informační povinnost vůči uživatelům vč. práva na lidský zásah. Další povinností je registrace v rámci nové, veřejné EU databáze. Využití hodnocení rizik v pojišťovnictví a jeho dopad na život jednotlivce však nejsou srovnatelné se systémy UI používanými např. k hodnocení úvěruschopnosti nebo stanovení úvěrového skóre. To jsme během vývoje textu důkladně vysvětlovali, společně s tezí, že pojišťovnictví nese datacentrickou povahu již mnohem déle, vždy hojně využívalo data a algoritmy, jako např. při výpočtu pojistného, přičemž analýza dat tvoří nedílnou součást pojišťovací činnosti. Nové, sofistikovanější modely využívající strojové učení nebo UI pouze modernizují a recyklují tradiční vzorce pojišťovnictví. Následně tato optimalizace přináší výhody pro samotné pojišťovny i spotřebitele (také v postavení subjektů osobních údajů), protože se jedná o nutný požadavek pro analýzu rizik, hodnocení minulých událostí a predikci jejich výskytu v budoucnu. Takto to vnímá i EIOPA ve Zprávě k umělé inteligenci⁴ a OECD ve Zprávě k dopadům umělé inteligence a big dat na pojišťovnictví⁵, kde se uvádí, že granularita dat může vést i k prohloubení klasifikace rizik, kdy se pojistné stanoví na základě skupiny osob, které mají podobné rizikové profily. Podrobnější soubory dat umožňují zpřesnit klasifikaci rizik, což by mohlo vést ke snížení pojistného pro některé spotřebitele. V neposlední řadě sdílení takových dat a predikce ze strany pojistného sektoru mohou být excelentním podkladem např. pro medicínu či posílení prevence a bezpečnosti na silnicích. Také je vhodné brát v potaz, že tyto metody analýzy jsou dlouhodobě zavedené a již podléhají přísnému dohledu finančních regulačních orgánů. Navzdory silným argumentům však naše snahy o vysvětlení fungování pojišťovnictví nestačily ke změně postoje zákonodárců.

Poslední kategorií jsou zakázané aplikace UI, které skýtají nepřijatelné riziko pro základní práva fyzických osob. Jedná se o případy sociálního inženýrství, biometrické kategorizační systémy nebo sběr fotografií obličejů za účelem vytváření databází pro jejich rozpoznávání.

Myšlenkou AIA je kromě vymezení legislativních mantinelů taktéž podpora inovací v tomto rámci. K podpoře inovací v malých a středních podnicích mají sloužit takzvaná inovativní regulační prostředí určená k testování nových produktů v omezených a kontrolovaných podmínkách. 

Soulad s dalšími právními akty

Z pohledu pojistného sektoru je dále relevantní zajistit sémantickou, právní a technickou kompatibilitu s již existujícím právním rámcem i faktickými postupy. Z hlediska pojišťovnictví se jedná o rámec Solventnosti II (požadavky na efektivní správu a management, outsourcing, přesnost a kvalitu dat), IDD (požadavky na poradenství, řešení stížností, POG), DORA (požadavky na kybernetickou bezpečnost), ale také např. kritéria směrnice o nekalých obchodních praktikách vůči spotřebitelům na vnitřním trhu.

Zároveň je návrh AIA pojímaný jako nadstavba GDPR, a to ze dvou pohledů. Zaprvé, ambicí Evropské komise u AIA je dosáhnout podobného, celosvětově inspirativního minimálního standardu, jako tomu je u GDPR. Zadruhé, AIA by měla vycházet ze v GDPR již zakotvených zásad a nároků, především v oblastech práv subjektů osobních údajů včetně práva na lidské posouzení v případě automatizovaného rozhodování. Neposlední zásadní rovinou je úprava odpovědnosti v kontextu UI. Ve hře jsou dvě možnosti. Buď regulace v rámci nově revidované směrnice o odpovědnosti za škodu způsobenou vadou výrobku (PLD), anebo nová, UI specifická regulace (AILD). To však již bude agendou nově konstituované Evropské komise po červnových volbách do Evropského parlamentu. 

Platnost předpisu

Na finální schválení textu, který zavádí pravidla pro užívání modelů na bázi UI, bude navazovat implementační období. Lze předpokládat, že AIA vstoupí v účinnost v roce 2026. Do té doby bude, kromě dalších požadavků, nutno taktéž ustanovit specializovaný dohledový orgán v každém členském státě. 

Snad bude tato regulace přínosem, který naplní původní cíl zlepšení predikcí, optimalizaci operací a přidělování zdrojů, jakož i personalizaci poskytování služeb, a to v bezpečném, důvěryhodném prostředí, což poskytne klíčové konkurenční výhody společnostem v evropském hospodářství a následně i spotřebitelům.