První legislativní úprava umělé inteligence se blíží

Perspektivou pojišťovnictví je znatelná transformační kapacita UI, popř. strojového učení. UI je sofistikovaným, konektivním, autonomním systémem založeným na algoritmech, které závisejí na datech. Obrovskou byznysovou kapacitu služeb aplikujících UI lze dedukovat z odhadů, podle kterých od roku 2016 do roku 2025 dojde k 56násobnému nárůstu, z 644 mil. USD na 35 mld. USD² . Potenciál je vázán na existenci a analýzu velkých množství dat splňujících kvalitativní a kvantitativní předpoklady.

V této oblasti dochází k enormně rychlému vývoji, kdy podle Světového ekonomického fóra UI pojišťovnám umožní predikovat a reagovat na rizika s lepší přesností, zefektivní prevenci pojistných podvodů či přizpůsobení produktů³ . Kromě zefektivnění procesů např. u zpracování žádostí, vyhodnocování spokojenosti, vyřizování pojistných událostí, underwritingu je potenciál evidentní i v produktové rovině – vývoj nových pojistných produktů (např. v oblasti přírodních katastrof, pandemických rizik, ztráty dat či kybernetické bezpečnosti) za aplikace prediktivních analýz –, ale i v personalizaci produktů a cen (např. životní pojištění nebo pojištění vozidel) či komunikaci se spotřebiteli (např. chatbot, voicebot, virtuální asistenti). Nové techniky a přístup k většímu množství dat tak umožňují nejen důkladnější personalizaci nabízeného produktu, ale také přesnější vyhodnocení rizik či pojištění dosud nepojistitelných rizik z důvodu nedostatku podkladových údajů.

Zveřejnění návrhu AIA předcházela veřejná konzultace, která byla příležitostí pro komunikaci praxe a priorit pojišťoven s Evropskou komisí. V podstatě z hlediska transparentního vymezení podmínek aplikace a tím pádem posílení právní jistoty je ze strany pojistného sektoru tento nový rámec vítán. Podmínkou však je zajistit sémantickou, právní a technickou kompatibilitu s již existujícím právním rámcem i faktickými postupy. Z hlediska pojišťovnictví se jedná o rámec Solventnosti II (požadavky na efektivní správu a management, outsourcing, přesnost a kvalitu dat), IDD (požadavky na poradenství, řešení stížností, POG), ale také např. kritéria směrnice o nekalých obchodních praktikách vůči spotřebitelům na vnitřním trhu. Zároveň je návrh AIA pojímaný jako nadstavba GDPR, a to ze dvou pohledů. Zaprvé, ambicí Evropské komise u AIA je dosáhnout podobného, celosvětově inspirativního minimálního standardu, jako tomu je u GDPR. Zadruhé, AIA by měla vycházet z v GDPR již zakotvených zásad a nároků, především v oblastech práv subjektů osobních údajů včetně práva na lidské posouzení v případě automatizovaného rozhodování.

Přísná kategorizace

Co se týká dopadu, původní návrh Evropské komise obsahuje dělení aplikace UI do 3 kategorií dle rizikovosti. Rámec AIA by tedy neupravoval případy aplikace UI, které s sebou nesou minimální nebo žádné riziko, což je dle zprávy Zvláštního výboru pro umělou inteligenci v digitálním věku (AIDA)⁴ většina případů využití UI. Rámec by se však vztahoval na aplikace UI s nízkou úrovní rizikovosti, na které by se vztahovaly požadavky na informační povinnost a transparentnost (např. konverzační a asistenční UI poskytující informace), dále na aplikace UI s vyšším rizikem, na které by se vztahovaly požadavky vymezené AIA a ex ante posouzení kompatibility (např. recruitment). Poslední kategorií je aplikace UI nesoucí s sebou neakceptovatelné riziko (např. sociální inženýrství).

Tato kategorizace zamotala hlavu pojistnému sektoru, protože když koncem listopadu 2021 Rada publikovala svůj rámcový přístup navazující na návrh Evropské komise, bylo v příloze III návrhu AIA pojišťovnictví zařazeno mezi vysoce rizikové aplikace (konkrétně claims, underwriting), což hodnotíme velice negativně. Tyto aplikace mají zvýšené požadavky na testování, risk management, přístup k datům a jejich validaci (s respektem k GDPR), technickou dokumentaci a informační povinnost vůči uživatelům vč. práva na lidský zásah. Využití hodnocení rizik v pojišťovnictví a jeho dopad na život jednotlivce však nejsou srovnatelné se systémy UI používanými např. k hodnocení úvěruschopnosti nebo stanovení úvěrového skóre.

Pojišťovnictví nese datacentrickou povahu již mnohem déle, vždy hojně využívalo data a algoritmy, jako např. při výpočtu pojistného, přičemž analýza dat tvoří nedílnou součást pojišťovací činnosti. Z hlediska podkladových dat v pojišťovnictví neplatilo ani v minulosti, že méně je někdy více. Více je prostě více. Nové, sofistikovanější modely využívající strojové učení nebo UI pouze modernizují a recyklují tradiční vzorce pojišťovnictví. Následně tato optimalizace přináší výhody pro samotné pojišťovny i spotřebitele (také v postavení subjektů osobních údajů), protože se jedná o nutný požadavek pro analýzu rizik, hodnocení minulých událostí a predikci jejich výskytu v budoucnu. Takto to vnímá i EIOPA ve zprávě k umělé inteligenci⁵ a OECD ve zprávě k dopadům umělé inteligence a big dat na pojišťovnictví⁶ , kde se uvádí, že granularita dat může vést i k prohloubení klasifikace rizik, kdy se pojistné stanoví na základě skupiny osob, které mají podobné rizikové profily. Podrobnější soubory dat umožňují zpřesnit klasifikaci rizik, což by mohlo vést ke snížení pojistného pro některé spotřebitele. V neposlední řadě sdílení takových dat a predikce ze strany pojistného sektoru mohou být excelentním podkladem např. pro medicínu či posílení prevence a bezpečnosti na silnicích. Také je vhodné brát v potaz, že tyto metody analýzy jsou dlouhodobě zavedené a již podléhají přísnému dohledu finančních regulačních orgánů.

I ve věci kategorizace rizik je momentálně aktivní české předsednictví v Radě, které reaguje na vzniklou opozici některých členských států ohledně přístupu navrhovaného Evropskou komisí. Ten je obecně považován za příliš široký, a proto může selhat při identifikaci systémů, které „pravděpodobně nezpůsobí závažné porušení základních práv nebo jiné závažné důsledky“. Podle posledních informací z červencového jednání Rady došlo během českého předsednictví k vynětí pojišťovnictví z přílohy III návrhu nařízení, což je výbornou zprávou.

Odstraňování právních nejistot

Pro plnohodnotnou funkčnost plánovaného legislativního rámce je, jak bylo již naznačeno výše, relevantní také co nejoptimálnější taxonomie. Co nejdokonalejší formulace definice UI je relevantní nejenom z hlediska dostatečné míry právní jistoty aplikovaného AIA, ale také z důvodu pravděpodobné další navazující evropské (např. v kontextu úpravy odpovědnosti u UI) i globální inspirace (tzv. bruselský efekt po vzoru GDPR). Evropská komise vycházela v čl. 3 z definice OECD „a machine-based system that can, for a given set of human-defined objectives, make predictions, recommendations, or decisions influencing real or virtual environments“, kterou však rozšířila o software. To povede k zahrnutí systémů, technik a přístupů, které by neměly být považovány za UI, do oblasti působnosti a obecně povede k nejasnostem a nedostatku právní jistoty. I zde by se mělo navázat na dosavadní práci OECD (rámec pro klasifikaci UI), kde je např. uvedeno že „Microsoft Excel je systém pro ukládání a analýzu dat. Tento software umožňuje uživatelům ukládat, třídit a provádět základní analýzy zadaných dat. Není to však systém UI“. Totéž platí i pro celou řadu dalších typů softwaru, které mohou potenciálně spadat pod navrhovanou definici.

V kontextu pojistného sektoru tak hrozí riziko, že v praxi by se rozsah použití rozšířil na základní informační technologie, které se v pojišťovnictví již dlouho používají, jako jsou protokoly, prioritní fronty a statistické řízení procesů. Oblast působnosti by se mohla vztahovat dejme tomu na systém řízení procesů v pojišťovně, který během procesu vyřizování pojistných událostí zvedá pohledávky ve frontě na vyšší úroveň priority (např. „pohledávka je starší než 2 týdny“, „zvednout na nejvyšší úroveň priority ve frontě“), protože tento druh systému využívá technologii „logických a znalostních přístupů“.

Regulace UI by pochopitelně neměla obsahovat neodůvodněné překážky současné, bezrizikové aplikace a rovněž budoucího vývoje. V nejhorším případě by příliš široká oblast působnosti AIA mohla brzdit vývoj nových systémů a na druhé straně by mohla vést k nutnosti demontáže již existujících systémů. Statistické přístupy by z tohoto důvodu měly být z definice systému UI také vypuštěny. Ačkoli je základní zdůvodnění (že lineární regrese a podobné metody mohou způsobit podobnou nespravedlivou diskriminaci jako algoritmické modely) pochopitelné, nezdá se systematicky správné označovat za UI něco, co se za UI v technickém smyslu všeobecně nepovažuje.

Původní smysl AIA je upravovat a zmírňovat rizika „specifická pro UI“ – vznik nových (skrytých a nezamýšlených) předpojatostí, zesílení těchto předpojatostí, jakož i neprůhlednost mnoha systémů UI. Obecné riziko předpojatosti a nespravedlivé diskriminace by mělo být řešeno v rámci jiné, stávající regulace.

Definice „poskytovatele“ v článku 3 návrhu AIA rovněž vyvolává řadu otázek. „Poskytovatelem“ se rozumí fyzická osoba, právnická osoba, orgán veřejné moci, agentura nebo jiný subjekt, jiný než uživatel, který vyvíjí systém UI nebo který si nechává vyvíjet systém UI s cílem uvést jej na trh nebo do provozu pod svým jménem nebo ochrannou známkou, a to za úplatu nebo bezplatně. Návrh textu stanoví řadu povinností jak pro poskytovatele (zejména v článku 16), tak pro uživatele systémů UI. Podle článku 3 může být poskytovatelem někdo, kdo vyvíjí systém UI nebo kdo si nechá systém UI vyvinout. Zdá se, že většina systémů UI používaných v pojišťovnictví není vyvíjena interně, ale spíše externími vývojáři. Proto existuje riziko, že pojistitelé budou kvalifikováni jako poskytovatel, protože si nechávají vyvinout systém UI pro sebe, i uživatel podle čl. 3 odst. 4 návrhu. Mělo by být proto jasně stanoveno, že veškeré povinnosti poskytovatele podle AIA by měly být pro vývojáře, a nikoli pro pojistitele (kteří by měli být klasifikováni pouze jako uživatelé), neboť právě vývojář má veškeré potřebné know-how a technické znalosti.

Dále je potřeba vyjasnit i další definice, jako např. „základní soukromé služby“, „negativní dopad na základní práva“, „známá nebo předvídatelná rizika pro zdraví a bezpečnost nebo základní práva“.

Otázka kvality dat

Je rozhodně důležité zajistit, aby soubory tréninkových, validačních a testovacích dat podléhaly vhodným postupům správy a řízení dat. Ustanovení čl. 10 odst. 3 návrhu Evropské komise však požaduje, aby tyto soubory dat byly „bez chyb a úplné“. Ačkoli by mělo být vynaloženo maximální úsilí, aby se chybám předešlo, požadavek, aby údaje byly „bez chyb a úplné“, je fiktivní očekávání, které nezohledňuje realitu používání souborů údajů a možnost lidského pochybení. Požadavek na „úplnost“ datových souborů může být zavádějící i při práci s chybějícími hodnotami. Formulace týkající se potřeby úplnosti a přesnosti údajů by měla být rovněž zmírněna, aby více odpovídala smluvním prohlášením/ zárukám, které dostáváme od poskytovatelů údajů třetích stran. Mnozí poskytovatelé údajů ukládají smluvní ustanovení, že jejich údaje budou poskytovány tak, jak jsou, a že mohou obsahovat chyby a opomenutí, a vyžadují prohlášení o vyloučení odpovědnosti, pokud jde o úplnost, přesnost, aktuálnost, vhodnost nebo dostupnost poskytovaných údajů. Kromě toho by nemělo být přímým požadavkem použít při trénování modelu pomocí dat validační datovou sadu, protože ne všechny algoritmy vyžadují ladění hyperparametrů (případ použití, pro který byste obvykle konstruovali validační datové sady, které se liší od testovacích). Text se proto mohl změnit například takto: „Systémy UI s vysokým rizikem, které využívají techniky zahrnující trénování modelů pomocí dat, se vyvíjejí na základě souborů trénovacích a testovacích dat a případně i souborů validačních dat, které splňují kritéria kvality uvedená v…“

Přímý kontakt s umělou inteligencí

Zajímavou legislativní výzvou je i požadavek, aby systémy UI určené pro interakci s fyzickými osobami byly navrženy a vyvinuty tak, aby byly tyto osoby informovány o tom, že komunikují se systémem UI. Transparentnost zakotvená v čl. 52 návrhu AIA je klíčovým prvkem pro usnadnění lepšího porozumění a důvěry veřejnosti, pokud jde o používání a uplatňování UI. Zajištění jasnosti ohledně toho, kdy je UI používána a k jakému účelu, pomůže nejen zvýšit důvěru spotřebitelů v tuto technologii, ale také usnadní její celkové přijetí v průmyslu. Poskytování smysluplných a srozumitelných informací rovněž pozitivně přispěje k informovanějšímu rozhodování spotřebitelů. Požadavky v tomto ohledu by se však neměly ukázat jako zbytečně zatěžující v důsledku příliš širokého výkladu. Není hned zřejmé, jak vykládat pojmy jako „zřejmé z okolností a kontextu použití“, což vyvolává otázky, kdy by se měl požadavek na informace uplatnit. Mělo by být například jasné, že požadavek na transparentnost je relevantní pouze pro systémy UI, kde dochází k přímé interakci mezi systémem a zákazníkem a systém může plně/částečně ovlivnit volbu a/nebo práva zákazníka. Zde totiž opětovně narážíme nejen na limitovanou vysvětlitelnost, ale i na možnou neprůhlednost zapříčiněnou složitostí algoritmů. To nemusí být závislé pouze na primárně vložených datech (když vycházím z předpokladu, že se jedná o data, u kterých nehrozí riziko diskriminačního posouzení), ale jak hodnotí i Evropská komise ve zprávě k bezpečnosti a odpovědnosti umělé inteligence, IoT a robotiky⁷ , na základě efektu samostatného učení UI se může stát, že stroj učiní rozhodnutí odlišné od původně zamýšleného výrobcem nebo očekávaného uživatelem.

Jednotné hlášení incidentů

U ohlašování incidentů a nesprávného fungování systému UI je v čl. 62 návrhu uvedeno, že pokud jde o finanční služby, existuje již několik překrývajících se zákonných povinností hlášení incidentů a událostí (de lege lata GDPR, de lege ferenda, např. NIS2 ČI DORA), a to jak na úrovni EU, tak na vnitrostátní úrovni. V zájmu zefektivnění těchto přístupů by regulační proces měl zahrnovat zmapování všech povinností hlášení incidentů a vyhodnocení možnosti jejich zefektivnění. V současné době mohou být finanční subjekty nuceny hlásit jeden incident několikrát několika orgánům v různých členských státech, přičemž každé hlášení musí být podáno v místním jazyce a s použitím specializovaných vnitrostátních šablon. To vytváří zcela zbytečné administrativní náklady, zvyšuje riziko nedorozumění a může dokonce bránit řešení incidentu a zotavení z něj, protože cenné zdroje je třeba odklonit od skutečného řešení incidentu ke splnění překrývajících se zákonných oznamovacích povinností.

Specifická jsou i očekávání Evropské komise v čl. 83 návrhu AIA. Ten se vztahuje také na vysoce rizikové systémy UI, které byly uvedeny na trh nebo do provozu před datem použitelnosti, pokud u těchto systémů došlo k významným změnám v jejich konstrukci nebo zamýšleném účelu. Avšak zpětné splnění požadavků (například pokud jde o údaje o testování) v situaci, kdy byl systém UI již vyvinut, je velmi nákladné.

Dohled nad umělou inteligencí

Co se týká správy a dohledu, je z pohledu pojistného sektoru klíčový soulad kompetencí orgánů odpovědných za dohled a prosazování právních předpisů v oblasti finančních služeb i se systémy UI poskytovanými nebo používanými regulovanými a dohlíženými finančními institucemi (EIOPA v případě odvětví pojišťovnictví). V tomto duchu se vyjádřila i EIOPA, která ve svém dopisu evropským spoluzákonodárcům k návrhu AIA⁸ v červenci 2022 uvedla, že vítá iniciativu v této věci, avšak zdůrazňuje, že je nezbytné zvážit veškeré další regulační kroky týkající se využívání UI v pojišťovnictví, a to v kontextu stávajících odvětvových právních předpisů. Dále právě zmiňuje, že národní a evropské odvětvové dohledové orgány by měly zůstat odpovědné za vývoj a provádění další regulace a dohledu nad využíváním UI v tomto odvětví, a bere na vědomí, že účast evropských orgánů dohledu v připravovaném Evropském výboru pro UI by umožnila propojit finanční sektor s dalšími odvětvími využívajícími UI. Výrazně pozitivní je, že souladně s názorem trhu EIOPA navrhuje, aby specifické případy použití v pojišťovnictví nebyly zahrnuty do seznamu vysoce rizikových případů použití UI.

Dopis rovněž obsahuje přílohu s podrobnými připomínkami EIOPA k navrhovanému AIA, včetně konstatování, že definice UI je příliš široká a zachycuje matematické modely, které se tradičně používají a jsou proto již regulovány v pojišťovnictví. Vyzývá k užší definici se zaměřením na systémy UI, které se vyznačují výraznými vlastnostmi tradičních matematických modelů, jako je tomu v případě přístupů strojového učení.

K této věci se vyjádřila i Petra Hielkema, předsedkyně EIOPA. Ta uvedla, že orgány dohledu nad pojišťovnami by měly zůstat odpovědné za dohled nad využíváním UI pojišťovnami. Také se vyjádřila, že ne všechny případy využití UI v pojišťovnictví by měly být považovány za vysoce rizikové; využívání systémů UI při stanovování cen a upisování bude mít na spotřebitele větší dopad než např. využívání back-office operací s UI.

Evropský parlament zatím svou pozici nepublikoval. To může být ovlivněno také tím, že vzhledem ke komplexnosti problematiky úpravy UI je spoluzodpovědných několik výborů (IMCO, LIBE, JURI, ITRE, CULT). Z dostupných informací však plyne, že především výbory IMCO a LIBE aktivně pracují na kompromisních návrzích.

Náročná diskuze

Ze současného znění návrhu Evropské komise je patrné, že definice i návrh komplexně budou ještě předmětem složitého vyjednávání. Z materiálu, který české předsednictví vypracovalo v návaznosti na francouzské stanovisko, právě plyne, že považují za nezbytné zdokonalit taxonomii a věnují se také příliš široké definici vysoce rizikových aplikací UI. Prozatímní posun vyjímající pojišťovnictví z kategorie vysoce rizikových aplikací UI vytváří prostor pro očekávání funkčního legislativního rámce reflektujícího realitu. V následujících měsících snad bude zohledněno, že nové podmínky a povinnosti k aplikaci UI je tak vhodné formulovat v souladu se zásadou proporcionality tak, aby vznikl na zásadách založený horizontální rámec požadavků, aniž by nepřiměřeně omezoval nebo bránil technologickému vývoji a inovacím. Časový rámec může ovlivnit složitost vyjednávání dané problematiky, ale české předsednictví v Radě EU očekává, že obecného přístupu se povede dosáhnout do konce roku. Poté mohou započít trialogy mezi Evropskou komisí, Evropským parlamentem a Radou EU.

Vymezení odpovědnosti

Na návrh AIA přímo navazuje i evropská diskuze o modernizaci odpovědnostního rámce. Evropská komise zveřejnila dne 30. 6. 2021 konzultaci k plánu přizpůsobení pravidel odpovědnosti digitálnímu prostředí a UI⁹, která je součástí postupného přístupu EK k rozvoji ekosystému důvěryhodnosti pro UI a bude doplňovat navrhovaný akt o umělé inteligenci a pravděpodobně povede k revizi směrnice o obecné bezpečnosti výrobků (Product liability directive, PLD). V návaznosti na ní proběhla veřejná konzultace k PLD o občanskoprávní odpovědnosti a úpravě odpovědnosti v digitálnímu věku a UI¹⁰, kde bylo zjištěno, že je obtížné aplikovat směrnici na výrobky v digitálním a oběhovém hospodářství, a to zaprvé kvůli zastaralým pojmům. Např. v kontextu insurtechu už de facto není určujícím bodem pro hodnocení odpovědnosti uvedení výrobku do oběhu. Taxonomická nejednotnost může vést k budoucí právní nejistotě a limitaci vývoje. Nejednotným vnímáním terminologie se zaobírá i Smejkal¹¹, který popisuje absenci právních definic relevantních pojmů. Odkazuje na občanskoprávní pravidla pro robotiku¹², kterými Evropský parlament vyzval Evropskou komisi k navržení jednotných definic, což se snad povede právě v AIA.

Zadruhé, je obtížné získávání odškodnění spotřebitelů, zejména pokud jde o prokazování, že složité výrobky byly vadné a způsobily škodu. Jedná se např. o zakomponovaný software, který, je-li považován za produkt, spadá pod PLD. Je-li ale považován za službu, tak nikoli. Odškodnění a důkazní břemeno souvisí i s problematikou spletitostí dodavatelského řetězce. Hardware, software a služby tvoří technologické ekosystémy, což je ještě komplexnější u IoT, kde dochází k interakcím mnoha propojených zařízení, služeb a subjektů (designér, programátor, výrobce, poskytovatel, poskytovatel připojení, poskytovatel finální služby atd.). Zároveň se jedná o vyvíjející se systémy, takže modernizace může zamíchat kartami v posuzování původní a aktualizované verze.

Dále se jedná o již načrtnutou složitost algoritmů. To naráží nejen na limitovanou vysvětlitelnost, ale i na možnou neprůhlednost. To nemusí být závislé pouze na primárně vložených datech (když vycházím z předpokladu, že se jedná o data, u kterých nehrozí riziko diskriminačního posouzení), ale jak hodnotí i Evropská komise ve zprávě k bezpečnosti a odpovědnosti umělé inteligence, IoT a robotiky, na základě efektu samostatného učení UI se může stát, že stroj učiní rozhodnutí odlišné od původně zamýšleného výrobcem nebo očekávaného uživatelem. To vede k důsledku, že ex ante je omezena předvídatelnost UI a ex post je omezena vysvětlitelnost. Což nás opětovně dostává k důkaznímu břemenu. To je na straně subjektu OÚ dle mého názoru v praxi velmi těžce realizovatelné, a to jak z hlediska samotného pochopení fungování algoritmu, tak z hlediska ochrany obchodního tajemství apod. Jako průchodnější variantu vnímám kauzální odpovědnost za chybné chování UI, které vede ke vzniku škody.

Cílem EK je modernizovat pravidla odpovědnosti tak, aby zohledňovala vlastnosti a rizika insurtechu, komplexních digitálních a obchodních modelů, včetně produktů a služeb vybavených UI. Navazující konkrétní návrh Evropské komise však zatím nebyl předložen. U legislativního podchycení těchto složitých fenoménů je důležité zohlednění toho, že prvotním krokem k řádnému praktickému fungování UI je dostatečný datový vzorek, přičemž pro analýzu dat je nezbytná jednotná metodologie sběru. Z hlediska právní jistoty je pak nezbytností jasný rámec vycházející z principů proporcionality, rizikové založenosti, transparentnosti a vysvětlitelnosti složitého řetězce UI, možnosti lidského zásahu a prevence diskriminace, zajištění kybernetické bezpečnosti, rámce GDPR atd.