Evropská právní úprava odpovědnosti umělé inteligence

Aktivita evropských orgánů v oblasti digitalizace a kybernetické bezpečnosti 

Orientaci Evropské komise a následně dalších evropských spoluzákonodárců či dohledových orgánů na tyto oblasti bylo možné dedukovat již v roce 2020 z ambiciózní strategie Shaping Europe‘s Digital Future², Evropské strategie pro data³, Bílé knihy k umělé inteligenci⁴, Digitální finanční strategie⁵ či Strategie kybernetické bezpečnosti EU pro digitální dekádu⁶. Na tyto strategie navazují četné legislativní návrhy Evropské komise. Např. u směrnice ePrivacy momentálně probíhá zdlouhavý proces revize zahrnující modernizaci obsahu a změnu její formy na nařízení z důvodu překonání fragmentace národních úprav a sjednocení postavení uživatelů, což povede k jejich komfortnějšímu využívání služeb a zakotvení komplexnější úpravy elektronických komunikací s důrazem na aktuální vývoj v technologické a digitální oblasti v souladu s čl. 7, 8 Listiny základních práv EU a na technologickou neutralitu. Dále došlo k přijetí Aktu o digitálních trzích či Aktu o digitálních službách, v roce 2022 byla finalizována revidovaná verze horizontální směrnice o opatřeních k zajištění vysoké společné úrovně kybernetické bezpečnosti v Unii (NIS2) nebo pro pojistné odvětví více relevantní sektorově specifické nařízení o digitální provozní odolnosti finančního sektoru (DORA). Jsou v přípravě návrhy pro reciproční sdílení dat v různých odvětvích ekonomiky včetně financí a zdravotnictví, návrh nařízení o horizontálních požadavcích na kybernetickou bezpečnost produktů s digitálními prvky (CRA) a v neposlední radě aktuálně projednávaný návrh Aktu o umělé inteligenci (AIA)⁷, na který navazuje paralelní legislativní aktivita pro úpravu odpovědnosti. Zaprvé se jedná o modernizaci zastaralé směrnice o odpovědnosti za vadné výrobky (PLD)⁸. Zadruhé se jedná o historicky první specifickou regulaci umělé inteligence (UI) v kontextu odpovědnosti obsažené v návrhu směrnice o odpovědnosti za umělou inteligenci (AILD)⁹. Právě analýze obsahu a relevance posledních tří návrhů v kontextu pojišťovnictví je věnován tento článek. 

Pochopitelně, výčet výše je spíš orientační než taxativní. Avšak tento nový multilevelový rámec, jenž může výrazně změnit poskytování nejen finančních služeb, je pro pojistný trh vysoce aktuální. Ve hře je jak konkurenceschopnost EU jako celku, tak jednotlivých odvětví, ve vztahu k ostatním globálním hráčům – ve smyslu států, především Číny a USA, i ve smyslu technologických gigantů, gatekeepers, u kterých se očekává byznysový přesah do dosud neřešených oborů. Konkrétní dopady pro rozvoj v oblasti pojišťovnictví rozebírám níže. 

Dopady na finanční sektor 

Finanční sektor tedy prochází turbulentním vývojem, na který reagují jak etablovaní tržní hráči, tak nové subjekty. Tyto aspekty povedou k vůbec první nebo důkladnější úpravě některých institutů; zmiňované příklady nejsou uzavřeným výčtem všech aktuálních insurtechů – a tedy nových technologií v pojišťovnictví, jako jsou např. právě UI, big data, cloud computing či blockchain. I zde však totiž platí, že mezi technologickým a legislativním vývojem se jedná o závod zajíce a želvy, na což upozorňuje třeba i Harari¹⁰.

Navzdory určité rigiditě, která v pojistném sektoru panuje v důsledku detailních legislativních a regulatorních požadavků, dochází v posledních letech k postupné modernizaci, digitalizaci a zavádění technologicky inovativních postupů a řešení, což má nepochybně i tržní důvody. 

Nelehkým úkolem je tak zakotvení proporcionálního principu de lege ferenda. Kromě eventuálně sporných příkladů na následujících stránkách detailněji zkoumám institut nesoucí potenciál pro pojišťovnictví, UI, a to včetně IoT a big dat, jelikož perspektivou pojišťovnictví je znatelná transformační kapacita UI, popř. strojového učení. 

Umělá inteligence, IoT a pojišťovnictví 

UI je sofistikovaným, konektivním, autonomním systémem založeným na algoritmech, které závisejí na datech. Obrovskou byznysovou kapacitu služeb aplikujících UI lze dedukovat z odhadů, podle kterých od roku 2016 do roku 2025 dojde k 56násobnému nárůstu, z 644 mil. USD na 35 mld. USD¹¹. Potenciál je vázán na existenci a analýzu velkých množství dat splňujících kvalitativní a kvantitativní předpoklady. 

V této oblasti dochází k enormně rychlému vývoji, kdy podle Světového ekonomického fóra UI pojišťovnám umožní predikovat a reagovat na rizika s lepší přesností, zajistit prevenci pojistných podvodů či přizpůsobovat produkty¹² (např. v oblasti přírodních katastrof, pandemických rizik, ztráty dat či kybernetické bezpečnosti), ale i personalizaci produktů a cen (např. životní pojištění nebo pojištění vozidel), komunikaci se spotřebiteli (např. chatbot, voicebot, virtuální asistenti), zpracování žádostí, vyhodnocování spokojenosti, vyřizování pojistných událostí či underwriting. Nové techniky a přístup k většímu množství dat tak umožňují nejen důkladnější personalizaci nabízeného produktu, ale také přesnější vyhodnocení rizik či pojištění dosud nepojistitelných rizik z důvodu nedostatku podkladových údajů. 

Pojišťovnictví však nese datacentrickou povahu již mnohem déle, než je znám fenomén big dat. Z hlediska podkladových dat v pojišťovnictví neplatilo ani v minulosti, že méně je někdy více. Více je prostě více. Big data by se dala popsat jako vysoce objemná, rychlá a různorodá informační aktiva, která vyžadují nákladově efektivní, inovativní formy zpracování informací pro posílení dovedností a rozhodování¹³. Vzhledem k povaze pojistného odvětví je pro jeho řádný a korektní výkon, včetně minimalizace rizik, potřeba zpracovávání četného množství dat, osobní údaje nevyjímaje. To uznává i de Azevedo Cunha¹⁴. Na základě těchto osobních údajů lze pak nastavit nejvíce vyhovující individuální podmínky pro klienta a poskytovat optimální služby. Platí to především u životního pojištění nebo pojištění nemoci, která jsou sjednávána obvykle na poměrně dlouhou dobu, a např. znalost zdravotního stavu zájemce o pojištění je v těchto případech při rozhodování pojistitele o přijetí návrhu podstatná¹⁵. 

Jak bylo naznačeno výše, nové modely, včetně těch využívajících UI, však dle mého názoru pouze modernizují a recyklují tradiční vzorce pojišťovnictví. Následně tato optimalizace přináší výhody pro samotné pojišťovny i spotřebitele také v postavení subjektů osobních údajů, protože se jedná o nutný požadavek pro analýzu rizik, hodnocení minulých událostí a predikci jejich výskytu v budoucnu. Takto to vnímá i EIOPA ve Zprávě k umělé inteligenci¹⁶ a OECD ve Zprávě k dopadům umělé inteligence a big dat na pojišťovnictví¹⁷, kde se uvádí, že granularita dat může vést i k prohloubení klasifikace rizik, kdy se pojistné stanoví na základě skupiny osob, které mají podobné rizikové profily. Podrobnější soubory dat umožňují zpřesnit klasifikaci rizik, což by mohlo vést ke snížení pojistného  pro některé spotřebitele na jedné straně, ale upozorňuje se na možné negativní konsekvence, jako např. na exkluzi nabídky pojištění pro jiné spotřebitele. 

Proto jedná-li se o osobní údaje, je samozřejmě nutné rozlišovat míru rizikovosti jednotlivých aplikací a také související odpovědnosti za škodu. Nastíním kategorizaci typických aplikací UI v pojišťovnictví dle míry GDPR rizikovosti. Mezi nízce rizikové aplikace se řadí: UI vytvořená k efektivnímu plnění jednoduchého úkolu, např. automatizace interních procesů či konverzační a asistenční UI poskytující informace; dále i automatické vyřizování žádostí, např. u pojištění motorových vozidel dle zaslaných fotografií, což přináší časovou úsporu a zvyšuje komfort klienta; taktéž prevence pojistných podvodů, kde by se mohlo jednat o jeden z nástrojů snížení enormní částky 13 mld. EUR v EU¹⁸ prostřednictvím analýz dat z různých zdrojů k detekci podvodných znaků. Specifický potenciál vidím také v analýze názorů a postojů klientů, kdy u telefonického hovoru UI přepisuje dialog do textové podoby a dle obsahu vyhodnotí spokojenost klienta, který obdrží kopii. Tím zároveň dojde k méně pracnému naplnění požadavků IDD. Pro případné etické otázky vidím jako řešení právo na lidské posouzení, a to nejen u UI orientované na klienta, ale také u prevence pojistných podvodů. 

Do kategorie nesoucí vyšší rizikový potenciál patří underwriting a výpočet pojistného. Údaje poskytnuté
v souhlasovém režimu mohou být podkladem pro přesnější výpočty (např. u životního pojištění či pojištění motorových vozidel), což může vyústit v kvalitnější obecnou predikci a následně celkové snížení pojistného (např. u povodní). Mezi rizikovější aplikace náleží i behaviorálně prediktivní analýzy, kdy samoučící se UI hodnotí chování klienta, předvídá jeho vývoj a dle toho nabízí služby individuální a personalizované povahy (např. u narození dítěte, rozvoje nemoci). 

Právě zde existuje potenciální riziko rozevírání nůžek v přístupu k finančním službám – reverzní selekce neboli exkluze, kdy někteří zájemci z objektivních příčin na službu pojištění nedosáhnou. To sice není požadovaným stavem, ale nepovažuji za pobuřující tvrdit, že pojišťovnictví není charita. Jedná se o odvětví finančních služeb, které reaguje na tržní a společenský vývoj. Navzdory tomu, že funguje na principu solidarity, není prakticky možné vykládat to nesmyslně extenzivně, jelikož pojišťovna je povinna dodržovat i solventnostní kapitálové požadavky dle Solventnosti II a další povinnosti. 

Specifickou kategorií UI je Internet of Things (IoT). Definice pojmu není sjednocena, avšak Evropská komise IoT vymezuje jako „rozsáhlý ekosystém fyzických objektů připojených k internetu, které jsou schopny samy sebe identifikovat a sdělovat data ostatním objektům pomocí komunikační sítě pro digitální zpracován퓹⁹. U IoT tak pro pojišťovnictví plynou výhody obdobné jako u telematiky, a to z hlediska dostupnosti údajů v reálném čase. Dalším příkladem jsou wearables apod. Data z těchto zařízení mohou být základem pro hodnocení rizikovosti daného klienta a mohou ovlivnit následně stanovenou výši pojistného. Z toho samozřejmě plynou individuální underwritingové výhody pro nízkorizikové klienty, např. sportující u životního pojištění nebo stabilní řidiče u pojištění motorových vozidel; za aplikace big dat analýz pak i v obecné rovině u tvorby, poradenství a distribuce produktů dle (v reakci na technologický rozvoj v budoucnu revidované) IDD. 

V neposlední řadě sdílení takových dat a predikce ze strany pojistného sektoru mohou být excelentním podkladem např. pro medicínu či posílení prevence a bezpečnosti na silnicích. Nicméně v obecné rovině existuje riziko identifikace, monitorování chování, lokace, ovlivňování rozhodování jednotlivce a dnes už ne až tak absurdní představy „bodování“ podle dystopického „vzoru“ čínského sociálního kreditového systému. Smejkal to vnímá jako další módní fenomén dneška, jehož prognózy jsou úžasné, leč rizika rovněž.²⁰ Upozorňuje především na riziko zneužití, kdy na příkladu inteligentní budovy uvádí, že ta může být naším hlídačem, ale i věznitelem a udavačem. Obdobné příklady jsou již známé z nedaleké minulosti, např. Google „spy-fi“ skandál týkající se extrakce nezašifrovaných údajů z domácností ze strany Google street aut byl odhalen německou Federální komisí pro ochranu dat. To vyústilo v opt-out z této služby ze strany téměř 250 000 německých domácností a pokuty pro Google.²¹ Zde se rovněž vybaví analogie ke známému dílu Orwella 1984 či opomíjenému dílu Burgesse 1985. Ztotožňuji se s komentářem Smejkala²². Čím více věcí bude podle něho připojeno (stane se součástí kyberprostoru), s tím větším rizikem zneužití se musí počítat. Nejenom oblast ochrany osobních údajů tak čekají nelehké výzvy sloučené i s vývojem tohoto technologického výdobytku a prevencí nežádoucích důsledků.

Tyto výzvy se v konkrétní rovině již projevují v rámci aktuálně probíhajících evropských legislativních procesů u AIA, AILD a PLD. 

Regulace UI 

První krok k regulaci je známý z Kalifornie, USA, kde v roce 2018 došlo k přijetí zákona upravujícího IoT²³, jenž je účinný od roku 2020 a zavádí povinnost výrobce vybavit připojené zařízení zákonně stanovenými bezpečnostními prvky. Jedná se o první úpravu této oblasti na světě, která může být inspirací snaze o horizontální legislativní úpravu UI v EU. 

Ta započala publikací návrhu AIA ze strany Evropské komise v dubnu 2021. Aktuálně probíhá hodnocení textu návrhu
ze strany Evropského parlamentu (kde je situace komplikována taktéž početnými spoluodpovědnými výbory – IMCO, LIBE, JURI, CULT a ITRE, z čeho lze dovodit širokospektrální charakter navrhované úpravy) a Rady a lze očekávat, že trialogy budou probíhat v roce 2023. Evropská komise zdůrazňuje, že dosáhne dalšího „bruselského efektu“ per analogiam GDPR, čímž by vytvoření prvního regulačního rámce UI na světě skutečně mohlo získat výhodu prvního tahu při stanovování mezinárodních standardů v oblasti UI založených na evropských hodnotách, jakož i úspěšně vyvážet „důvěryhodnou UI“ do celého světa. 

Že to nebude prostá cesta, lze dedukovat již dnes. V návrhu Evropské komise reflektujeme nejenom optikou pojistného sektoru několik komplikovaných oblastí, ve kterých nebude jednoduché dosáhnout kompromisu. Na jedné straně je tento návrh vítán, a to jako dosud absentující přiměřený a na zásadách založený horizontální rámec požadavků, který by neomezoval nebo nebránil technologickému vývoji a inovacím. Na straně druhé však nelze ignorovat nedostatky. Zaprvé, je fundamentální řádně vymezit taxonomii jakožto nutnou predispozici pro následnou unifikovanou implementaci pravidel. Co nejdokonalejší formulace definice UI je relevantní nejenom z hlediska dostatečné míry právní jistoty aplikovaného AIA, ale také z důvodu pravděpodobné další evropské (např. v kontextu úpravy odpovědnosti u UI) i globální inspirace (tzv. bruselský efekt). Evropská komise vycházela z definice OECD²⁴, kterou rozšířila o software. To povede k zahrnutí systémů, technik a přístupů, které by neměly být považovány za UI, do oblasti působnosti a obecně povede k nejasnostem a nedostatku právní jistoty. V kontextu pojistného sektoru tak hrozí riziko, že v praxi by se rozsah použití rozšířil na základní informační technologie, které se v pojišťovnictví již dlouho používají, jako jsou protokoly, prioritní fronty a statistické řízení procesů. Oblast působnosti by se mohla vztahovat například na systém řízení procesů v pojišťovně, který během procesu vyřizování pojistných událostí zvedá pohledávky ve frontě na vyšší úroveň priority, protože tento druh systému využívá technologii „logických a znalostních přístupů“. Dalším příkladem může být použití statistických přístupů při přidělování žádosti specializovanému odborníkovi („nemocenská 3 měsíce nebo více“ + „fyzická práce“ + + „pokročilý věk“ apod.). 

Regulace UI by neměla obsahovat neodůvodněné překážky. V nejhorším případě by příliš široká oblast působnosti AIA mohla brzdit vývoj nových systémů a na druhé straně by mohla vést k nutnosti demontáže již existujících systémů. Statistické přístupy by měly být z definice systému UI také vypuštěny. Ačkoli je základní zdůvodnění (že lineární regrese a podobné metody mohou způsobit podobnou nespravedlivou diskriminaci jako algoritmické modely) pochopitelné, nezdá se systematicky správné označovat za UI něco, co se za UI v technickém smyslu všeobecně nepovažuje. 

AIA by měl upravovat a zmírňovat rizika „specifická pro UI“ – vznik nových (skrytých a nezamýšlených) předpojatostí, jejich zesílení, jakož i neprůhlednost mnoha systémů UI. Obecné riziko předpojatosti a nespravedlivé diskriminace by mělo být řešeno v rámci jiné regulace, jako jsou antidiskriminační předpisy. 

Dále, definice „poskytovatele“ v článku 3 návrhu AIA Evropské komise rovněž vyvolává řadu otázek. „Poskytovatelem“ se rozumí fyzická i právnická osoba, orgán veřejné moci, agentura nebo jiný subjekt, jiný než uživatel, který vyvíjí systém UI nebo který si nechává vyvíjet systém UI s cílem uvést jej na trh nebo do provozu pod svým jménem nebo ochrannou známkou, a to za úplatu nebo bezplatně. Návrh textu stanoví řadu povinností jak pro poskytovatele, tak pro uživatele systémů UI. Většina systémů UI používaných v pojišťovnictví není vyvíjena interně, ale spíše externími vývojáři. Proto existuje riziko, že pojistitelé budou kvalifikováni jako poskytovatel, protože si nechávají vyvinout systém UI pro sebe i uživatele. Mělo by být proto jasně stanoveno, že veškeré povinnosti poskytovatele podle AIA by měly být pro vývojáře, a nikoli pro pojistitele (kteří by měli být klasifikováni pouze jako uživatelé), neboť právě vývojář má veškeré potřebné know-how a technické znalosti. 

Kromě toho je potřeba vyjasnit i další definice, např. „základní soukromé služby“, „negativní dopad na základní práva“, „známá nebo předvídatelná rizika pro zdraví a bezpečnost nebo základní práva“. 

Zapeklitou je i úprava správy dat. Je důležité zajistit, aby soubory tréninkových, validačních a testovacích dat podléhaly vhodným postupům správy a řízení dat. Návrh Evropské komise však požaduje, aby tyto soubory dat byly „bez chyb a úplné“. Ačkoli by mělo být vynaloženo maximální úsilí, aby se chybám předešlo, tento požadavek je nerealistickou hranicí nezohledňující realitu používání souborů údajů a možnost lidského pochybení. Formulace by měla být zmírněna, aby více odpovídala smluvním prohlášením/ zárukám, které dostáváme od poskytovatelů údajů třetích stran. Mnozí poskytovatelé údajů ukládají smluvní ustanovení, že jejich údaje budou poskytovány tak, jak jsou,  a že mohou obsahovat chyby a opomenutí, a vyžadují prohlášení o vyloučení odpovědnosti, pokud jde o úplnost, přesnost, aktuálnost, vhodnost nebo dostupnost poskytovaných údajů. 

Z pohledu spotřebitele je rozhodně podstatný vhodně, ale i realisticky zvolený přístup k transparentnosti. Jedná se o požadavek, aby systémy UI určené pro interakci s fyzickými osobami byly navrženy a vyvinuty tak, aby byly tyto osoby informovány o tom, že komunikují se systémem UI. Transparentnost je klíčovým prvkem pro usnadnění lepšího porozumění a důvěry veřejnosti. Zajištění jasnosti ohledně toho, kdy je UI používána a k jakému účelu, pomůže nejen zvýšit důvěru spotřebitelů v tuto technologii, ale také usnadnit její celkové přijetí v průmyslu. Poskytování smysluplných a srozumitelných informací rovněž pozitivně přispěje k informovanějšímu rozhodování spotřebitelů. Požadavky v tomto ohledu by se však neměly ukázat jako zbytečně zatěžující v důsledku nadmíru širokého výkladu. Není hned zřejmé, jak vykládat pojmy jako „zřejmé z okolností a kontextu použití“. Mělo by být například jasné, že požadavek na transparentnost je relevantní pouze pro systémy UI, kde dochází k přímé interakci mezi systémem a zákazníkem a systém může plně/částečně ovlivnit volbu a/nebo práva zákazníka. 

Dále je pro pojistný sektor relevantní i kompatibilita s již existujícími legislativními požadavky. Kromě GDPR se jedná např. o požadavky na efektivní správu a management či outsourcing dle Solventnosti II, přesnost a kvalitu dat dle delegovaného nařízení 2015/35, požadavky na poradenství, přístup, řešení stížností dle IDD a také POG, požadavky dle antidiskriminační směrnice či směrnice o nekalých obchodních praktikách vůči spotřebitelům na vnitřním trhu atd. 

Vyjma toho není vhodné opomíjet ani oblast ohlašování incidentů a nesprávného fungování systému UI. Pokud jde o finanční služby, existuje již několik překrývajících se zákonných povinností hlášení incidentů a událostí (např. GDPR, NIS2, DORA). V současné době mohou být finanční subjekty nuceny hlásit jeden incident několika orgánům  v různých členských státech, přičemž každé hlášení musí být podáno v místním jazyce a s použitím specializovaných  vnitrostátních šablon. To vytváří zcela zbytečné administrativní náklady, zvyšuje riziko nedorozumění a může dokonce bránit řešení incidentu a zotavení z něj, protože cenné zdroje je třeba odklonit od řešení incidentu ke splnění překrývajících se oznamovacích povinností. 

V neposlední řadě návrh v příloze III zavádí klasifikaci aplikací UI dle jejich rizikovosti. Tyto aplikace mají zvýšené požadavky na testování, risk management, přístup k datům a jejich validaci (s respektem k GDPR především v kontextu práv subjektů údajů a zásad), technickou dokumentaci a informační povinnost vůči uživatelům vč. práva na lidský zásah. V prvotní fázi návrhu byly do vysoce rizikové kategorie subsumovány i některé činnosti ze sektoru pojišťovnictví, specificky claims a underwriting. Nevhodnost tohoto přístupu popsal i server Politico²⁵ a podpořila i EIOPA, která se otevřeným dopisem vyjádřila, že ne všechny případy využití UI v pojišťovnictví by měly být považovány za vysoce rizikové; využívání systémů UI při stanovování cen a upisování bude mít na spotřebitele větší dopad než např. využívání back-office operací s UI.²⁶ 

Dle dostupných informací je k tomuto zařazení skeptický Evropský parlament. Výsledek se však dovíme až po ukončení interinstitucionálních trialogových jednání. Ukazatelem nepříliš ideálního směrování je pozice Rady. Navzdory složitým diskuzím a různým přístupům členských států, které byly ve hře, to momentálně vypadá tak, že Rada v kompromisním textu z října 2022 zvolila u přílohy III formulaci rizikového hodnocení a naceňování²⁷, kterou následně schválil Výbor stálých zástupců. Z předběžných debat lze vyvodit, že tato výjimka by umožnila např. insurtech subjektům zkoušet cokoli. V důsledku toho by se spotřebitelům nedostalo stejné úrovně ochrany od mikropodniků a malých podniků. Potenciální riziko spojené s jakýmkoli systémem UI nesouvisí s velikostí podniku, ale spíše s využitím. Navrhované znění navíc odkazuje na pojistné produkty, které zahrnují životní  a zdravotní pojištění. Toto znění vytváří právní nejistotu, neboť by ve skutečnosti mohlo být vykládáno velmi široce a rozšířeno nad rámec životního a zdravotního pojištění potenciálně na všechny ostatní produktové řady. Současná formulace textu a zjištěné nedostatky jasně ukazují na potřebu řádného posouzení dopadů²⁸, pokud jde o potenciální vysoce rizikové případy použití v odvětví pojišťovnictví, aby se předešlo případům, kdy by bylo nutné provést náležité vytvoření nerovných podmínek nebo právní nejistoty vyplývající z rozdílných výkladů. 

Nezdá se tak, že by zvolená formulace byla v souladu se smysluplně aplikovaným preventivním přístupem, jímž je právo na lidský zásah, a podporou sofistikace, nikoli změny modelů posuzování rizik aplikovaných v pojišťovnictví či v zohlednění rozdílů mezi diskriminací a diferenciací. 

Důležitost práva na lidský zásah je nutné chápat v kontextu dle mého názoru sice malé, ale existující chybovosti algoritmů. Návod však v praxi nemusí být tak lehce aplikovatelný a nedostupnost práva na lidský zásah by mohla vést k diskriminaci a prohlubovat nerovnost i v dostupnosti finančních služeb. 

Nebezpečí exkluze ale nevychází z aplikace UI jako takové. Složité pojistněmatematické metody by právě naopak byly zdokonaleny větším a kvalitnějším objemem dat, který by v konečném důsledku vedl spíše ke spravedlivějšímu hodnocení rizik a nabízení produktů s personalizovanou a individualizovanou vložkou. V pojistném kontextu je nezbytné odlišit diskriminaci a diferenciaci, což má smysl pro pochopení fungování pojišťovnictví obecně i konkrétně třeba u automatizovaného rozhodování a následně využitého práva na lidský zásah, kdy realizace vysvětlení vůči průměrnému spotřebiteli může být vzhledem ke složitosti algoritmů náročným úkolem v rovině obsahové i volby jazykových prostředků, a to v mezích obchodního tajemství či duševního vlastnictví. O diskriminaci stricto sensu se nejedná, jsou-li rozdílné služby (např. rozsah krytí nebo cena) poskytovány na základě objektivně rozdílných rizikových faktorů. Nesprávný postup zvýhodňující určité klienty by se negativně odrazil na celkově poskytovaných službách i solventnostních požadavcích. To ostatně zmiňuje i stanovisko ČSpA²⁹. 

U legislativního podchycení těchto složitých fenoménů je důležité zohlednění toho, že prvotním krokem k řádnému praktickému fungování UI je dostatečný datový vzorek, přičemž pro analýzu dat je nezbytná jednotná metodologie sběru. Z hlediska právní jistoty je pak nezbytností jasný rámec vycházející z principů proporcionality, rizikové založenosti, transparentnosti a vysvětlitelnosti složitého řetězce UI, možnosti lidského zásahu a prevence diskriminace, zajištění kybernetické bezpečnosti atd., v souladu s právně nezávaznými, ale definujícími principově založenými Etickými pokyny pro zajištění důvěryhodnosti umělé inteligence³⁰, na které navazuje Bílá kniha k umělé inteligenci, Zpráva k bezpečnosti a odpovědnosti umělé inteligence, IoT a robotiky EK³¹, a robotickými Asimovovými dogmaty či doporučením OECD³². Zároveň je potřeba vycházet také ze zásad zakotvených v GDPR, které by se měly odrazit v aplikovaných technických a organizačních opatřeních. K obdobnému závěru nezbytnosti kompatibility UI a GDPR dospěly také německé dohledové orgány pro oblast ochrany osobních údajů³³. 

UI a odpovědnost 

Připravovaná evropská legislativní úprava UI souvisí i s proporcionálním nastavením odpovědnostního režimu. Momentálně probíhají na evropském poli dvě debaty k úpravě odpovědnosti u UI, a to v rámci nového předpisu AILD nebo revidované PLD. Motivací Evropské komise je zde zjištění, že současná vnitrostátní pravidla odpovědnosti, zejména ta, která jsou založena na zavinění, nejsou vhodná pro řešení nároků z odpovědnosti za škody způsobené produkty a službami využívajícími UI. Podle těchto pravidel musí poškození prokázat protiprávní jednání nebo opomenutí osoby, která škodu způsobila. 

Revize PLD navazuje na hodnocení, z kterého vyplynula terminologická i obsahová zastaralost směrnice, např. v kontextu insurtechu už de facto není určujícím bodem pro hodnocení odpovědnosti uvedení výrobku do oběhu. 

Taxonomická nejednotnost může vést k budoucí právní nejistotě a limitaci vývoje, jak bylo popsáno výše. Nejednotným vnímáním terminologie se zaobírá i Smejkal³⁴, který popisuje absenci právních definic relevantních pojmů. Odkazuje na Občanskoprávní pravidla pro robotiku³⁵, kterými Evropský parlament vyzval Evropskou komisi k navržení jednotných definic, což se snad povede právě v AIA. 

Revize si klade za cíl několik bodů a rozšiřuje oblast působnosti na všechny movité věci, které byly zpřístupněny na trhu, včetně vestavěného a samostatného softwaru, produktů UI a souvisejících služeb. Avšak výrobky, na které se již vztahují jiné právní předpisy, by měly být vyloučeny, aby se zabránilo duplicitě nebo kontradiktornosti. 

Prvním cílem je vyjasnit pravidla odpovědnosti pro společnosti, které podstatně modifikují výrobky. Definice „podstatné modifikace“ není opětovně uvedena. Zadruhé umožnit náhradu škody v případě, že jsou vyrobeny výrobky, jako jsou roboti, drony nebo systémy inteligentní domácnosti nebezpečné kvůli aktualizacím softwaru, UI nebo digitálním službám, které jsou potřebné k provozu výrobku, jakož i když výrobci neřeší zranitelnost v oblasti kybernetické bezpečnosti. To má vytvořit prostor pro vyváženější podmínky pro výrobce z EU a ze zemí mimo EU. 

V případě výrobců nacházejících se ve třetích zemích by odpovědnost nesl distributor výrobku – včetně internetových tržišť –, pokud nedokáže určit dovozce nebo zplnomocněného zástupce výrobce v EU. Dále je zde obsažen požadavek, aby výrobci zveřejňovali důkazy. 

Návrh rozšířit odpovědnostní rizika výrobců o kybernetická rizika je z hlediska pojištění problematický především proto, že kybernetická rizika je obtížné pojistit z řady důvodů, včetně jejich vyvíjející se povahy. V důsledku toho se teprve ukáže, do jaké míry lze v praxi pojištění kybernetických rizik začlenit do pojistných smluv o odpovědnosti za škodu způsobenou vadou výrobku. 

Pokud jde o důkazní břemeno, text obsahuje pět scénářů, podle nichž se předpokládá příčinná souvislost mezi vadou a škodou. Patří mezi ně případy, kdy výrobce neposkytne informace nebo pokud výrobek nesplňuje bezpečnostní požadavky, pokud existují zjevné závady nebo pokud příčinnou souvislost nelze prokázat z důvodu technické nebo vědecké složitosti výrobku. Přísný režim odpovědnosti rozšiřuje oblast působnosti na všechny hmotné a nehmotné výrobky, včetně vestavěného a samostatného softwaru a digitálních služeb nezbytných pro fungování výrobku. Režim odpovědnosti by se uplatňoval i po uvedení výrobku na trh a vztahoval by se na aktualizace softwaru, neřešení rizik kybernetické bezpečnosti a strojové učení. Je zde zahrnuto i prodloužení doby odpovědnosti na 15 let. Tato lhůta by pro poskytovatele služby apod. začala nanovo platit vždy, kdyby došlo k podstatné modifikaci, čímž je chápana např. i aktualizace softwaru. 

Postup zvolený Evropskou komisí je v rozporu s dříve komunikovaným názorem pojistného sektoru, že stávající rámec odpovědnosti za škodu způsobenou vadou výrobku funguje v praxi dobře i pro nové a vznikající technologie, jako je například UI, protože PLD je technologicky neutrální. Kromě toho by přijetí samostatného režimu odpovědnosti za UI spíše působilo jako překážka inovací, což by vedlo k menšímu počtu nových účastníků na trhu a pravděpodobně k vyšším cenám výrobků a služeb využívajících UI. To by zase mohlo vést k vyššímu pojistnému, nikoliv však v důsledku zvýšeného rizika, ale spíše v důsledku zvýšení provozních nákladů výrobce. 

Modernizace PLD by dle mého názoru stačila k dosažení kýženého cíle v rámci odpovědnosti UI, jelikož principy PLD v kombinaci s národním principem de lege lata jsou vyváženým systémem tím, že poskytují vysokou úroveň ochrany poškozeným osobám a zároveň zohledňují oprávněné zájmy výrobců. V této věci je však třeba přizpůsobení odpovědnosti za škodu způsobenou vadou výrobku i odškodnění v digitálním světě. Cílem Evropské komise je modernizovat pravidla odpovědnosti tak, aby zohledňovala vlastnosti a rizika insurtechu, komplexních digitálních a obchodních modelů, včetně produktů a služeb vybavených UI. 

Škoda je dnes vnímána nejen hmotně, ale i z pohledu ochrany soukromí a osobních údajů (již regulováno GDPR) a taktéž kybernetické bezpečnosti (což by mělo být obsahem CRA), přičemž návrh revidované PLD operuje i se škodou psychologickou, avšak bez detailní definice, což je přímou cestou k inkonzistentní interpretaci. 

I Polčák v kontextu „virtualizace prakticky všeho“ upozorňuje na rovnocennost fyzického a virtuálního majetku, mají-li reálnou hodnotu. Stejně tak neexistuje rozdíl mezi fyzickou a virtuální škodou, došlo-li ke skutečné škodě, v národním režimu dle § 2952 občanského zákoníku³⁶. O odpovědnostním režimu pojednává von Westphalen³⁷. U PLD se jedná o zákonnou objektivní odpovědnost, zavinění je tedy irelevantní. Co je zde však předmětem diskuzí, je, jak vymezit příčinnou souvislost, vadu a v první řadě výrobek. Od toho se pak odvine hodnocení škody. Zdá se ale být složité vymezit odpovědný subjekt, alokovat odpovědnost v rámci řetězce dodavatelů vůči koncovému uživateli. Na to odkazuje i Smejkal, který uvádí, že se stále vzrůstající složitostí informačních systémů a ICT se dostáváme do situace, kdy je velmi obtížné diagnostikovat, co a proč se v určitém informačním systému odehrálo, a tedy i stanovit odpovědnost za případný incident³⁸. To je zapříčiněno hlavně dvěma faktory. 

Zaprvé spletitostí dodavatelského řetězce. Hardware, software a služby tvoří technologické ekosystémy, což je ještě komplexnější u IoT, kde dochází k interakcím mnoha propojených zařízení, služeb a subjektů (designér, programátor, výrobce, poskytovatel, poskytovatel připojení, poskytovatel finální služby atd.). Zároveň se jedná o vyvíjející se systémy, takže modernizace může zamíchat kartami k posuzování původní a aktualizované verze. Další rovinou, kterou u složitosti dodavatelského řetězce není vhodné podcenit, jsou kompetence vhodných dohledových orgánů, jelikož samotný poskytovatel ICT ani finanční instituce spíše nebudou tím samým subjektem. Vzhledem k povaze ICT se navíc častokrát jedná o globálně poskytované služby; decentralizovaná regulace zde může být komplikací pro právní jistotu. Dohledové orgány tak čelí výzvě přizpůsobení se novým tržním podmínkám, přičemž je od nich vyžadováno, aby svoje pravomoci využívaly za aplikace balančního přístupu mezi ochranou finanční stability a spotřebitelů a podporou inovací a volné soutěže.³⁹ 

Zadruhé je významným faktorem složitostí algoritmů, která byla již naznačena u nerealistických požadavků na naprostou přesnost a transparentnost u návrhu AIA výše. Zde totiž narážíme nejen na limitovanou vysvětlitelnost, ale i na možnou neprůhlednost. To nemusí být závislé pouze na primárně vložených datech (když vycházím z předpokladu, že se jedná o data, u kterých nehrozí riziko diskriminačního posouzení), ale jak hodnotí i Evropská komise ve Zprávě k bezpečnosti a odpovědnosti umělé inteligence, IoT a robotiky, na základě efektu samostatného učení UI se může stát, že stroj učiní rozhodnutí odlišné od původně zamýšleného výrobcem nebo očekávaného uživatelem. Von Westphalen také upozorňuje na nutnost chybové marže a kauzality škody samoučící UI vycházející z inherentního probabilistického chování. To vede k důsledku, že ex ante je omezena předvídatelnost UI a ex post je omezena vysvětlitelnost, což nás opětovně dostává k důkaznímu břemenu. To je na straně subjektu osobních údajů dle mého názoru v praxi velmi těžce realizovatelné, a to jak z hlediska samotného pochopení fungování algoritmu, tak z hlediska ochrany obchodního tajemství apod. Jako průchodnější variantu vnímám kauzální odpovědnost za chybné chování UI, které vede ke vzniku škody. 

Zmíněné aspekty by měly rozhodně být brány v úvahu také během vyjednávání o návrhu AILD. Zde je cílem Evropské komise přijmout právní rámec, kterým budou zakotvena harmonizovaná pravidla pro nároky související s UI mimo oblast působnosti PLD. Týká se to především přístupu k informacím a zmírnění důkazního břemene v souvislosti se škodami způsobenými systémy UI. Je zde zvažováno de facto obrácené důkazní břemeno, a tedy povinnost zveřejnění důkazů, která se uplatní v případě vysoce rizikové UI a umožní poškozeným přístup k důkazům od společností a dodavatelů za domněnky příčinné souvislosti v případě zavinění, která umožní obětem získat odškodnění, pokud bylo prokázáno příslušné zavinění a příčinná souvislost s UI výkonem se jeví jako přiměřeně pravděpodobná (přičemž nejsou vymezena kritéria pro toto posuzování ze strany národních soudních orgánů), aniž by bylo nutné podrobně vysvětlovat, jak byla škoda způsobena (konkrétním pochybením nebo opomenutím). Tento přístup může vést k nárůstu počtu nesmyslných litigací, což hypoteticky může být dalším odrazujícím činitelem na inovační cestě. Kontraproduktivní povahu těchto kritérií by zmírnily konkrétní požadavky, které omezí použití nástroje pro zpřístupnění důkazů, což by posílilo právní jistotu a odradilo od nepodložených nároků. Také by stálo za zvážení přímo v PLD uvést podporu možnosti alternativního mechanismu řešení sporů, zejména u nároků s nízkou hodnotou. 

Taková úprava důkazního břemene výrazně mění rovnováhu mezi ochranou spotřebitelů a oprávněnými zájmy výrobců, neboť většinu důkazního břemene přenáší na poskytovatele systémů UI. Problematická může být i vágní úprava o ochraně obchodního tajemství. Složitost iniciativy ještě zhoršuje skutečnost, že většina definic je spojena AIA, jehož konečné znění ještě nebylo přijato, a výše popisuju prozatím patrné taxonomické nedostatky. 

Rovněž oblast působnosti je prozatím nejasná. Nebyl vysvětlen vztah a provázanost s PLD, zejména v případě nefunkčních systémů UI, které nejsou vysoce rizikové, kde by se mohla uplatnit jak revidovaná PLD, tak AILD. To by mohlo vést ke vzniku protichůdných požadavků, které by výrobcům zvýšily složitost a finanční náklady a také by narušily právní jistotu. Řešením by mohlo být omezení působnosti AILD výhradně na vysoce rizikové aplikace UI a jejich selhání. 

Problematika odpovědnosti je ze zřetele pojišťovnictví relevantní i v další rovině. Evropským zákonodárcem ^{je pro futuro} zvažována i varianta povinného pojištění vysoce rizikových aplikací UI. Zde ale není zohledněna realita. Povinné pojištění může fungovat pouze na homogenních a vyspělých trzích. Systémy přísné odpovědnosti fungují pouze tehdy, když jsou rizika, která mají být kryta, dostatečně podobná a když jsou splněny specifické tržní předpoklady. To není případ insurtechu, který zahrnuje velmi širokou škálu různých zařízení a použití. Navíc chybí historická nebo analogicky použitelná data. Bez splnění těchto podmínek by zavedení povinného pojištění odpovědnosti za škodu způsobenou vadou výrobku mohlo způsobit více škody než užitku s následkem nedostatku upisovací a smluvní svobody či potlačení inovací pojistných produktů. Dále by mohlo mít nepříznivý vliv na pronikání na trh, pokud by pojistný trh nebyl schopen poskytnout dostatečné krytí, a také negativně ovlivnit výši pojistného a prevenci, protože pojistníci by mohli mít pocit, že břemeno je na pojistiteli. Můj názor v této intervenci shodně kritizuje i Bugra.⁴⁰ 

Celkové znění návrhu tak dává spíš prostor pro vznik právní nejistoty a bariér technologického vývoje než pro smysluplné posílení postavení spotřebitelů. 

Závěrem 

Z výše nastíněných dokumentů dedukuji odůvodněnou obavu z rizik spojených s UI. Povahou UI daná konektivita, autonomie a otevřenost mohou vést k vyššímu riziku ohrožení základních práv, práv subjektů osobních údajů i kybernetické bezpečnosti. Jako ultimátní instanci prevence potenciálních nedostatků proto ze zkušeností s GDPR vnímám v praxi umožněné právo na lidskou intervenci. To považuji za řešení případné chybovosti UI, která může být zapříčiněna nevhodným algoritmem nebo autonomním procesem. Zde si dovolím analogii k Čapkovi, který to vyjádřil sice nikoli technicky či právně, ale navzdory tomu výstižně: „Roboti nejsou lidé. Jsou mechanicky dokonalejší než my, mají úžasnou rozumovou inteligenci, ale nemají duši.“⁴¹ A bude-li tento aspekt podchycen, není dle mého názoru důvod se aplikacím UI i jiných insurtechů do interních a externích procesů nejen pojišťoven bránit. 

Při formulování horizontálního, nikoli sektorově specifického rámce AIA a vymezení odpovědnostního režimu v AILD a PLD je tak potřeba vzít v potaz řadu faktických aspektů a zajistit, aby již prima facie byly nadstavbou kompatibilní de lege lata. Pro oblast pojišťovnictví se jedná např. o sektorové předpisy, ale i GDPR, CRA, DORA nebo taktéž směrnici o zástupných žalobách na ochranu kolektivních zájmů spotřebitelů. 

V následujícím období nás tak čekají poutavé diskuze evropských spoluzákonodárců v několika rovinách. Snad se povede najít nejenom kompromis, ale i prakticky použitelné formulace legislativních aktů, které povedou k podpoře inovativního rozvoje UI za srozumitelných a smysluplných podmínek.