Telefon: +420 728 079 748

E-mail: monika.haidinger@cap.cz

© 2022 Česká asociace pojišťoven

Dobrý sluha, ale zlý pán: Umělá inteligence je tady. Má smysl se jí obávat?

Doba čtení:

Doba čtení

13 min.

Přečteno:

Přečteno

500x

Diskuze:

Diskuze

0

Oblíbenost:

Oblíbenost

0

03. 11. 2023

13 min.

0

0

Očekávané první legislativní úpravě umělé inteligence, nařízení o umělé inteligenci (AIA), jsem se v Pojistném obzoru věnovala již před rokem. Návrh AIA (1) od té doby prošel vývojem, který byl ovlivněn jak debatami na úrovni evropských institucí, tak nezadržitelným faktickým technologickým progresem, jenž mohl zákonodárcům zamíchat karty, např., ale nejenom, LLM (large language models), ze kterých bývá nejčastěji skloňován chat GPT.

Na jedné straně se tak může zdát, že je obecně proklamována podpora inovací a smart řešení, na druhé straně je však znatelný strach z neznámého. I proto jsem se rozhodla do tohoto článku zakomponovat část textu psaného právě GPT4 – aby bylo vidět, že se jedná pouze o sofistikovaný nástroj, ale nikoli plnou náhradu člověka. Uhodnete, o kterou část se jedná?

Nejprve pomalu, pak okamžitě

Pro připomenutí, návrh horizontálního nařízení AIA byl Evropskou komisí publikován v dubnu 2021. Evropský zákonodárce si od jeho přijetí slibuje ukotvení minimálních standardů přístupu k fenoménu umělé inteligence (UI), které pozitivně ovlivní i právní řády mimo EU. Cílem je tedy dosažení tzv. bruselského efektu, obdobně jako u GDPR nebo snad DORA.

Vzhledem ke složitosti debat, rozporuplných názorů i přetrvávajících nejasností nelze navzdory silné politické vůli k přijetí předpisu evropský legislativní proces popsat jako rychlý. Rada přijala svůj postoj koncem roku 2022 a Evropský parlament přijal v rámci plenárního hlasování svůj postoj v červenci 2023. Rozhodně ambiciózní trialogová jednání tak spadají pod aktuální, španělské předsednictví v Radě. 

Pro pojistný sektor zůstává relevantní přístup ke kategorizaci rizik v kontextu klasifikace aplikací UI obsažené v příloze III návrhu. Na základě této klasifikace plynou pro daný subjekt povinnosti, např. zvýšené požadavky na testování, risk management, přístup k datům a jejich validaci (s respektem k GDPR), technickou dokumentaci a informační povinnost vůči uživatelům vč. práva na lidský zásah.

Rámec AIA by tedy neupravoval případy aplikace UI, které s sebou nesou minimální nebo žádné riziko ve smyslu porušení základních práv nebo jiných závažných důsledků, což je dle zprávy Zvláštního výboru pro umělou inteligenci v digitálním věku (AIDA)2 většina případů využití UI. Rámec pracuje s rozdělením na aplikace UI s nízkou úrovní rizikovosti, na které by se vztahovaly požadavky na informační povinnost a transparentnost (např. konverzační a asistenční UI poskytující informace), dále na aplikace UI s vyšším rizikem, na které by se vztahovaly požadavky vymezené AIA a ex ante posouzení kompatibility (např. recruitment). Poslední kategorií je aplikace UI nesoucí s sebou neakceptovatelné riziko (např. sociální bodování). 

Nové znění Evropského parlamentu nyní zahrnuje „systémy UI určené k rozhodování nebo napomáhání při rozhodování nebo podstatném ovlivňování rozhodování o způsobilosti fyzických osob pro zdravotní a životní pojištění“. Ačkoli v sektoru pojišťovnictví panuje obecné přesvědčení, že pojištění by mělo být ze seznamu vysoce rizikových systémů UI v příloze III vyňato, je důležité, aby se případné zařazení životního a zdravotního pojištění na seznam zaměřilo na řešení potenciálních obav souvisejících s konkrétním využitím UI. Text Evropského parlamentu je proto vhodnější variantou než původní komisní návrh, neboť se zaměřuje na možné vylučující nebo diskriminační důsledky.

Avšak jako prakticky problematické se může ukázat zařazení investičních pojistných produktů do skupiny životního pojištění. Tento typ produktů kombinuje investiční prvek s pojistnou ochranou. V textu by mělo být jasně uvedeno, že se nepovažují za vysoce rizikové. 

Ohledně rizikovosti je patrná ještě další ne příliš prakticky obsáhnutá oblast, a to výjimky pro mikropodniky a malé podniky, což navrhuje Rada. Princip proporcionality většinou jako sektor podporujeme, nicméně v tomto případě je potřeba rizikovost vnímat nikoli perspektivou velikosti podniku, ale povahou využití UI. Z tohoto hlediska není velikost subjektu relevantní. Míra rizika, kterou systém UI představuje, závisí spíše na způsobu jeho využití, a nikoli na velikosti subjektu. 

Další klíčovou oblastí, která je ze strany pojistného odvětví komunikována od začátku procesu, jsou výrazné terminologické nedostatky. Pro plnohodnotnou funkčnost plánovaného legislativního rámce je relevantní také co nejoptimálnější taxonomie. Co nejdokonalejší formulace definice UI je relevantní nejenom z hlediska dostatečné míry právní jistoty pro futuro aplikovaného AIA, ale také z důvodu pravděpodobné další navazující evropské legislativy (např. v kontextu úpravy odpovědnosti u UI v rámci aktuálně pozastaveného návrhu AILD3) i zmíněného bruselského efektu. Regulace UI by pochopitelně neměla obsahovat neodůvodněné překážky současné, bezrizikové aplikace a rovněž budoucího vývoje. V nejhorším případě by příliš široká oblast působnosti AIA mohla brzdit vývoj nových systémů a ad absurdum by mohla vést k nutnosti demontáže již existujících systémů.

Když se rozchází pojmy

Bohužel terminologické nejasnosti se v návrhu objevují ve větším počtu. Např. definice systému UI v článku 3 musí být co nejjasnější a nejpřesnější, zejména s ohledem na globální povahu systémů UI. Odvětví pojišťovnictví proto doporučuje zakomponovat definici od OECD do znění vypracovaných evropskými orgány. Konkrétní znění by bylo: „Systémem UI se rozumí strojově založený systém, který je navržen tak, aby fungoval s různou úrovní autonomie a který na základě údajů a vstupů poskytnutých strojem a/nebo člověkem odvodí, jak dosáhnout daného souboru cílů, a vytváří výstupy generované systémem, jako je obsah (generativní systémy UI), předpovědi, doporučení nebo rozhodnutí ovlivňující prostředí, s nímž systém UI interaguje.“ To zajistí větší jistotu a konzistenci na globální úrovni a zabrání riziku rozdílných klasifikací systémů UI. Definice zároveň poskytuje flexibilitu, aby se mohla přizpůsobit rychlému a neodvratnému technologickému vývoji. I EIOPA vyzývá k užší definici se zaměřením na systémy UI, které se vyznačují výraznými vlastnostmi od tradičních matematických modelů, jako je tomu v případě přístupů strojového učení4.

Co se týká strachů a obav plynoucích z modelů strojového učení založených na velkém množství dat, např. právě GPT, roli sehrává několik faktorů. Zaprvé se jedná o nedostatečnou kontrolu obsahu. Modely GPT mohou produkovat obsah, který je nesprávný, zavádějící nebo neetický. Vzhledem k tomu, že model generuje text na základě velkého množství dat, nemusí vždy přesně rozlišovat mezi fakty a fikcí, což může vést k šíření dezinformací. To souvisí i s předsudky a diskriminací. Modely GPT mohou internalizovat předsudky obsažené v datech, na kterých byly vyškoleny. To může vést k produkci diskriminačního, rasistického, sexistického nebo jinak nevhodného obsahu. Dále mohou být modely GPT zneužity k vytváření spamu, phishingových útoků, propagandy nebo jiných podvodných činností. Zmiňována je pochopitelně i oblast ochrany soukromí. Modely GPT mohou zahrnovat citlivá osobní data, která byla získána z tréninkových dat. Tím může vzniknout riziko porušení soukromí. V neposlední řadě, generovaný obsah modelu GPT může být někdy nepřirozený nebo nekonzistentní, což může vést k dezinterpretaci. Je třeba si uvědomit, že tyto obavy nejsou specifické pouze pro model GPT, ale i pro širší kategorii modelů strojového učení založených na velkém množství dat. Vývoj a nasazení takových modelů vyžadují pečlivé zohlednění etických a společenských aspektů. Pokračující práce na vývoji a zdokonalování těchto modelů by měla brát v úvahu tyto obavy a snažit se je řešit.

Odhalování UI

V rámci zachování určité rovnováhy paralelně dochází nejenom k rozvoji LLM (large language models), jako je třeba GPT, ale také softwaru, který analyzuje různé vlastnosti textu a detekuje, zda byly použity LLM. LLM totiž fungují tak, že předpovídají nejpravděpodobnější další slovo ve větě. Nemají tušení, zda je něco správně, nebo ne, a sebevědomě prezentují informace jako pravdivé, i když nejsou. Trend je zatím takový, že detekční software nestíhá držet krok s vývojem LLM a neustále je o krok pozadu5, avšak do budoucna není vyloučeno jejich běžné, třeba i zpětné využívání. 

V kontextu pojišťovnictví a využívání UI je vhodné říct, že pojišťovnictví nese datacentrickou povahu již mnohem déle, vždy hojně využívalo data a algoritmy, jako např. při výpočtu pojistného, přičemž analýza dat tvoří nedílnou součást pojišťovací činnosti. Z hlediska podkladových dat v pojišťovnictví neplatilo ani v minulosti, že méně je někdy více. Více je prostě více. Nové, sofistikovanější modely využívající strojové učení nebo UI pouze modernizují a recyklují tradiční vzorce pojišťovnictví. Následně tato optimalizace přináší výhody pro samotné pojišťovny i spotřebitele (také v postavení subjektů osobních údajů), protože se jedná o nutný požadavek pro analýzu rizik, hodnocení minulých událostí a predikci jejich výskytu v budoucnu. Takto to vnímá i EIOPA ve zprávě k umělé inteligenci6 a OECD ve zprávě k dopadům umělé inteligence a big dat na pojišťovnictví7, kde se uvádí, že granularita dat může vést i k prohloubení klasifikace rizik, kdy se pojistné stanoví na základě skupiny osob, které mají podobné rizikové profily. Podrobnější soubory dat umožňují zpřesnit klasifikaci rizik, což by mohlo vést ke snížení pojistného pro některé spotřebitele. V neposlední řadě sdílení takových dat a predikce ze strany pojistného sektoru mohou být excelentním podkladem např. pro medicínu či posílení prevence a bezpečnosti na silnicích. Také je vhodné brát v potaz, že tyto metody analýzy jsou dlouhodobě zavedené a již podléhají přísnému dohledu finančních regulačních orgánů. V tomto duchu se vyjádřila i EIOPA, která ve svém dopisu evropským spoluzákonodárcům k návrhu AIA8 v červenci 2022 uvedla, že vítá iniciativu v této věci, avšak zdůrazňuje, že je nezbytné zvážit veškeré další regulační kroky týkající se využívání UI v pojišťovnictví, a to v kontextu stávajících odvětvových právních předpisů.

Zajímavou legislativní výzvou je i požadavek, aby systémy UI určené pro interakci s fyzickými osobami byly navrženy a vyvinuty tak, aby byly tyto osoby informovány o tom, že komunikují se systémem UI. Transparentnost v návrhu AIA je klíčovým prvkem pro usnadnění lepšího porozumění a důvěry veřejnosti, pokud jde o používání a uplatňování UI. Poskytování smysluplných a srozumitelných informací rovněž pozitivně přispěje k informovanějšímu rozhodování spotřebitelů. Požadavky v tomto ohledu by se však neměly ukázat jako zbytečně zatěžující v důsledku příliš širokého výkladu. Není hned zřejmé, jak vykládat pojmy jako „zřejmé z okolností a kontextu použití“, což vyvolává otázky, kdy by se měl požadavek na informace uplatnit. Mělo by být například jasné, že požadavek na transparentnost je relevantní pouze pro systémy UI, kde dochází k přímé interakci mezi systémem a zákazníkem a systém může plně/částečně ovlivnit volbu a/nebo práva zákazníka. Zde totiž opětovně narážíme nejen na limitovanou vysvětlitelnost, ale i na možnou neprůhlednost zapříčiněnou složitostí algoritmů. To nemusí být závislé pouze na primárně vložených datech (když vycházím z předpokladu, že se jedná o data, u kterých nehrozí riziko diskriminačního posouzení), ale jak hodnotí i Evropská komise ve zprávě k bezpečnosti a odpovědnosti umělé inteligence, IoT a robotiky9, na základě efektu samostatného učení UI se může stát, že stroj učiní rozhodnutí odlišné od původně zamýšleného výrobcem nebo očekávaného uživatelem. To vede k důsledku, že ex ante je omezena předvídatelnost UI a ex post je omezena vysvětlitelnost.

V hledáčku zájmu pojistného sektoru je dále také např. úprava biometrické identifikace, jasná vymezení požadavků na poskytovatele a uživatele UI systémů, realistické očekávání týkající se kvality a přesnosti dat.

UI se už zabydlela

Závěrem, UI už ani v našem odvětví není úplnou novinkou. Již dnes můžeme sledovat převratné způsoby, kterými mění podobu řešení pojistných událostí, (automatizované) detekce a šetření pojistných podvodů, distribuce, kontaktu s klientem, upisování a tvorby cen apod. UI má významný potenciál pomoci snížit protection gaps zlepšením přístupnosti a cenové dostupnosti pojištění na základě větší personalizace a lepší nákladové efektivnosti. Aktuální zpráva Genevy Association10 k této problematice zdůrazňuje několik faktorů, které je pro přínosný a funkční legislativní rámec potřeba zohlednit. Nepřekvapivě se jedná o vhodné definice, principově orientovanou regulaci, která nezabrzdí inovace a hospodářskou soutěž, uplatňování stávajících právních předpisů a zohlednění specifických vlastností UI v pojištění. Vzhledem k reverzibilitě rozhodnutí v pojištění a účinnosti existujících regulačních rámců je pravděpodobné, že meziodvětvová regulace bude méně účinná než regulace specifická pro pojišťovnictví. To je odlišná situace než u jiných, méně regulovaných odvětví, jako je technologický sektor, kde jsou rozhodnutí UI nevratná a mohou mít závažné důsledky pro spotřebitele. 

Legislativní rámec reflektující jak rychlost technologických inovací, tak rizika v souladu se zásadou proporcionality má rozhodně potenciál zajistit právní jistotu a povzbudit v implementaci UI. 

Není zde prostor opětovně filozoficky rozebírat etickou rovinu aplikace UI. To už snad máme všichni za sebou. Tak jak se lidi ze začátku báli parní lokomotivy nebo pohyblivých obrázků – filmu –, tak se bojí lidi neznámého i dnes. To však nic nemění na tom, že vlak je již plně rozjetý. Dá se do něj ještě naskočit, ale nedá se již zastavit. 

Přiměřená míra opatrnosti tak určitě je namístě, ale jedná se o pouhý, i když neustále se rozvíjející nástroj, který může v mnoha oblastech pomoct s úsporou času, analytickými a repetitivními úkoly a celkově se zvýšením efektivity. To však neznamená, že lidský um již není potřeba. Tak schválně, tipli jste si správně, co je dílem mým a co dílem GPT4?11

Anketa: Ve kterých oblastech využíváte umělou inteligenci?

Za NN pojišťovnu a penzijní společnosti odpovídal Vít Miština, ředitel klientských technologií:

Rozvoj umělé inteligence sledujeme už delší dobu a testujeme různé možnosti jejího využití. Připravili jsme například prototyp pro poradce NN Finance, který na základě anonymizovaných dat o finanční situaci klienta vytvoří návrh finančního plánu a individuální doporučení. Ukázalo se, že umělá inteligence dává překvapivě užitečné a komplexní návrhy včetně argumentace pro volbu konkrétního produktu. Nicméně tyto návrhy ještě nejsou a pravděpodobně v dohledné době ani nebudou dostatečně spolehlivé na to, abychom si mohli dovolit je využívat pro naše klienty napřímo. Kvalitního finančního poradce s osobním přístupem a zkušenostmi zkrátka AI zastoupit neumí. Interně nám moderní nástroje umělé inteligence už umožňují prohledávat naše znalostní báze za pomoci kladení otázek v přirozeném jazyce. 


Vít Miština, zdroj: NN pojišťovna

Za ČSOB Pojišťovnu odpovídal Tomáš Hotový, ředitel odboru podpory a správy pojištění:

Pozorně sledujeme trendy v oblasti umělé inteligence. Pokud jde o konkrétní využití ze strany pojišťovny, tak v posledních letech jsme začali používat řadu AI nástrojů například v oblasti likvidací či správy pojištění. Vedle toho úspěšně používáme celou řadu sofistikovaných technologických řešení, která zatím nedosahují úrovně nezávisle interagující a učící se umělé inteligence, ale přesto přináší našim obchodníkům i klientům inovativní řešení. V rámci spolupráce ve skupině ČSOB, respektive KBC, jsme zároveň zapojeni do aktivit souvisejících s virtuální asistentkou Kate, která kromě jiného již dokáže klientům pomoci ve více než dvaceti častých situacích, které klienti chtějí řešit v oblasti pojištění.


Tomáš Hotový, zdroj: ČSOB Pojišťovna

Za Allianz odpovídal Martin Hlaváč, ředitel likvidace:

Umělá inteligence nám již dnes pomáhá s posuzováním škod na vozidlech. Na základě fotografií poškozeného vozidla dovede vyhodnotit náročnost opravy a škodu rychle nasměrovat k optimálnímu řešení (rozpočet, oprava v servisu nebo totální škoda). Umělou inteligenci se chystáme dále využívat pro stanovení výše škody na vozidlech a její přednosti chceme využít také pro přesnější identifikaci pojistných podvodů, kde může mít zcela zásadní vliv. 


Martin Hlaváč, zdroj: Allianz

Za Generali Českou pojišťovnu odpovídal Nikola Bozadžiev, senior manažer AI/ML systémů:

Od roku 2020 jsme vyvinuli řadu modelů, které jsme postupně implementovali v provozu. Většinu věcí přitom vyvíjíme interně. V Generali České pojišťovně máme tým zaměřený na datovou vědu a implementaci machine learning modelů do našeho prostředí. Zároveň se snažíme využití AI nástrojů demokratizovat, a tak udržujeme zaměstnaneckou komunitu se stovkami členů, která se v nástrojích AI kontinuálně vzdělává na individuální i skupinové úrovni a implementuje jednotlivá řešení napříč firmou. Využíváme pokročilé algoritmy umělé inteligence k analýze zpětné vazby od klientů. Aktuálně pracujeme na vylepšení našeho modelu, který bude integrovat technologie Large Language Models, aby byla naše reakce na potřeby klientů ještě rychlejší a efektivnější. Umělou inteligenci také aplikujeme na analýzu klientského portfolia nebo k podpoře procesu cenotvorby. Systémy s AI prvky používáme k automatickému zpracování vybraných faktur. AI nám také pomáhá rozpoznávat a strukturovat příchozí e-mailové zprávy a jejich přílohy, díky tomu dokážeme dotazy klientů a obchodních partnerů zpracovat rychleji. 


Nikola Bozadžiev, zdroj: Generali Česká pojišťovna

Za UNIQA odpovídal Petr Kunzmann, data governance expert:

Umělou inteligenci využíváme v několika oblastech, které lze souhrnně popsat jako personalizace služeb klientům. To znamená, že z běžně používaných modelů, které slouží například pro stanovení výše ceny pojištění nebo nabídnutí konkrétního pojistného produktu, přecházíme od nepersonalizovaných k prediktivním modelům založeným na strojovém učení. Disponujeme velkým objemem dat, z nichž se dají odvodit trendy, jež jsou pro krytí rizik a spotřebitelská očekávání významné a jejichž zapojením do kalkulací můžeme připravit spravedlivější cenotvorbu anebo lépe adresovat nabídky pojistných služeb podle segmentace kmene. Díky AI tak dokážeme lépe předpovědět chování klienta (např. zda si takový produkt zakoupí) a můžeme zvýšit efektivitu celého procesu. Hledáme cesty k rozšíření i do dalších oblastí. Nabízí se použít modely se strojovým učením v oblasti hlubší segmentace, prioritizace pracovních úloh v provozních útvarech, automatizace likvidace pojistných událostí a mnoha dalších.


Petr Kunzmann, zdroj: UNIQA

Za ČPP odpovídal Petr Školník, ředitel úseku digitalizace a rozvoje služeb:

V současné době využíváme umělou inteligenci v našem callcentru k optimalizaci zákaznického servisu, což nám umožňuje rychleji a efektivněji reagovat na telefonáty od klientů a zlepšit tak celkový zákaznický servis. Plánujeme využití umělé inteligence v dalších oblastech, s cílem ještě více zefektivnit naše služby a poskytnout klientům ještě větší komfort ve využívání našich služeb.


Petr Školník, zdroj: ČPP

 

1.Návrh nařízení o umělé inteligenci Evropské komise. Dostupný z: https://digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence.

2.Evropský parlament. Zpráva o umělé inteligenci v digitálním věku (2020/2266(INI). Dostupné z: https://www.europarl.europa.eu/doceo/document/A-9-2022-0088_CS.html.

3.Návrh směrnice o odpovědnosti za UI. Dostupné z: https://eur-lex.europa.eu/legal-content/EN-CS/TXT/?from=EN&uri=CELEX%3A52022PC0496.

4.Dopis EIOPA. Dostupné z: https://www.eiopa.europa.eu/sites/default/files/publications/letters/letter_to_co-legislators_on_the_ai_act.pdf.

5.How to spot AI generated text. Dostupné z: https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/.

6.EIOPA, 2021. Artificial intelligence governance principles: towards ethical and trustworthy artificial intelligence in the European insurance sector. A report from EIOPA‘s Consultative Expert Group on Digital Ethics in insurance [online]. Luxembourg: Publications Office of the European union, 2021 [cit. 21. 2. 2022]. ISBN 978-92-9473-303-0. Dostupné z: https://www.eiopa.europa.eu/sites/default/files/publications/reports/eiopa-ai-governance-principles-june-2021.pdf.

7.OECD. The Impact of Big Data and Artificial Intelligence (AI) in the Insurance Sector [online]. © OECD 2020, 28. 1. 2020 [cit. 21. 2. 2022]. Dostupné z: https://www.oecd.org/finance/Impact-Big-Data-AI-in-the-Insurance-Sector.htm.

8.OECD. The Impact of Big Data and Artificial Intelligence (AI) in the Insurance Sector [online]. © OECD 2020, 28. 1. 2020 [cit. 21. 2. 2022]. Dostupné z: https://www.oecd.org/finance/Impact-Big-Data-AI-in-the-Insurance-Sector.htm.

9.Zpráva k bezpečnosti a odpovědnosti umělé inteligence, IoT a robotiky. Dostupné z: https://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2020:0064:FIN:CS:PDF.

10.REGULATION OF ARTIFICIAL INTELLIGENCE IN INSURANCE: Balancing consumer protection and innovation. Dostupné z: https://www.genevaassociation.org/publication/public-policy-and-regulation/regulation-artificial-intelligence-insurance-balancing.

11.Správná odpověď: článek napsaný GPT naleznete na str. 15, odstavec začínající: Co se týká strachů a obav plynoucích z modelů strojového učení…

Ohodnotit článek

0

Další články autora

Dobrý sluha, ale zlý pán: Umělá inteligence je tady. Má smysl se jí obávat?

Dobrý sluha, ale zlý pán: Umělá inteligence je tady. Má smysl se jí obávat?

JUDr. Jana Andraščiková, LL.M.

PanDORA?

PanDORA?

JUDr. Jana Andraščiková, LL.M.

Zaklínadlo value for money

Zaklínadlo value for money

JUDr. Jana Andraščiková, LL.M.

Evropská právní úprava odpovědnosti umělé inteligence

Evropská právní úprava odpovědnosti umělé inteligence

JUDr. Jana Andraščiková, LL.M.

Buďte vždy v obraze Buďte vždy v obraze

Buďte vždy
v obraze

Přihlaste se k odběru našeho časopisu a dostávejte novinky ze světa pojišťovnictví z první ruky. Z odběru je možné kdykoliv se odhlásit.

Zadejte validní email!
Je nutné odsouhlasit podmínky!
Tento email již má přihlášen odběr!