Dobrý sluha, ale zlý pán: Umělá inteligence je tady. Má smysl se jí obávat?

Na jedné straně se tak může zdát, že je obecně proklamována podpora inovací a smart řešení, na druhé straně je však znatelný strach z neznámého. I proto jsem se rozhodla do tohoto článku zakomponovat část textu psaného právě GPT4 – aby bylo vidět, že se jedná pouze o sofistikovaný nástroj, ale nikoli plnou náhradu člověka. Uhodnete, o kterou část se jedná?

Nejprve pomalu, pak okamžitě

Pro připomenutí, návrh horizontálního nařízení AIA byl Evropskou komisí publikován v dubnu 2021. Evropský zákonodárce si od jeho přijetí slibuje ukotvení minimálních standardů přístupu k fenoménu umělé inteligence (UI), které pozitivně ovlivní i právní řády mimo EU. Cílem je tedy dosažení tzv. bruselského efektu, obdobně jako u GDPR nebo snad DORA.

Vzhledem ke složitosti debat, rozporuplných názorů i přetrvávajících nejasností nelze navzdory silné politické vůli k přijetí předpisu evropský legislativní proces popsat jako rychlý. Rada přijala svůj postoj koncem roku 2022 a Evropský parlament přijal v rámci plenárního hlasování svůj postoj v červenci 2023. Rozhodně ambiciózní trialogová jednání tak spadají pod aktuální, španělské předsednictví v Radě. 

Pro pojistný sektor zůstává relevantní přístup ke kategorizaci rizik v kontextu klasifikace aplikací UI obsažené v příloze III návrhu. Na základě této klasifikace plynou pro daný subjekt povinnosti, např. zvýšené požadavky na testování, risk management, přístup k datům a jejich validaci (s respektem k GDPR), technickou dokumentaci a informační povinnost vůči uživatelům vč. práva na lidský zásah.

Rámec AIA by tedy neupravoval případy aplikace UI, které s sebou nesou minimální nebo žádné riziko ve smyslu porušení základních práv nebo jiných závažných důsledků, což je dle zprávy Zvláštního výboru pro umělou inteligenci v digitálním věku (AIDA)² většina případů využití UI. Rámec pracuje s rozdělením na aplikace UI s nízkou úrovní rizikovosti, na které by se vztahovaly požadavky na informační povinnost a transparentnost (např. konverzační a asistenční UI poskytující informace), dále na aplikace UI s vyšším rizikem, na které by se vztahovaly požadavky vymezené AIA a ex ante posouzení kompatibility (např. recruitment). Poslední kategorií je aplikace UI nesoucí s sebou neakceptovatelné riziko (např. sociální bodování). 

Nové znění Evropského parlamentu nyní zahrnuje „systémy UI určené k rozhodování nebo napomáhání při rozhodování nebo podstatném ovlivňování rozhodování o způsobilosti fyzických osob pro zdravotní a životní pojištění“. Ačkoli v sektoru pojišťovnictví panuje obecné přesvědčení, že pojištění by mělo být ze seznamu vysoce rizikových systémů UI v příloze III vyňato, je důležité, aby se případné zařazení životního a zdravotního pojištění na seznam zaměřilo na řešení potenciálních obav souvisejících s konkrétním využitím UI. Text Evropského parlamentu je proto vhodnější variantou než původní komisní návrh, neboť se zaměřuje na možné vylučující nebo diskriminační důsledky.

Avšak jako prakticky problematické se může ukázat zařazení investičních pojistných produktů do skupiny životního pojištění. Tento typ produktů kombinuje investiční prvek s pojistnou ochranou. V textu by mělo být jasně uvedeno, že se nepovažují za vysoce rizikové. 

Ohledně rizikovosti je patrná ještě další ne příliš prakticky obsáhnutá oblast, a to výjimky pro mikropodniky a malé podniky, což navrhuje Rada. Princip proporcionality většinou jako sektor podporujeme, nicméně v tomto případě je potřeba rizikovost vnímat nikoli perspektivou velikosti podniku, ale povahou využití UI. Z tohoto hlediska není velikost subjektu relevantní. Míra rizika, kterou systém UI představuje, závisí spíše na způsobu jeho využití, a nikoli na velikosti subjektu. 

Další klíčovou oblastí, která je ze strany pojistného odvětví komunikována od začátku procesu, jsou výrazné terminologické nedostatky. Pro plnohodnotnou funkčnost plánovaného legislativního rámce je relevantní také co nejoptimálnější taxonomie. Co nejdokonalejší formulace definice UI je relevantní nejenom z hlediska dostatečné míry právní jistoty pro futuro aplikovaného AIA, ale také z důvodu pravděpodobné další navazující evropské legislativy (např. v kontextu úpravy odpovědnosti u UI v rámci aktuálně pozastaveného návrhu AILD³) i zmíněného bruselského efektu. Regulace UI by pochopitelně neměla obsahovat neodůvodněné překážky současné, bezrizikové aplikace a rovněž budoucího vývoje. V nejhorším případě by příliš široká oblast působnosti AIA mohla brzdit vývoj nových systémů a ad absurdum by mohla vést k nutnosti demontáže již existujících systémů.

Když se rozchází pojmy

Bohužel terminologické nejasnosti se v návrhu objevují ve větším počtu. Např. definice systému UI v článku 3 musí být co nejjasnější a nejpřesnější, zejména s ohledem na globální povahu systémů UI. Odvětví pojišťovnictví proto doporučuje zakomponovat definici od OECD do znění vypracovaných evropskými orgány. Konkrétní znění by bylo: „Systémem UI se rozumí strojově založený systém, který je navržen tak, aby fungoval s různou úrovní autonomie a který na základě údajů a vstupů poskytnutých strojem a/nebo člověkem odvodí, jak dosáhnout daného souboru cílů, a vytváří výstupy generované systémem, jako je obsah (generativní systémy UI), předpovědi, doporučení nebo rozhodnutí ovlivňující prostředí, s nímž systém UI interaguje.“ To zajistí větší jistotu a konzistenci na globální úrovni a zabrání riziku rozdílných klasifikací systémů UI. Definice zároveň poskytuje flexibilitu, aby se mohla přizpůsobit rychlému a neodvratnému technologickému vývoji. I EIOPA vyzývá k užší definici se zaměřením na systémy UI, které se vyznačují výraznými vlastnostmi od tradičních matematických modelů, jako je tomu v případě přístupů strojového učení⁴.

Co se týká strachů a obav plynoucích z modelů strojového učení založených na velkém množství dat, např. právě GPT, roli sehrává několik faktorů. Zaprvé se jedná o nedostatečnou kontrolu obsahu. Modely GPT mohou produkovat obsah, který je nesprávný, zavádějící nebo neetický. Vzhledem k tomu, že model generuje text na základě velkého množství dat, nemusí vždy přesně rozlišovat mezi fakty a fikcí, což může vést k šíření dezinformací. To souvisí i s předsudky a diskriminací. Modely GPT mohou internalizovat předsudky obsažené v datech, na kterých byly vyškoleny. To může vést k produkci diskriminačního, rasistického, sexistického nebo jinak nevhodného obsahu. Dále mohou být modely GPT zneužity k vytváření spamu, phishingových útoků, propagandy nebo jiných podvodných činností. Zmiňována je pochopitelně i oblast ochrany soukromí. Modely GPT mohou zahrnovat citlivá osobní data, která byla získána z tréninkových dat. Tím může vzniknout riziko porušení soukromí. V neposlední řadě, generovaný obsah modelu GPT může být někdy nepřirozený nebo nekonzistentní, což může vést k dezinterpretaci. Je třeba si uvědomit, že tyto obavy nejsou specifické pouze pro model GPT, ale i pro širší kategorii modelů strojového učení založených na velkém množství dat. Vývoj a nasazení takových modelů vyžadují pečlivé zohlednění etických a společenských aspektů. Pokračující práce na vývoji a zdokonalování těchto modelů by měla brát v úvahu tyto obavy a snažit se je řešit.

Odhalování UI

V rámci zachování určité rovnováhy paralelně dochází nejenom k rozvoji LLM (large language models), jako je třeba GPT, ale také softwaru, který analyzuje různé vlastnosti textu a detekuje, zda byly použity LLM. LLM totiž fungují tak, že předpovídají nejpravděpodobnější další slovo ve větě. Nemají tušení, zda je něco správně, nebo ne, a sebevědomě prezentují informace jako pravdivé, i když nejsou. Trend je zatím takový, že detekční software nestíhá držet krok s vývojem LLM a neustále je o krok pozadu⁵, avšak do budoucna není vyloučeno jejich běžné, třeba i zpětné využívání. 

V kontextu pojišťovnictví a využívání UI je vhodné říct, že pojišťovnictví nese datacentrickou povahu již mnohem déle, vždy hojně využívalo data a algoritmy, jako např. při výpočtu pojistného, přičemž analýza dat tvoří nedílnou součást pojišťovací činnosti. Z hlediska podkladových dat v pojišťovnictví neplatilo ani v minulosti, že méně je někdy více. Více je prostě více. Nové, sofistikovanější modely využívající strojové učení nebo UI pouze modernizují a recyklují tradiční vzorce pojišťovnictví. Následně tato optimalizace přináší výhody pro samotné pojišťovny i spotřebitele (také v postavení subjektů osobních údajů), protože se jedná o nutný požadavek pro analýzu rizik, hodnocení minulých událostí a predikci jejich výskytu v budoucnu. Takto to vnímá i EIOPA ve zprávě k umělé inteligenci⁶ a OECD ve zprávě k dopadům umělé inteligence a big dat na pojišťovnictví⁷, kde se uvádí, že granularita dat může vést i k prohloubení klasifikace rizik, kdy se pojistné stanoví na základě skupiny osob, které mají podobné rizikové profily. Podrobnější soubory dat umožňují zpřesnit klasifikaci rizik, což by mohlo vést ke snížení pojistného pro některé spotřebitele. V neposlední řadě sdílení takových dat a predikce ze strany pojistného sektoru mohou být excelentním podkladem např. pro medicínu či posílení prevence a bezpečnosti na silnicích. Také je vhodné brát v potaz, že tyto metody analýzy jsou dlouhodobě zavedené a již podléhají přísnému dohledu finančních regulačních orgánů. V tomto duchu se vyjádřila i EIOPA, která ve svém dopisu evropským spoluzákonodárcům k návrhu AIA⁸ v červenci 2022 uvedla, že vítá iniciativu v této věci, avšak zdůrazňuje, že je nezbytné zvážit veškeré další regulační kroky týkající se využívání UI v pojišťovnictví, a to v kontextu stávajících odvětvových právních předpisů.

Zajímavou legislativní výzvou je i požadavek, aby systémy UI určené pro interakci s fyzickými osobami byly navrženy a vyvinuty tak, aby byly tyto osoby informovány o tom, že komunikují se systémem UI. Transparentnost v návrhu AIA je klíčovým prvkem pro usnadnění lepšího porozumění a důvěry veřejnosti, pokud jde o používání a uplatňování UI. Poskytování smysluplných a srozumitelných informací rovněž pozitivně přispěje k informovanějšímu rozhodování spotřebitelů. Požadavky v tomto ohledu by se však neměly ukázat jako zbytečně zatěžující v důsledku příliš širokého výkladu. Není hned zřejmé, jak vykládat pojmy jako „zřejmé z okolností a kontextu použití“, což vyvolává otázky, kdy by se měl požadavek na informace uplatnit. Mělo by být například jasné, že požadavek na transparentnost je relevantní pouze pro systémy UI, kde dochází k přímé interakci mezi systémem a zákazníkem a systém může plně/částečně ovlivnit volbu a/nebo práva zákazníka. Zde totiž opětovně narážíme nejen na limitovanou vysvětlitelnost, ale i na možnou neprůhlednost zapříčiněnou složitostí algoritmů. To nemusí být závislé pouze na primárně vložených datech (když vycházím z předpokladu, že se jedná o data, u kterých nehrozí riziko diskriminačního posouzení), ale jak hodnotí i Evropská komise ve zprávě k bezpečnosti a odpovědnosti umělé inteligence, IoT a robotiky⁹, na základě efektu samostatného učení UI se může stát, že stroj učiní rozhodnutí odlišné od původně zamýšleného výrobcem nebo očekávaného uživatelem. To vede k důsledku, že ex ante je omezena předvídatelnost UI a ex post je omezena vysvětlitelnost.

V hledáčku zájmu pojistného sektoru je dále také např. úprava biometrické identifikace, jasná vymezení požadavků na poskytovatele a uživatele UI systémů, realistické očekávání týkající se kvality a přesnosti dat.

UI se už zabydlela

Závěrem, UI už ani v našem odvětví není úplnou novinkou. Již dnes můžeme sledovat převratné způsoby, kterými mění podobu řešení pojistných událostí, (automatizované) detekce a šetření pojistných podvodů, distribuce, kontaktu s klientem, upisování a tvorby cen apod. UI má významný potenciál pomoci snížit protection gaps zlepšením přístupnosti a cenové dostupnosti pojištění na základě větší personalizace a lepší nákladové efektivnosti. Aktuální zpráva Genevy Association¹⁰ k této problematice zdůrazňuje několik faktorů, které je pro přínosný a funkční legislativní rámec potřeba zohlednit. Nepřekvapivě se jedná o vhodné definice, principově orientovanou regulaci, která nezabrzdí inovace a hospodářskou soutěž, uplatňování stávajících právních předpisů a zohlednění specifických vlastností UI v pojištění. Vzhledem k reverzibilitě rozhodnutí v pojištění a účinnosti existujících regulačních rámců je pravděpodobné, že meziodvětvová regulace bude méně účinná než regulace specifická pro pojišťovnictví. To je odlišná situace než u jiných, méně regulovaných odvětví, jako je technologický sektor, kde jsou rozhodnutí UI nevratná a mohou mít závažné důsledky pro spotřebitele. 

Legislativní rámec reflektující jak rychlost technologických inovací, tak rizika v souladu se zásadou proporcionality má rozhodně potenciál zajistit právní jistotu a povzbudit v implementaci UI. 

Není zde prostor opětovně filozoficky rozebírat etickou rovinu aplikace UI. To už snad máme všichni za sebou. Tak jak se lidi ze začátku báli parní lokomotivy nebo pohyblivých obrázků – filmu –, tak se bojí lidi neznámého i dnes. To však nic nemění na tom, že vlak je již plně rozjetý. Dá se do něj ještě naskočit, ale nedá se již zastavit. 

Přiměřená míra opatrnosti tak určitě je namístě, ale jedná se o pouhý, i když neustále se rozvíjející nástroj, který může v mnoha oblastech pomoct s úsporou času, analytickými a repetitivními úkoly a celkově se zvýšením efektivity. To však neznamená, že lidský um již není potřeba. Tak schválně, tipli jste si správně, co je dílem mým a co dílem GPT4?¹¹