Umělá inteligence (AI) se rychle stává nepostradatelnou součástí moderního zdravotnictví, kde nabízí nové možnosti pro diagnostiku, léčbu, správu zdravotnických služeb a mnoho dalšího. AI má potenciál výrazně zlepšit kvalitu zdravotní péče, zvýšit efektivitu a zkrátit dobu potřebnou k dosažení správných diagnostických a léčebných rozhodnutí. Tato technologie však také vyvolává mnoho otázek ohledně jejího fungování, bezpečnosti, etiky a vlivu na pacienty i zdravotnický personál.
V této sekci “Často kladené otázky” (FAQ) naleznete vyjádření k dotazům na časté dotazy z praxe týkající se využití AI ve zdravotnictví, které vznesli lékaři, IT, biomedicínští inženýři nebo ředitelé zdravotnických zařízení, a které se týkají některých oblastí využívání AI ve zdravotní péči. Aplikace AI ve zdravotnictví má však mnohem širší možnosti, kterým se budou věnovat jiné komplexně zaměřené koncepční materiály v současnosti ve stadiu přípravy, a které se týkají rozvoji, regulace, dohledu a podpoře umělé inteligence v ČR.
Naším cílem v tomto dokumentu je poskytnout k již vysloveným otázkám srozumitelné informace v souladu s aktuálním stavem legislativy a dalších relevantních dokumentů a stupněm poznání v daných oblastech. Tento přehled odpovědí vám pomůže aspoň zčásti pochopit, jak se umělá inteligence uplatňuje v praxi, jaká jsou její rizika a přínosy, a jaká pravidla a regulace platí pro její zavádění. Níže uvedený soubor dotazů a vyjádření k nim nemůže pochopitelně pokrývat ani všechny aspekty AI ve zdravotní péči, jde o reakci na podněty ve znění, jakém v jakém zaznamenány. Není to tedy návod ani doporučení a v případě vzniku nejasností je potřeba problematiku detailněji rozebrat a diskutovat, včetně určení kontextu, který je ve většinu případů rozhodující pro konkrétní stanovisko či odpověď.
Na vypracování odpovědí se podíleli odborníci a specialisté na regulace, legislativu, kyberbezpečnost, správu dat, implementaci nebo klinickou praxi. Na vypracování odpovědí se podíleli zástupci SUKLu, CSAIM ČLS JEP nebo MED MUNI.
Protože se jedná o velice obsáhlou problematiku, která se neustále vyvíjí, budeme odpovědi aktualizovat podle aktuálního vývoje. Pokud byste chtěli některé otázky v detailnějším náhledu neváhejte nás kontaktovat na e-mailu: adam.grundel@mzcr.cz
Informace mohou být pravidelně aktualizovány v návaznosti na legislativu, regulace, normy a další.
Q: Musí pacient dávat informovaný souhlas, když bude pro jeho diagnostiku použitý zdravotnický prostředek, který je SW umělé inteligence a je v rámci vývoje (myšleno použití ZP bez CE značky, resp. ZP s CE značkou mimo určený účel)?
A: Použití zdravotnického prostředku, který je SW ve fázi vývoje (viz upřesnění v otázce) k diagnostice je možné pouze v rámci klinické zkoušky. Tedy ano, pacient musí udělit informovaný souhlas v písemné formě, jehož text musí být schválen SÚKL společně s dokumentací klinické zkoušky. Taková klinická zkouška může probíhat pouze pokud je povolena.
Q: Může zdravotnické zařízení poskytnout pacientská data (například RTG páteře) v rámci vývoje soukromé společnosti? Pokud ano v jaké podobě?
A: Ano, optimální cestou je poskytovat anonymizovaná data, která nepožívají žádné ochrany a netřeba k tomu mít souhlas pacienta. Jinak je souhlas pacienta nezbytný. V současnosti je připravován návrh zákona o správě dat, který by umožnil další varianty přístupu k datům.
Q: Jsou výrobci SW umělé inteligence při certifikaci zdravotnického prostředku dle MDR, testovány proti kybernetickým útokům?
A: Za bezpečnost a účinnost zdravotnického prostředku nese plnou odpovědnost jeho výrobce. Je tedy na jeho zodpovědnosti, zda přijal dostatečná opatření proti kybernetickým útokům. Pokud jde o bezpečnostní nastavení SW AI, který je zdravotnickým prostředkem, jedná se o aspekt, který bude posuzovat oznámený subjekt (vydává certifikát o posouzení shody).
Q: Jaké dokumenty vztahující se k SW umělé inteligence musí poskytnou distributor při předání a před zahájení provozu do klinické praxe?
A: Distributor musí poskytnout pouze návod v českém jazyce. Na vyžádání by pak měl poskytnout i prohlášení o shodě a certifikát, ve kterých jsou uvedeny další informace potřebné pro poskytovatele zdravotních služeb k plnění povinností daných zákonem č. 375/2022 Sb., o zdravotnických prostředcích a diagnostických zdravotnických prostředcích in vitro. V následujícím období budou pravidla upřesněna v souvislosti s aktem o umělé inteligenci (nařízení EU).
Q: U SW umělé inteligence, které jsou vedeny, jako zdravotnický prostředek IIa dle MDR, musí se lékař řídit vždy výsledkem, který mu SW umělé inteligence poskytne?
A: Zásadně nemusí, toto nesouvisí s rizikovou třídou prostředku, nýbrž s určeným účelem zdravotnického prostředku a s léčebnými postupy a protokoly, které má lékař dodržovat. Pokud je zdravotnický prostředek určen ke stanovování diagnózy, bude pro tento účel ověřen a jeho účinnost a bezpečnost bude podložená klinickými daty. Ověření provádí u zdravotnických prostředků rizikové třídy IIa a vyšší oznámený subjekt, který následně vydává certifikát o posouzení shody. Nicméně konečnou diagnózu a následnou léčbu vždy určuje lékař v kontextu posouzení celkového zdravotního stavu pacienta a všech dostupných informací.
Q: Pokud je SW umělé inteligence implementován, jako součást PACSu nebo NISu, musí mít certifikaci, jako zdravotnický prostředek? Nebo je dostačující certifikace, jako zdravotnického prostředku v rámci PACS nebo NIS?
A: Pokud určený účel použití implementovaného SW umělé inteligence odpovídá definici zdravotnického prostředku, pak u něj musí být posouzena shoda. Někdy může postačovat jen posouzení shody a případná certifikace oznámených orgánem modulu většího systému, v jiném případě může být nutná certifikace celého systému PACS / NIS. Rozhodujícím aspektem je určený účel celého systému PACS / NIS, resp. jeho jednotlivých modulů. Systémy je nutné posuzovat individuálně, nelze dát jednotnou odpověď.
Q: Jaké certifikace, validace nebo ověření musí SW umělé inteligence před použitím do klinické praxe?
A: Aby mohl být prostředek používán v rámci klinické praxe musí mít řádně posouzenou shodu dle MDR nebo IVDR. Tedy nést označení CE a výrobce musí vydat prohlášení o shodě. Musí také plnit požadavky dalších právních předpisů, které se na něj případně vztahují a budou již před příslušnou žádostí účinná, např. nařízení o umělé inteligenci (AI act).
Q: Kdo nese odpovědnost za pravdivost vyhodnocení při zpracování dat za pomocí AI?
A: Výrobce. Ovšem otázka, kdo je odpovědný za výstupy umělé inteligence, je složitější a je ještě předmětem řešení právníků i veřejnosti. V EU se postupně se formulují pravidla odpovědnosti pro umělou inteligenci a celý proces má být z hlediska legislativy završen směrnicí o odpovědnosti za umělou inteligenci, jakožto dalším stavebním kamenem komplexního regulačního rámce pro umělou inteligenci v EU. Směrnice bude řešit složité problémy, kterým čelí poskytovatelé a poškozené strany.
Q: Může poskytovatel zdravotní péče použít zdravotnický prostředek, který je SW umělé inteligence a který není certifikován jako zdravotnický prostředek nebo diagnostický prostředek IVD, při poskytování zdravotní péče?
A: Pro poskytování zdravotní péče (ve smyslu použití zdravotnického prostředku dle MDR nebo IVDR) smí být použit výhradně zdravotnický prostředek je SW umělé inteligence, který nese označení CE, tj. byla u něj posouzena shoda. SW umělé inteligence, který (ještě) nemá označení CE, smí být použit pro poskytování zdravotní péče výhradně v rámci SÚKLem schválené klinické zkoušky/studie funkční způsobilost.
Q: Jak poznám, že SW umělé inteligence je certifikovaný zdravotnický prostředek?
A: Seznam zdravotnických prostředků, u nichž byla posouzena shoda a byly následně registrovány, lze nalézt v registru zdravotnických prostředků RZPRO https://eregpublicsecure.ksrzis.cz/Registr/RZPRO/ZdravotnickyProstredek a v informačním systému zdravotnických prostředků ISZP ISZP - Osoby (sukl.cz), kde lze zdravotnické prostředky vyhledat v sekci Osoby/Další filtry – distributor. Ve výjimečných případech, především u starších SW umělé inteligence a u SW od zahraničních výrobců, nemusí být tzv. certifikovaný SW ani v jednom z těchto systémů uveden, diagnostické prostředky IVD se SW umělé inteligence ve výše uvedených seznamech nenaleznete. V případě nejistoty se lze obrátit na SUKL, případně požádat výrobce o poskytnutí ES prohlášení o shodě.
Q: Jak je zajištěna bezpečnost a etická hlediska při použití necertifikovaného SW umělé inteligence v rámci klinické zkoušky/studie funkční způsobilosti?
A: Za bezpečnost výrobku odpovídá výrobce. Bezpečnost použití SW umělé inteligence v rámci klinické zkoušky posuzuje v rámci schvalovacího procesu SUKL, který pečlivě hodnotí poskytnuté preklinické a klinické údaje, poměr přínosů a rizik. Etická hlediska současně hodnotí příslušná etická komise. Požadavky na bezpečné, důvěryhodné a etické AI se zabývá AI act.
Q: Jakému postihu se vystavuje poskytovatel zdravotní péče, který používá jako zdravotnický prostředek nebo diagnostický prostředek IVD ne certifikovaný SW umělé inteligence mimo rámec klinické zkoušky/ studie funkční způsobilosti?
A: Výše pokuty může dosáhnout až 30 mil Kč.
Q: Co musí splňovat v rámci kyberbezpečnosti SW umělé inteligence, který je do sítě nemocnice připojen, jako black box řešení?
A: Podle nařízení EU (AI Act), které však dosud není účinné, musejí být vysoce rizikové systémy AI navrženy a vyvinuty tak, aby s ohledem na svůj určený účel dosahovaly odpovídající úrovně přesnosti, spolehlivosti a kybernetické bezpečnosti a aby v tomto ohledu dosahovaly konzistentních výsledků v průběhu celého svého životního cyklu.
Produkty s digitálními prvky, jako např. systémy elektronických zdravotních záznamů (EHR) budou muset splňovat základní požadavky stanovené v novém nařízení EP a Rady o horizontálních požadavcích na kybernetickou bezpečnost produktů s digitálními prvky. Toto nařízení si klade za cíl chránit spotřebitele a podniky nakupující nebo používající produkty nebo software s digitální komponentou. Jejich výrobci budou muset (předběžně je předpokládá od r. 2027) prokázat shodu výrobků s příslušnými požadavky (stav v 11.2024).
V případě, že systém AI je určen jako zdravotnický prostředek, vztahuje se na něj buď nařízení Evropského parlamentu a Rady (EU) 2017/745, které stanoví pravidla pro zdravotnické prostředky, nebo nařízení Evropského parlamentu a Rady (EU) 2017/746, které stanoví pravidla pro diagnostické zdravotnické prostředky in vitro. Obě nařízení řeší kybernetická bezpečnostní rizika a uplatňují konkrétní přístupy, kterými se toto nařízení rovněž zabývá.
Pokud takový SW má charakter zdravotnického prostředku a tudíž se u něj posuzuje kyberbezpečnost, posuzuje se shoda vykazoval s následujícími normami:
- ISO 27001 - Information Security Management Systems – poskytuje rámec pro řízení bezpečnosti informací v organizacích, včetně ochrany citlivých dat. Shodu formou platného certifikátu by měl prokázat výrobce softwaru i jeho dodavatel. Jedná se o shodu na úrovni instituce a v certifikátu by mělo být pohlídáno to, aby v procesu certifikace byl zahrnutý vývoj SW a jeho nasazování (někdy může být cíleně vyjmuto). Tzn. certifikát dodává jak výrobce, tak i dodavatel.
- ISO 27799 - Health Informatics: Information Security Management in Health Using - Bezpečnost informací ve zdravotnictví: Tato norma poskytuje pokyny pro implementaci bezpečnostních opatření specifických pro zdravotnický sektor, s využitím ISO 27001-2 jako rámce.
Pro systémy AI budou v návaznosti na AI Act dále upřesněny požadavky i na kyberbezpečnost; tyto požadavky jsou v roce 2024 ještě ve stadiu přípravy. Na vysoce rizikové systémy AI by se měly vztahovat požadavky týkající se kvality použitých souborů dat, technické dokumentace a uchovávání záznamů, transparentnosti a poskytování informací uživatelům, lidského dohledu a spolehlivosti, přesnosti a kybernetické bezpečnosti. AI Akt požaduje, aby technická řešení zaměřená na zajištění kybernetické bezpečnosti vysoce rizikových systémů AI odpovídala příslušným okolnostem a rizikům, a dále aby technická řešení umožňující řešení zranitelných míst specifických pro AI zahrnovala tam, kde je to vhodné, opatření pro prevenci a kontrolu útoků, které se pokoušejí manipulovat soubory tréninkových dat, vstupů, a jejichž cílem je přimět daný model k tomu, aby udělal chybu.
Q: Jaké metody se používají k ochraně pacientských dat proti kybernetickým hrozbám?
A: Každá organizace by si měla definovat svou vlastní politiku bezpečnosti informací obecně (nikoli jen k ochraně pacientských dat!) a provádět pravidelně analýzu rizik na úrovni celého systému ISMS (Information Security Management System), při které bude vyhodnocovat hrozby v kontextu vlastní organizace a svých informačních aktiv a také vyhodnocovat jednotlivé zranitelnosti. Rizika bude zvolenou metodou vyčíslovat, posuzovat a tam, kde to bude možné, tak technickými/administrativními opatřeními je minimalizovat na přijatelnou úroveň, anebo – tam kde to už nejde – přesouvat na jiné subjekty.
Metody lze tedy rozdělit obecně na technické (technologické překážky, bariéry) a administrativní/manažerské (směrnice, vyhlášky). Za kyberbezpečnostní hrozbu lze považovat jak kybernetický útok, tak třeba i hrozbu shořením/zaplavením, nebo hrozbu zneužitím identity a mnoho jiných zcela variabilních typů hrozeb. Pro každou hrozbu (seznam hrozeb je potřeba opět vytvořit v kontextu organizace – lze např. konzultovat s materiály od NÚKIB) pak existují různá řešení a ta ještě budeme větvit i podle konkrétních informačních aktiv a jejich zranitelností a také zranitelností dosavadních zavedených opatření. Nová směrnice o opatřeních pro vysokou společnou úroveň kybernetické bezpečnosti v celé Unii (směrnice NIS2), jejíž implementace v podobě nového zákona o kybernetické bezpečnosti se v ČR připravuje, poskytuje právní opatření ke zvýšení celkové úrovně kybernetické bezpečnosti. Tato směrnice má mj. za cíl zavést kulturu bezpečnosti napříč odvětvími, která jsou životně důležitá pro ekonomiku a společnost a která se silně opírají o IKT, včetně zdravotnictví.
Dále, pro tzv. systémy elektronických zdravotních záznamů (EHR) a další systémy s digitálními komponentami, pro které dosud nebyly formulovány závazné kyberbezpečnostní požadavky, budou požadavky stanoveny v novém nařízení Evropského parlamentu a Rady o horizontálních požadavcích na kybernetickou bezpečnost produktů s digitálními prvky (viz předchozí odpověď na otázku). Jakmile toto nařízení vstoupí v platnost, software a obecně produkty připojené k internetu budou mít označení CE, které označuje, že produkty splňují příslušné požadavky (a normy).
Q: Jak lze zajistit bezpečnost pacientských dat při používání SW umělé inteligence?
A: Dodržování pravidel podle předchozích dvou dotazů: 1) Posuzovat shody s existujícími normami, 2) Neomezovat se hlavně jen na pacientská data, ale na informační bezpečnost obecně/komplexně!
Q: Pokud SW umělé inteligence posílá anonymizovaná pacientská data ze zdravotnického zařízení na vyhodnocení (pokud se jedná o cloud řešení a dochází k odesílání na vyhodnocovací server) mimo EU (například Čína, USA, Indie) může zdravotnické zařízení takový SW používat?
A: Pokud daná organizace takové transakce připouští, je potřeba na úrovni ISMS zajistit pro takové transakce rámec informační bezpečnosti. Držet se pravidla poskytování minimálního setu údajů – data minimization principle: nezbytnost/účelnost – k umožnění plné funkcionality daného softwaru. Neporušit přitom existující platné regulace, a to konkrétně: GDPR – Nařízení (EU) 2016/679 - to zahrnuje zabezpečení osobních údajů, získání souhlasu od subjektů údajů, transparentnost v tom, jak jsou data zpracovávána, a zajištění práv subjektů údajů, včetně práva na přístup, opravu nebo výmaz osobních údajů a také pravidla pro předávání osobních údajů do třetích zemí. V této souvislosti je potřeba zmínit i otázku účinnosti a kvality anonymizace, resp, reziduální riziko, které je s anonymizací spojeno a případně dostupnost tzv. dodatečné informace u uživatele předmětných dat, která by mohla umožnit zpětnou identifikaci osob.
Q: Jsou předpisy, směrnice nebo doporučení pro implementaci SW umělé inteligence ve zdravotnictví?
A: Mimo výše uvedené ISO 27001 a ISO 27799, lze zmínit tyto normy:
- ISO 82304-1 - Health Software: General Requirements for Product Safety - Bezpečnost zdravotnického softwaru: Tato norma stanovuje požadavky na bezpečnost softwaru, který je určen pro zdravotnické účely, včetně softwaru, který je klasifikován jako zdravotnický prostředek.
- ISO 25237: Tato norma se zabývá požadavky a směrnicemi týkajícími se pseudonymizace/anonymizace zdravotních informací.
Na SW, resp, systémy AI se vztahuje široké spektrum právních a dalších předpisů, doporučení, pravidel včetně etických a kontrolních seznamů s požadavky vypracovanými evropskými a mezinárodními institucemi a orgány, s různou mírou závaznosti a aplikovatelnosti pro konkrétní případy. Jakkoliv má mnoho předpisů horizontální platnost na AI systémy obecně, je účel, míra rizika a kontext nasazení určitého AI systému je důležitý pro aplikaci dílčích požadavků. Závazné požadavky pro implementaci SW vyplývající z AI aktu a dalších souvisejících nových právních norem jsou v r. 2024 ještě v přípravě.
Q: Jak postupovat v době moderních AI řízených útoků? Vůbec nejsou informace ohledně kvantově odolného šifrování pro komunikace.
A: V horizontu 5 – 10 let se neočekává nějakou potencionální hrozba, protože k prolomení těchto kryptografických prostředků je zapotřebí mít dostatek kvantových počítačů s výkonem min. 4.500 Quibitů. Dnešní prototypy kvantových počítačů se točí kolem 400 – 800 Quibitů což je prozatím nedostatečný výkon.
Q: V případě, že AI sw označí místo zájmu na snímku jako pozitivní a lékař i přesto vyhodnotí nález jako negativní (AI popis snímku tedy jako falešně pozitivní), jak se nemocnice může v budoucnosti bránit případným žalobám ze strany pacienta, kdy se mu do rukou dostaly snímky s označením AI a po nějaké době se ukáže, že nález AI byl skutečně, nikoli falešně pozitivní a pacientovy tak vznikly zdravotní potíže související s chybnou nebo žádnou léčbou?
A: V současném českém právním rámci je klíčové si uvědomit, že konečnou odpovědnost za diagnostické rozhodnutí nese lékař, nikoli AI systém. Pro ochranu nemocnice by bylo vhodné:
- zajistit řádnou dokumentaci procesu rozhodování lékaře, včetně zdůvodnění, proč byl nález AI systémem vyhodnocen jako falešně pozitivní,
- vypracovat interní postupy pro případy, kdy se závěr AI systému liší od úsudku lékaře, včetně možnosti konzultace s dalším specialistou,
- informovat pacienta o existenci a využití AI systému jako podpůrného nástroje, s vysvětlením, že jde pouze o pomocný diagnostický prostředek,
- zajistit, aby lékaři byli řádně proškoleni jak v používání AI systémů, tak v interpretaci jejich výsledků.
Q: Může pacient použít AI vyhodnocení jako důkaz, kdy byla špatně vyhodnocena diagnóza a léčba, přestože víme, že právní odpovědnost nese pouze lékař?
A: Pacient by teoreticky mohl použít vyhodnocení AI systémem jako důkaz v soudním řízení, ale jeho váha by byla omezená. Podle českého práva platí:
- Soud hodnotí důkazy podle své úvahy, a to každý důkaz jednotlivě a všechny důkazy v jejich vzájemné souvislosti.
- Vyhodnocení AI systémem by bylo posuzováno jako jeden z podkladů pro rozhodnutí lékaře.
- Pro posouzení správnosti postupu lékaře je standardně vyžádán znalecký posudek od nezávislého odborníka v daném medicínském oboru.
- Rozhodující by bylo, zda lékař postupoval na náležité odborné úrovni (lege artis).
Q: Vzniká zde povinnost předávat AI označené snímky pacientům, pokud jimi poskytovatel disponuje? Existuje již povinnost, aby se použití AI začlenilo i do Informovaného souhlasu pacienta?
A: České právo explicitně neupravuje povinnost předávat AI systémem označené snímky pacientům nebo specificky informovat o použití AI systému v informovaném souhlasu, ale:
- Podle zákona o zdravotních službách má pacient právo na poskytnutí veškerých informací shromážděných ve zdravotnické dokumentaci vedené o jeho osobě.
- Pokud jsou AI systémem označené snímky součástí zdravotnické dokumentace, pacient k nim má na vyžádání přístup.
- Z hlediska informovaného souhlasu je vhodné, aby nemocnice pacienta informovala o využití AI systému jako podpůrného nástroje, i když explicitní zákonná povinnost neexistuje.
- Některé nemocnice už začleňují informace o použití AI systému do informovaných souhlasů jako součást dobré praxe.
