Nel corso degli ultimi anni, gli strumenti di intelligenza artificiale (IA) hanno subito uno sviluppo esponenziale e trasversale su diversi campi applicativi. Tra questi si identificano dispositivi medici in cui sono state integrate funzioni che si basano sull’intelligenza artificiale (IA) nelle sue molteplici sfaccettature. Tuttavia, se lo sviluppo progettuale ha permesso e sta avendo un progresso particolarmente veloce, dal punto di vista della regolamentazione, solo di recente si è iniziata a fare un po’ di chiarezza rispetto a come poter garantire la sicurezza di questi prodotti e sfruttarne al massimo le potenzialità.

Contesto normativo

Un prodotto che si qualifica come dispositivo medico, deve rispettare il Regolamento (UE) 2017/745 (MDR). Ma cosa succede se ad un dispositivo medico si applica anche la definizione di«sistema di IA» secondo Regolamento (UE) 2024/1689 – AI ACT?

Si definisce «sistema di IA»: un sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall’input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtuali.

Se per un dispositivo medico si considera valido anche il perimetro di applicazione del «sistema di IA», allora oltre ai requisiti previsti dall’MDR, si dovranno applicare i requisiti pertinenti dell’AI ACT. Infatti, il Regolamento (UE) 2024/1689 prevede una suddivisione in categorie di prodotti sulla base della classe di rischio, a cui consegue la necessità di applicare determinati requisiti. Tra le categorie applicabili ai dispositivi medici emerge quella di “Sistema di IA ad alto rischio”.

Un sistema di IA si qualifica ad alto rischio se viene soddisfatto quanto segue (Capo III – Sezione 1, Articolo 6, Paragrafo 1):

A prescindere dal fatto che sia immesso sul mercato o messo in servizio indipendentemente dai prodotti di cui alle lettere a) e b), un sistema di IA è considerato ad alto rischio se sono soddisfatte entrambe le condizioni seguenti:
a) il sistema di IA è destinato a essere utilizzato come componente di sicurezza di un prodotto, o il sistema di IA è esso stesso un prodotto, disciplinato dalla normativa di armonizzazione dell’Unione elencata nell’allegato I;
b) il prodotto, il cui componente di sicurezza a norma della lettera a) è il sistema di IA, o il sistema di IA stesso in quanto prodotto, è soggetto a una valutazione della conformità da parte di terzi ai fini dell’immissione sul mercato o della messa in servizio di tale prodotto ai sensi della normativa di armonizzazione dell’Unione elencata nell’allegato I. […]

Seguendo il flusso previsto, il primo passo (a) è la valutazione del prodotto come componente di sicurezza o prodotto che rientri in quelli disciplinati da una delle normative di armonizzazione dell’Unione elencate nell’Allegato I. L’Allegato I cita tra le normative proprio il Regolamento (UE) 2017/745.
Si considera il punto (a) soddisfatto.

Il secondo step (b) riguarda la presenza di un processo di valutazione della conformità da parte di terzi ai fini dell’immissione sul mercato o della messa in servizio (ai sensi della normativa di armonizzazione dell’Unione elencata nell’allegato I).

Se un dispositivo medico soddisfa entrambi i punti (a) e (b), allora si considera sistema di IA ad alto rischio all’interno dell’AI ACT.

Un dispositivo medico con sistema di IA, dovrà adottare simultaneamente entrambi gli atti legislativi. Solo in questo modo diventa possibile garantire la sicurezza e la gestione dei rischi che caratterizzano i due mondi.

MDR ed AI ACT

L’IA ACT prevede la necessità di implementare un sistema di gestione per la qualità caratterizzato da una serie di procedure ed istruzioni atte a garantire il controllo della progettazione, controllo della qualità, test e validazioni, gestione dei dati e attività di sorveglianza.

Allo stesso tempo prevede la stesura della documentazione tecnica del dispositivo medico con intelligenza artificiale per dimostrarne la conformità ai requisiti previsti. Tra i contenuti viene previsto di indicare: finalità, interazioni, descrizioni su sistema e sviluppo, metriche utilizzate, analisi dei rischi, monitoraggio, nonché una gestione continua dell’intero ciclo di vita.

A livello macroscopico le richieste per la valutazione della conformità di un sistema di intelligenza artificiale sono assimilabili con quelle di un dispositivo medico: uno stretto controllo del processo di gestione fin dalla progettazione ed un elevato dettaglio delle caratteristiche del prodotto (dalla progettazione al post vendita). Chiaramente, un’attenzione dedicata deve essere posta ai temi più critici e peculiari introdotti da ciascuno dei due singoli sistemi.

Alfabetizzazione e Deployer

Il Regolamento (UE) 2024/1689 sottolinea l’importanza per i sistemi di IA ad alto rischio dei concetti di: “alfabetizzazione” e “deployer”.

L’«alfabetizzazione in materia di IA» viene definita come:

Le competenze, le conoscenze e la comprensione che consentono ai fornitori, ai deployer e alle persone interessate, tenendo conto dei loro rispettivi diritti e obblighi nel contesto del presente regolamento, di procedere a una diffusione informata dei sistemi di IA, nonché di acquisire consapevolezza in merito alle opportunità e ai rischi dell’IA e ai possibili danni che essa può causare.

Lo scopo è quello di fornire consapevolezza a coloro che si occupano del funzionamento ed utilizzo del sistema di IA, trasmettendo le nozioni necessarie per prendere decisioni informate in merito al sistema. Un’adeguata alfabetizzazione contribuisce a garantire conformità ed una corretta esecuzione del sistema.

Il «deployer» viene definito come:

Una persona fisica o giuridica, un’autorità pubblica, un’agenzia o un altro organismo che utilizza un sistema di IA sotto la propria autorità, tranne nel caso in cui il sistema di IA sia utilizzato nel corso di un’attività personale non professionale.

Il Deployer adotta specifici ruoli e responsabilità, tra questi è possibile evidenziare diversi temi che caratterizzano i Sistemi di IA ad alto rischio: alfabetizzazione, sorveglianza umana, garantisce rappresentatività dei dati di ingresso, monitoraggio del funzionamento del sistema, conservazione dei log, ecc.

Requisiti per i sistemi di IA ad alto rischio

Il Regolamento (UE) 2024/1689 dedica il Capo III ai Sistemi di IA ad alto rischio, elencandone i requisiti (Sezione 2):

Conformità ai requisiti (articolo 8)
Sistema di gestione dei rischi (articolo 9)
Data e governance dei dati (articolo 10)
Documentazione tecnica (articolo 11)
Conservazione delle registrazioni (articolo 12)
Trasparenza e fornitura di informazioni ai deployer (articolo 13)
Sorveglianza umana (articolo 14)
Accuratezza, robustezza e cibersicurezza (articolo 15)

Conformità ai requisiti

Come anticipato, un dispositivo medico con sistema di IA, dovrà adottare simultaneamente entrambi gli atti legislativi. Solo in questo modo diventa possibile garantire la sicurezza e la gestione dei rischi che caratterizzano i due mondi. Viene prevista la possibilità di gestire i due atti giuridici in un’unica valutazione di conformità. Nel caso specifico, integrando ai requisiti dell’MDR, i requisiti previsti nella sezione 2 del Capo III dell’AI ACT.

Sistema di gestione dei rischi

Il sistema di gestione dei rischi deve essere un processo iterativo continuo, pianificato, eseguito e mantenuto per l’intero ciclo di vita di un sistema IA ad alto rischio. Prevedendo un costante e sistematico riesame ed aggiornamento. Il processo parte dall’identificazione e analisi dei rischi, con conseguente rilevazione di misure di controllo, nonché valutazione di eventuali rischi residui ed attività di monitoraggio successiva all’immissione sul mercato. L’approccio definito dall’AI ACT risulta analogo a quello previsto per una gestione dei rischi secondo MDR.

Data e governance dei dati

Un sistema di IA ad alto rischio prevede l’addestramento di modelli di IA, sviluppati a partire da set di dati di addestramento, convalida e prova. I dati selezionati devono essere valutati nel rispetto di:

Scelte progettuali;
Raccolta e origine dei dati;
Trattamento dei dati (pre-processing), per prepararli allo scopo previsto (annotazione, etichettatura, pulizia, ecc.);
Disponibilità, quantità ed adeguatezza dei dati;
Valutazione delle possibili distorsioni con effetti negative e relative misure di controllo;
Individuazione delle lacune e modalità di gestione delle stesse.

Particolare attenzione deve essere posta all’analisi degli aspetti di selezione dei dati, alla loro rappresentatività e proprietà statistiche, al loro utilizzo nelle fasi di addestramento, validazione e verifica; ai fini del raggiungimento dello scopo previsto.

L’attenzione alla gestione del dato è un elemento inevitabile considerando le caratteristiche proprie di un sistema di IA: le valutazioni preliminari di selezione dei dati, le operazioni di trattamento ed utilizzo finale, devono essere opportunamente descritti e tracciati all’interno della documentazione tecnica.

Documentazione tecnica

L’AI ACT prevede la redazione della documentazione tecnica del sistema di IA ad alto rischio prima dell’immissione sul mercato o della messa in servizio del sistema. Per un dispositivo medico con intelligenza artificiale a cui si applicano MDR e AI ACT, viene prevista un’unica documentazione tecnica che conterrà le informazioni necessarie per entrambi i regolamenti.

A livello operativo, nella gestione di un prodotto MDR con applicazione dell’AI ACT si dovranno considerare con particolare enfasi gli aspetti di gestione dei dati che portano alle prestazioni previste: scelte progettuali, valutazioni e risultati.

Conservazione delle registrazioni

Un sistema di IA ad alto rischio prevede la possibilità di registrare gli eventi («log») per l’intero ciclo di vita del sistema e secondo la destinazione d’uso prevista, con lo scopo di:

Individuare situazioni che possono portare un rischio per la salute o sicurezza delle persone o una modifica sostanziale;
Agevolare il monitoraggio post-market;
Permettere il monitoraggio del funzionamento del sistema stesso.

Trasparenza e fornitura di informazioni ai deployer

Un sistema di IA ad alto rischio deve garantire un funzionamento “trasparente” fin dalla progettazione e dallo sviluppo. Tra gli strumenti utili a tale scopo si trovano le istruzioni per l’uso, necessarie per permettere una corretta interpretazione e comprensione dei risultati che fornisce il sistema. Le IFU (digitali o cartacee) devono essere: concise, complete, corrette e chiare che siano pertinenti, accessibili e comprensibili.

Le informazioni base da fornire sia per un dispositivo medico che per un sistema di IA ad alto rischio sono: informazioni di rintracciabilità, caratteristiche tecniche, capacità e limiti (accuratezza, robustezza, specifiche dei dati, etc). Devono essere tracciate le eventuali modifiche previste nella valutazione di conformità, le misure adottate per la sorveglianza, le modalità di installazione e manutenzione del dispositivo medico con intelligenza artificiale.

Viene posta particolare enfasi all’importanza delle informazioni che arrivano all’utilizzatore: eventuali informazioni su come gestire i dati di output (raccogliere, conservare e interpretare correttamente i log) o circostanze che potrebbero portare a rischi di salute o sicurezza.

Trasparenza ed alfabetizzazione diventano due concetti cardine per una corretta interpretazione ed utilizzo del risultato, prendere decisioni informate in merito al sistema.

Sorveglianza umana

Un sistema di IA ad alto rischio deve permettere la supervisione dell’uso da parte di persone fisiche, dalla progettazione e sviluppo e con l’utilizzo di strumenti di interfaccia adeguati.

La sorveglianza umana ha lo scopo di mitigare i rischi per salute e sicurezza durante l’uso.

La sorveglianza viene ponderata sulla base dell’analisi dei rischi, livello di autonomia e contesto di utilizzo del sistema di IA ad alto rischio. Tali misure devono essere previste prima dell’immissione sul mercato / messa in servizio.

Anche nel caso della sorveglianza umana, ritorna in gioco il concetto di alfabetizzazione. Un’adeguata sorveglianza, infatti, è possibile se colui che se ne occupa abbia la consapevolezza dei seguenti aspetti:

Capacità;
Limiti;
Funzionamento del sistema;
Rischio di fare eccessivo ed automatico affidamento all’output di automazione;
Interpretare correttamente l’output con gli strumenti e metodi a disposizione;
Possibilità di ignorare, annullare o ribaltare l’esito del sistema di IA, per particolari situazioni;
Intervenire sul funzionamento interrompendo il sistema con un arresto in condizioni di sicurezza.

Accuratezza, robustezza e cibersicurezza

Un sistema di IA ad alto rischio deve garantire durante l’intero ciclo di vita un adeguato livello di: accuratezza, robustezza e cibersicurezza.

Accuratezza: i livelli raggiunti e le metriche utilizzate, devono essere inseriti e descritti all’interno delle istruzioni per l’uso.
Robustezza: adozione di sistemi ridondanti che permettono di mitigare errori, guasti o incongruenze.
Cibersicurezza: adozione di soluzioni tecniche adeguate alle circostanze ed ai rischi possibili, per contrastare i tentativi di terzi non autorizzati alle vulnerabilità del sistema, con conseguente modifica di utilizzo, output o prestazione.
Le soluzioni tecniche devono prevedere le misure di prevenzione, accertamento, risposta, risoluzione e controllo degli attacchi:
- Avvelenamento dei dati (di addestramento);
- Avvelenamento dei modelli;
- Esempi antagonistici o evasione dal modello (manipolazione degli input progettati, così da portare in errore il sistema);
- Attacchi di riservatezza;
- Difetti del modello.

Tutti questi aspetti vengono già trattati per la progettazione di un dispositivo medico. Particolare enfasi viene posta sui dati e sui modelli, propri di un sistema IA.

Quando si applica il regolamento AI per i sistemi IA ad alto rischio?

Il Regolamento (UE) 2024/1689 entra in vigore il 2 agosto 2024 e si applica a decorrere dal 2 agosto 2026 (con alcune piccole eccezioni).

Per i sistemi AI ad alto rischio si applica al decorrere del 2 agosto 2027.

Se il sistema AI ad alto rischio è stato immesso sul mercato o messo in servizio prima del 2 agosto 2026: il regolamento si applica se, al decorrere di questa data, i sistemi subiscono modifiche significative (o sostanziali) della loro progettazione o finalità. Se il sistema IA ad alto rischio è destinato ad essere utilizzato dalle autorità pubbliche: l’applicazione le misure necessarie per conformarsi ai requisiti e obblighi sono da adottare entro il 2 agosto 2030.

Articoli recenti