Il 18 maggio 2026 il Garante europeo della protezione dei dati (EDPS) ha pubblicato una checklist sull’intervento umano nelle decisioni automatizzate (automated decision-making, ADM). Il documento è formalmente rivolto alle istituzioni, agli organi e agli organismi dell’Unione soggetti al Regolamento (UE) 2018/1725, ma il suo perimetro di utilità è più ampio: si tratta di uno strumento di autovalutazione che qualsiasi organizzazione che impieghi decisionali automatizzati può utilizzare per verificare l’efficacia del presidio umano previsto nelle proprie policy.
Finalità e struttura della checklist
La checklist risponde a una prima analisi – effettuata dall’EDPS nel Tech Dispatch n. 2/2025 – sui fraintendimenti più comuni legati all’human oversight: l’assunto per cui la mera presenza di un revisore sia sufficiente a neutralizzare il rischio, la sottovalutazione dell’automation bias, la presunzione che i sistemi operino sempre in condizioni prevedibili, ecc.
La checklist traduce quella diagnosi in punti di controllo verificabili, articolati in due sezioni: una prima, di applicazione generale, incentrata su governance documentata, formazione e competenza degli utilizzatori, autorità di disapplicare l’output, comprensibilità della logica del sistema, tracciabilità delle decisioni, procedure di escalation, meccanismi di contestazione, indicatori di performance e analisi delle cause profonde dei malfunzionamenti; una seconda, riservata agli operatori dotati del potere di intervenire sul sistema (sospensione o disapplicazione delle decisioni), dedicata alle condizioni operative del presidio: autorizzazione, tempistiche di revisione, progettazione dell’interfaccia, audit e meccanismi di vigilanza.
Gli elementi del presidio
Governance documentata e proporzionata al rischio – Ruoli e responsabilità devono risultare da documentazione formale e il livello di sorveglianza deve essere calibrato sul rischio effettivo del sistema. Un presidio uniforme, applicato indistintamente a strumenti di supporto interno e a sistemi che incidono su posizioni giuridiche individuali, non soddisfa il criterio di proporzionalità.
Competenza, formazione e condizioni di esercizio del giudizio – L’operatore deve conoscere non solo il funzionamento del sistema, ma anche i suoi limiti e le sue modalità di errore, attraverso una formazione obbligatoria all’ingresso, esercitazioni basate su scenari reali di malfunzionamento e moduli dedicati al processo decisionale etico e al rischio di automation bias. Deve inoltre disporre del tempo e delle informazioni necessari per esercitare un giudizio effettivo. Nei contesti il volume di dati da analizzare è elevato, i vincoli di produttività rappresentano spesso la variabile che riduce la revisione umana a un adempimento formale.
Autorità di intervento – Il presidio è effettivo solo se chi lo esercita dispone del potere di discostarsi dall’output, di sospenderne l’esecuzione o di interrompere il funzionamento del sistema. La checklist richiede che l’operatore possa esercitare un potere di sospensione dell’intero sistema (c.d. stop-the-line authority) in presenza di anomalie sistemiche sospette, senza subire conseguenze avverse. Laddove il processo interno tratti la raccomandazione come esito predefinito, e imponga a chi se ne discosta un onere motivazionale superiore a quello richiesto per l’adesione, lo strumento di supporto assume nei fatti natura decisionale.
Comprensibilità della logica del sistema – La checklist richiede che agli utilizzatori siano fornite spiegazioni in linguaggio accessibile del funzionamento del sistema. Particolare attenzione merita il trattamento dei confidence score: un indicatore di affidabilità è utile soltanto se il revisore ne comprende il significato statistico; in caso contrario può accentuare l’automation bias, conferendo all’output un’apparenza di oggettività.
Tracciabilità, escalation e contestazione – Le decisioni e gli scostamenti devono essere registrati; devono esistere percorsi di escalation verso livelli decisionali superiori e canali accessibili di reclamo per gli interessati. Per le decisioni ad alto impatto o con effetti giuridici, la checklist raccomanda il principio dei “quattro occhi”, con più di un utilizzatore chiamato a vigilare in autonomia e un meccanismo formalizzato per risolvere i disaccordi tra i revisori. Si tratta dell’infrastruttura probatoria necessaria a sostenere l’accountability dell’organizzazione.
Misurazione – L’aspetto di maggiore interesse del documento è l’attenzione agli indicatori: tasso di override, tempi di reazione, tassi di accordo e disaccordo con il sistema, esiti dei reclami, revisioni campionarie, risultati degli audit. La sorveglianza umana cessa così di essere un artefatto di compliance e viene ricondotta al perimetro delle informazioni gestionali disponibili al management. In questa prospettiva, il tasso di override diventa un indicatore rilevante: un valore elevato può segnalare un modello mal calibrato, un caso d’uso eccessivamente complesso, una formazione insufficiente o un’interfaccia inadeguata; un valore prossimo allo zero, su processi ad alto impatto, non costituisce di per sé un risultato positivo, in quanto potrebbe indicare una dipendenza acritica dall’automazione.
Analisi delle cause profonde – A seguito di un errore o di un incidente, l’organizzazione è tenuta a risalire alla causa sistemica, e non a limitarsi alla correzione del singolo esito.
Condizioni operative e verifica continua del presidio – L’effettività del controllo dipende anche da fattori organizzativi individuati dalla checklist per gli operatori dotati del potere di intervenire sul sistema: carichi di lavoro sostenibili, assenza di compiti concorrenti durante le attività di revisione e periodi di recupero (c.d. cool-down) per le decisioni ad alto impatto emotivo. L’interfaccia dovrebbe essere sottoposta a test di usabilità con operatori reali, rendere immediatamente accessibili i comandi di override e mascherare i dati sensibili non necessari alla decisione. La checklist richiede infine una verifica indipendente del presidio, tramite audit interni ed esterni, campionamento periodico dei log decisionali secondo una percentuale definita e simulazioni di anomalie (i c.d. red team) volte a mantenere l’attenzione degli operatori, unitamente a una matrice di competenze aggiornata per ciascuna funzione critica e alla rotazione periodica dei compiti per prevenire l’assuefazione al sistema.
La rilevanza per il settore privato
Sebbene la checklist si rivolga formalmente alle istituzioni dell’Unione, i punti di controllo che essa propone intercettano obblighi che il settore privato ha già davanti a sé, anche ai sensi dell’AI Act
L’art. 14 dell’AI Act impone che i sistemi di IA ad alto rischio siano progettati in modo da poter essere efficacemente sorvegliati da persone fisiche, con misure proporzionate ai rischi, al grado di autonomia e al contesto d’uso; le persone incaricate devono essere poste in condizione di comprendere capacità e limiti del sistema, di restare consapevoli dell’automation bias, di interpretarne correttamente gli output, di disattenderli e di interromperne il funzionamento. L’art. 26 sposta il baricentro sul deployer, che deve affidare la sorveglianza a persone fisiche dotate della competenza, della formazione e dell’autorità necessarie, nonché del sostegno necessario. L’art. 27, ove applicabile, richiede che la valutazione d’impatto sui diritti fondamentali (FRIA) dia conto delle misure di sorveglianza umana adottate e dei meccanismi di reclamo predisposti.
Sul versante della protezione dei dati, l’art. 22 GDPR continua a operare secondo un’interpretazione consolidata, per cui il coinvolgimento umano deve essere significativo e affidato a un soggetto che disponga effettivamente del potere di modificare l’esito. Nel diritto amministrativo italiano, il principio di non esclusività della decisione algoritmica è stato affermato dal Consiglio di Stato già nel 2019, unitamente ai principi di conoscibilità e di non discriminazione algoritmica.
Le fonti sono diverse, ma convergono su una medesima verifica sostanziale: il controllo umano è efficace solo se chi lo esercita dispone della competenza, delle informazioni, del tempo e dell’autorità necessari per discostarsi dall’output del sistema. La checklist dell’EDPS traduce questo principio in punti di verifica concreti, offrendo alle organizzazioni uno strumento operativo per misurare – e, se necessario, rafforzare – il proprio presidio.
