di Sebastian Klovig Skelton, ComputerWeekly – 20 settembre 2021 (Traduzione di Marco Giustini)
L’Unione europea (UE) dovrebbe mettere un divieto assoluto sull’uso dell’intelligenza artificiale (AI) e dei sistemi automatizzati per “prevedere” il comportamento criminale, dice un’organizzazione non governativa (ONG) che si batte per sistemi di giustizia penale giusti ed equi a livello globale.
Secondo Fair Trials, l’uso di sistemi decisionali automatizzati per prevedere, profilare o valutare il rischio o la probabilità di comportamento criminale delle persone – altrimenti noto come polizia predittiva – sta rafforzando la discriminazione e minando i diritti umani fondamentali, compreso il diritto a un processo equo e la presunzione di innocenza.
L’appello del gruppo per un divieto assoluto di tali sistemi arriva in vista del prossimo dibattito del Parlamento europeo sull’uso dell’IA in materia penale da parte della polizia e delle autorità giudiziarie, che si terrà tra il 4 e il 6 ottobre 2021.
“L’uso dell’IA e dei sistemi automatizzati per prevedere il comportamento futuro delle persone o la loro presunta criminalità non è solo materia per film futuristici distopici, ma è attualmente una strategia operativa esistente della polizia e delle autorità giudiziarie penali in tutta Europa”, ha detto Griff Ferris, responsabile legale e politico di Fair Trials.
“Questi sistemi vengono utilizzati per creare previsioni, profili e valutazioni del rischio che influenzano la vita delle persone in modo molto reale. Tra gli altri risultati gravi e severi, possono portare le persone, a volte anche i bambini, ad essere messi sotto sorveglianza, fermati e perquisiti, interrogati e arrestati – anche se nessun crimine effettivo è stato commesso”.
Fair Trials ha tracciato una mappa di come i sistemi di policing predittivi portino a risultati discriminatori nel suo rapporto Automating injustice, pubblicato il 9 settembre 2021, scoprendo attraverso numerosi casi di studio che essi “quasi inevitabilmente” utilizzano dati che si basano pesantemente o interamente costituiti da dati provenienti dalle stesse autorità di polizia.
“Questi dati e registri non rappresentano una registrazione accurata della criminalità, ma semplicemente una registrazione delle decisioni delle forze dell’ordine, dei procuratori o dei giudici – i crimini, i luoghi e i gruppi che sono sorvegliati, perseguiti e criminalizzati all’interno di quella società, piuttosto che l’effettivo verificarsi del crimine”, si legge.
“L’uso dell’Intelligenza Artificiale e dei sistemi automatizzati per prevedere il comportamento futuro delle persone o la loro presunta criminalità non è solo materia per film futuristici distopici, ma è attualmente una strategia operativa esistente della polizia e delle autorità della giustizia penale in tutta Europa”. — Griff Ferris, Fair Trials
Critiche di lunga data
Argomenti simili sono stati fatti a lungo dai critici dei sistemi di polizia predittiva. Nel marzo 2020, per esempio, la prova presentata alle Nazioni Unite (ONU) dalla Commissione britannica per l’uguaglianza e i diritti umani (EHRC) ha detto che l’uso della polizia predittiva potrebbe replicare e ingrandire “i modelli di discriminazione nella polizia, prestando al contempo legittimità ai processi di parte”.
Ha aggiunto: “La dipendenza dai ‘grandi dati’ che comprendono grandi quantità di informazioni personali può anche violare i diritti alla privacy e provocare l’autocensura, con un conseguente effetto raggelante sulla libertà di espressione e di associazione”.
Il 7 settembre 2021, un certo numero di accademici ha messo in guardia la commissione Giustizia e Affari Interni della Camera dei Lord sui pericoli della polizia predittiva.
Rosamunde Elise Van Brakel, co-direttrice del Surveillance Studies Network, per esempio, ha osservato che i dati “spesso utilizzati sono i dati degli arresti, ed è diventato molto chiaro che questi dati sono distorti, soprattutto come risultato del profiling etnico da parte della polizia” e che per tutto il tempo “questi dati hanno questo bias sociale cotto dentro, il software sarà sempre distorto”.
Ed aggiunge: “Il primo passo qui non è una questione tecnologica, è una questione di come la polizia e le pratiche sociali sono già discriminatorie o sono già di parte. Non credo che si possa risolvere questo problema modificando la tecnologia o cercando di trovare l’AI per individuare i pregiudizi”.
Nel loro libro, “Police: a field guide”, che analizza la storia e i metodi della polizia moderna, gli autori David Correia e Tyler Wall sostengono anche che i tassi di criminalità e altri dati sulle attività criminali riflettono i modelli già razzializzati della polizia, che crea un circolo vizioso di sospetto e applicazione contro le minoranze nere e di colore in particolare.
“Il primo passo qui non è una questione tecnologica, è una questione di come la polizia e le pratiche sociali sono già discriminatorie o distorte. Non credo che si possa risolvere questo problema modificando la tecnologia o cercando di trovare l’intelligenza artificiale per individuare i pregiudizi”. — Rosamunde Elise Van Brakel, Surveillance Studies Network
“La polizia predittiva … fornisce dati apparentemente oggettivi alla polizia per impegnarsi in quelle stesse pratiche, ma in un modo che appare libero dal profiling razziale … quindi non dovrebbe essere una sorpresa che la polizia predittiva localizza la violenza del futuro nei poveri del presente”, scrivono.
“La polizia concentra le sue attività nei quartieri prevalentemente neri e marroni, il che si traduce in tassi di arresto più elevati rispetto ai quartieri prevalentemente bianchi. [Questo rafforza l’idea che i quartieri neri e marroni ospitano elementi criminali, che confonde il nero e la criminalità, [e] sotto CompStat [una tecnica di gestione della polizia basata sui dati] porta a un’attività di polizia ancora più intensa che si traduce in arresti e incarcerazioni”.
Mentre Correia e Wall scrivono nel contesto della polizia negli Stati Uniti, il rapporto di Fair Trials ha esaminato specificamente l’uso dei sistemi di polizia predittiva nell’UE e ha trovato disparità simili in termini di quali sezioni della popolazione sono sia prese di mira che sovrarappresentate.
Nel Regno Unito, per esempio, Fair Trials ha osservato che l’Harm Assessment Risk Tool (HART) è usato dal Durham Constabulary per tracciare il profilo dei sospetti di reato e prevedere il loro “rischio” di recidiva in futuro, ma che i suoi dati sono estratti da informazioni finanziarie, profili di marketing commerciale e codici di zona – tutti elementi che possono essere un proxy della razza o dello status socio-economico.
Uno studio accademico separato dell’aprile 2018 sulle “lezioni” del sistema HART ha anche notato che tali variabili rischiano “una sorta di ciclo di feedback che può perpetuare o amplificare i modelli esistenti di reato”.
Altri sistemi dettagliati nel rapporto Fair Trials, e che sostiene producano risultati similmente discriminatori come evidenziato dai casi studio, includono: Delia, un sistema di analisi e previsione del crimine usato dalla polizia in Italia; Top600, un sistema usato dalla polizia olandese per prevedere e profilare le persone più a rischio di commettere crimini violenti; e il System for Crime Analysis and Anticipation (SKALA), uno strumento di previsione geografica del crimine usato dalle autorità tedesche.
Ferris ha aggiunto che avere semplicemente dei meccanismi di supervisione in atto per fermare gli abusi non è una misura sufficiente: “L’UE deve vietare l’uso dell’IA e dei sistemi automatizzati che cercano di profilare e prevedere il futuro comportamento criminale. Senza un divieto assoluto, la discriminazione insita nei sistemi di giustizia penale sarà rafforzata e i diritti fondamentali di milioni di europei saranno minacciati”.
L’attuale approccio dell’Europa alla regolamentazione della polizia predittiva
Nell’aprile 2021, la Commissione europea ha pubblicato la sua proposta di legge sull’intelligenza artificiale (AIA) che si concentra sulla creazione di un approccio basato sul rischio e guidato dal mercato per regolare l’IA, ed è piena di autovalutazioni, procedure di trasparenza e standard tecnici.
Tuttavia, gli esperti di diritti civili digitali e le organizzazioni hanno detto a Computer Weekly che anche se il regolamento è stato un passo nella giusta direzione, alla fine non riesce a proteggere i diritti fondamentali delle persone e mitigare i peggiori abusi della tecnologia.
Facendo l’esempio dell’articolo 10 della proposta, che impone che i sistemi di IA devono essere addestrati su set di dati di alta qualità, la consulente politica senior di European Digital Rights (EDRi) Sarah Chander ha detto che il requisito era troppo concentrato su come l’IA opera a livello tecnico per essere utile nel risolvere quello che è, fondamentalmente, un problema sociale.
“Chi definisce cosa sia l’alta qualità? Le forze di polizia, per esempio, usando i dati operativi della polizia che saranno set di dati di alta qualità per loro perché hanno fiducia nel sistema, la costruzione politica di quei set di dati [e] nei processi istituzionali che hanno portato a quei set di dati – l’intera proposta trascura la natura altamente politica di ciò che significa sviluppare l’IA”, ha detto.
“Alcune modifiche tecniche non renderanno l’uso dei dati da parte della polizia meno discriminatorio, perché la questione è molto più ampia del sistema di IA o del set di dati – si tratta di polizia istituzionale [in questo caso]”, ha detto Chander.
Mentre la proposta ha identificato i sistemi di polizia predittiva come “ad alto rischio”, gli esperti hanno detto che le forze di polizia di tutta Europa sarebbero ancora in grado di implementare questi sistemi con relativa facilità a causa, ad esempio, della mancanza di valutazioni di impatto sui diritti umani e il fatto che gli sviluppatori sono essi stessi incaricati di determinare la misura in cui i loro sistemi si allineano con le regole del regolamento.
