Fonte: Algoritmo Watch
la traduzione è stata effettuata con google translator
Quando si utilizzano sistemi decisionali automatizzati (sistemi ADM) nel settore pubblico, le autorità agiscono in un contesto unico e hanno responsabilità speciali nei confronti delle persone interessate. In questo contesto, l’uso dei sistemi ADM da parte delle pubbliche amministrazioni dovrebbe essere soggetto a rigorosi meccanismi di trasparenza, compresi i registri pubblici e le valutazioni d’impatto obbligatorie.
L’automazione delle procedure e dei servizi decisionali nelle pubbliche amministrazioni è in forte aumento. Le amministrazioni la considerano un’opportunità per accelerare l’efficienza, facilitare i processi, nonché accelerare i servizi di massa e di routine. Gli esempi vanno dai chatbot, all’elaborazione automatizzata delle dichiarazioni fiscali o delle richieste di prestazioni sociali, ai sistemi algoritmici per rilevare i rischi di frode sociale, per profilare i disoccupati, per scopi di polizia predittiva o per valutare i rischi di recidiva dei detenuti in libertà vigilata: tutti questi sistemi sono sempre più utilizzati in Europa e oltre.
Indubbiamente, l’utilizzo dei sistemi ADM offre grandi potenzialità alle pubbliche amministrazioni. Allo stesso tempo, comporta rischi sostanziali, soprattutto se tali sistemi non vengono implementati in modo accurato. Può limitare l’accesso delle persone alla partecipazione, ai beni e servizi pubblici e violare i diritti fondamentali.
Sebbene questi rischi non siano limitati al settore pubblico (ma spesso rispecchino rischi simili che riguardano la sfera privata), il settore pubblico è di un tipo unico. Gli individui non hanno la libertà di scegliere il fornitore dei servizi, ma sono inevitabilmente soggetti a una particolare amministrazione. Le autorità hanno accesso a dati personali sensibili e le loro decisioni hanno spesso effetti consequenziali sugli individui. Tutto ciò è stato a lungo rispecchiato in precondizioni legali uniche a cui sono soggette le autorità pubbliche, come i principi di legalità o il rispetto dei diritti fondamentali.
Quando si implementano i sistemi ADM nel settore pubblico, è necessario considerare questa impostazione unica: autonomia, giustizia ed equità, prevenzione dei danni e benefici dovrebbero essere i parametri di riferimento finali per l’automazione delle procedure amministrative.
In questo contesto, l’uso dei sistemi ADM da parte delle autorità pubbliche deve essere soggetto a requisiti rigorosi, garantendo trasparenza e responsabilità nei confronti delle persone interessate e consentendo un controllo individuale e democratico.
Una sfida centrale è il carattere opaco dei sistemi ADM in uso. Senza adeguate misure di trasparenza, rimarranno scatole nere – per l’amministrazione e il suo personale, per le persone colpite e per la società nel suo insieme, inibendo fin dall’inizio la contestazione critica. La trasparenza è quindi un primo passo necessario, anche se non ancora sufficiente, verso un uso responsabile dei sistemi ADM. È un prerequisito non solo per le persone colpite per difendersi, ma anche per il pubblico per consentire un dibattito basato sull’evidenza e un controllo pubblico sull’impatto dei sistemi ADM. Le seguenti raccomandazioni politiche si concentrano sui meccanismi per stabilire la trasparenza sull’uso dei sistemi ADM nel settore pubblico.
Raccomandazioni politiche
1. Istituire registri pubblici per i sistemi ADM utilizzati nel settore pubblico
Senza la possibilità di sapere se i sistemi ADM vengono implementati, tutti gli altri sforzi per la riconciliazione dei diritti fondamentali e dei sistemi ADM sono destinati a fallire. Chiediamo quindi registri pubblici legalmente obbligatori di tutti i sistemi ADM utilizzati dalle pubbliche amministrazioni – a livello comunale, regionale, nazionale e sovranazionale.
Questi registri dovrebbero comportare l’obbligo legale per i responsabili del sistema ADM di divulgare informazioni sul modello sottostante del sistema, sui suoi sviluppatori e implementatori , sullo scopo del suo utilizzo e sui risultati della valutazione d’impatto algoritmica , ovvero se applicabile, la relazione sulla trasparenza (cfr. infra).
In contesti specifici, gli interessi legittimi potrebbero opporsi al pieno accesso del pubblico alle relazioni sulla trasparenza (come, ad esempio, la protezione dei dati personali). Tuttavia, in tali casi, deve essere garantita la trasparenza nei confronti di sedi specifiche, ad es. g., l’istituto di vigilanza appropriato. Questo, a sua volta, deve essere pubblicamente comunicato nel registro.
Le informazioni contenute nel registro devono essere messe a disposizione in modo facilmente leggibile e accessibile, compresi i dati digitali strutturati basati su un protocollo standardizzato. È importante sottolineare che tali registri consentono anche revisioni indipendenti fornendo a ricercatori esterni (università, società civile e giornalisti) l’accesso a dati rilevanti sull’uso dei sistemi ADM da parte delle autorità pubbliche. Ciò contribuisce al controllo pubblico e a un dibattito basato sull’evidenza sull’automazione del settore pubblico, un prerequisito per garantire il controllo democratico e la responsabilità.
2. Valutare sistematicamente l’impatto di ogni sistema ADM utilizzato nel settore pubblico
Alla luce degli effetti consequenziali che i sistemi ADM possono avere, le autorità pubbliche dovrebbero essere obbligate a valutare sistematicamente e rendere trasparenti i potenziali rischi di qualsiasi sistema che intendono implementare. Tali rischi non possono essere determinati in maniera generalizzata ma solo attraverso un’analisi caso per caso. Pertanto, dovrebbe essere obbligatorio per le autorità pubbliche condurre una valutazione d’impatto prima e durante l’implementazione di qualsiasi sistema ADM.
Per fare la differenza nella pratica, la riflessione etica deve tradursi in strumenti pronti all’uso, fornendo alle autorità i mezzi per condurre tale analisi. A tal fine, AlgorithmWatch ha sviluppato uno strumento di valutazione dell’impatto pratico, facile da usare e concreto , che consente la valutazione di un sistema ADM durante l’intero ciclo di vita.
Questa procedura di valutazione d’impatto in due fasi genera trasparenza sui potenziali rischi che derivano dall’uso del sistema, sulla base dei principi etici sopra delineati. Nella sua prima fase, consente un triage , indicando se un sistema specifico deve essere soggetto a requisiti di trasparenza aggiuntivi. Questa fase può essere attuata dalle autorità in modo non burocratico. Se compaiono segnali di rischio, nella seconda fase, le autorità pubbliche devono fornire una relazione sulla trasparenza , rivelando i rischi e le misure adottate per mitigare tali rischi. Più segnali di rischio compaiono nella prima fase, più completi diventano i requisiti di trasparenza nella seconda fase, quindi più diventa impegnativo per un’autorità pubblica implementare il sistema.
La trasparenza può essere solo il primo passo
Oltre alle misure di trasparenza, abbiamo bisogno di quadri per garantire il controllo individuale e democratico sull’uso dei sistemi ADM, nonché la responsabilità nei confronti delle persone colpite e del pubblico in generale.
A livello di individui , ciò include, ma non si limita a, fornire alle persone l’accesso alle informazioni rilevanti nel caso in cui siano state interessate dall’uso di un sistema ADM; garantire rimedi accessibili, abbordabili ed efficaci; e considerando i meccanismi di opt-out in determinate circostanze. A livello sociale , centri di competenza indipendenti e quadri affidabili di accesso ai dati per la ricerca di interesse pubblico contribuirebbero notevolmente a rafforzare il controllo pubblico e il controllo, aumentando così la responsabilità da parte delle autorità pubbliche. Infine, come società, dovremo discutere dove tracciare la linea quando si tratta di automazione : quando l’uso dei sistemi ADM non può essere reso compatibile con i diritti fondamentali e i principi democratici,dovrebbe essere vietato .
Alla fine, introducendo quadri di governance per garantire trasparenza, controllo e responsabilità, lavoriamo per un utilizzo dei sistemi ADM nel settore pubblico che effettivamente avvantaggia, anziché danneggiare, gli individui e la società.