I registri algoritmici possono risolvere il bias automatizzato?

Fonte : Equaltimes.org che ringraziamo 

Nel gennaio 2021 il governo olandese è crollato a causa di uno scandalo che mette in evidenza i pericoli del tentativo di amministrare i servizi governativi essenziali con l’intelligenza artificiale (AI) . Tra il 2009 e il 2019, in quello che è diventato noto come il toeslagenaffaire (l’affare dei benefici), circa 26.000 genitori sono stati ingiustamente accusati di aver commesso una frode sugli assegni per l’infanzia.

I servizi fiscali olandesi hanno preso di mira pesantemente le famiglie provenienti da ambienti più poveri e quelle con nomi “dal suono straniero”, in alcuni casi costringendole inutilmente a rimborsare decine di migliaia di euro di assegni familiari. Spesso le persone coinvolte non hanno avuto accesso alle vie legali, portando molte famiglie a indebitarsi e divorziare. Alcune famiglie hanno persino perso la casa.

Parte dello scandalo riguardava un algoritmo. Uno dei modi in cui il governo olandese ha cercato la frode era tramite un sistema automatizzato che scansionava i potenziali segni di frode. Le famiglie segnalate sono state quindi braccate da funzionari fiscali dalla mano pesante. Eppure si è scoperto che il sistema era di parte: avere la doppia nazionalità era una delle ragioni per essere segnalati dal sistema.

“Ha provocato un enorme caos”, afferma Nadia Benaissa, consulente politico presso l’ONG olandese Bits of Freedom, che lavora su questioni come la libertà di Internet e la discriminazione algoritmica. “La discriminazione e l’esclusione dallo stato di diritto sono state molto importanti in questo caso”.

Il toeslagenaffaire è solo un esempio di discriminazione algoritmica. È stato dimostrato che gli algoritmi replicano i pregiudizi sociali contro, ad esempio, le minoranze etniche nelle condanne penali , nella polizia predittiva e persino nel reclutamento . Tuttavia c’è un movimento crescente per rendere questi sistemi più etici. Ad esempio, un paio di grandi città europee hanno recentemente avviato il processo di apertura degli algoritmi che utilizzano e di consentire ai cittadini di esaminarli. Queste iniziative di trasparenza sono chiamate registri algoritmici (o AI) e nel settembre 2020 Amsterdam ed Helsinki sono diventate le prime città al mondo a offrirle.

I registri dell’IA sono sufficienti per proteggere i cittadini?

I registri di Amsterdam e Helsinki offrono un elenco di algoritmi, quali dati li contengono, come vengono archiviati e persino quali rischi sono presenti. Per un algoritmo della fotocamera che rileva se le persone in strada rispettano le linee guida di distanziamento sociale di 1,5 metri per Covid-19, la città di Amsterdam osserva che il modello non funziona necessariamente bene per tutti i “colori della pelle, età, taglie o stili di abbigliamento” . In un altro caso, la città di Amsterdam menziona il proprio sistema di controllo del parcheggio automatizzato , che scansiona le targhe per vedere se un’auto può parcheggiare nel centro della città. A Helsinki il registro include un chatbot per le cliniche di maternità che risponde a domande relative alla gravidanza e allo sviluppo del bambino.

Entrambi i registri sono stati costruiti dalla società finlandese Saidot. Il suo CEO Meeri Haataja osserva che si tratta di più di una semplice iniziativa di trasparenza. “È una piattaforma di governance dell’IA”, afferma. “Diamo alle organizzazioni pubbliche e private che utilizzano l’IA su larga scala gli strumenti per aiutarle ad affrontare i rischi di tali sistemi”.

In sostanza, vendono un servizio software che offre alle organizzazioni una migliore supervisione sugli algoritmi che impiegano. In precedenza, potrebbe non essere stato molto chiaro quali algoritmi utilizzasse un governo, anche per i membri della stessa amministrazione del governo. Gli algoritmi potrebbero essere distribuiti tra i diversi dipartimenti e le informazioni chiave, come i dati su cui si basa il sistema, potrebbero non essere accessibili per la supervisione.

La piattaforma di Saidot raccoglie tutte queste informazioni in un unico posto, che consente quindi alle organizzazioni di valutare meglio i rischi posti dall’IA e di comunicarne apertamente al pubblico o ai dipendenti.

“Riteniamo che la trasparenza sia uno strumento essenziale per la gestione dei rischi etici come pregiudizi o ingiustizia”, ​​afferma Haataja. “La nostra piattaforma consente lo svolgimento di valutazioni, il che aiuta la responsabilità all’interno dell’organizzazione. A tua volta puoi informare le parti interessate, come i dipendenti”.

Finora, Saidot ha fatto abbastanza bene con la sua proposta, sfoggiando clienti da Finnair alla piccola città finlandese di Espoo. Iniziative simili hanno anche iniziato a spuntare. Nei Paesi Bassi, sono state fatte richieste per un watchdog degli algoritmi, accompagnato da regole che obbligherebbero le organizzazioni a rivelare quali algoritmi utilizzano. Gli esperti hanno anche chiesto meccanismi per controllare gli algoritmi ei loro dati sottostanti .

Ma potrebbe non bastare. “Penso che questi registri siano un buon passo verso una maggiore trasparenza”, afferma Benaissa. “Che è qualcosa a cui i cittadini [dell’UE] hanno diritto, come codificato nel Regolamento generale sulla protezione dei dati (GDPR). Ma dobbiamo proteggere i cittadini in modi migliori, cosa che un registro non offre”. Haataja di Saidot è d’accordo: “I registri dell’IA da soli non risolveranno tutto”, afferma. “La trasparenza è un primo passo necessario, ma alla fine, una migliore governance dell’IA richiede un approccio globale”.

Usare algoritmi per disciplinare i lavoratori

La minaccia rappresentata dal pregiudizio algoritmico è molto chiara e si estende al mondo del lavoro. Aída Ponce Del Castillo, ricercatrice senior presso l’Istituto sindacale europeo (ETUI), rileva il caso di Amazon , dove telecamere dotate di intelligenza artificiale monitorano automaticamente la produttività dei magazzinieri; in alcuni casi, quelli ritenuti non sufficientemente produttivi sono stati licenziati. Ma secondo Ponce Del Castillo, questa logica potrebbe fare un passo avanti. “Gli algoritmi forniscono informazioni sui lavoratori ai dirigenti”, afferma. “Durante, ad esempio, un tentativo di sindacalizzazione, questi algoritmi potrebbero tracciare con chi stanno parlando determinati lavoratori”.

Gli algoritmi potrebbero in questo modo disciplinare i lavoratori, cosa che gli esseri umani hanno fatto per secoli, ma ora i meccanismi vengono integrati nei sistemi automatizzati. La pandemia di coronavirus, ad esempio, ha costretto molti lavoratori a lavorare da casa, portando ad un aumento della sorveglianza a distanza. “Le aziende a volte tengono traccia e analizzano le ore in cui qualcuno sta lavorando davanti al proprio computer”, afferma Ponce Del Castillo. “In alcuni casi il software può persino accedere alla webcam senza che il lavoratore lo sappia. Per alcuni operatori di call center esiste un software che analizza quali parole usano, per determinare quanto sono amichevoli con i clienti”.

Rendere pubblici questi sistemi automatizzati potrebbe essere un passo nella giusta direzione, ma questo è solo un pezzo del puzzle. Ponce Del Castillo osserva come la normativa europea esistente offra già un quadro per combattere determinati problemi. “Abbiamo il GDPR”, dice. “Si occupa di dati e privacy, ma anche di algoritmi e processi decisionali automatizzati. Non fornisce tutte le risposte, ma è un ottimo gateway per ottenere regole migliori. È un atto legislativo rivoluzionario”.

Uno dei diritti sollevati nel GDPR è la cosiddetta “spiegabilità”. Un algoritmo o un sistema decisionale automatizzato dovrebbe, in teoria, essere in grado di fornire una spiegazione sul motivo per cui ha preso una determinata decisione. Quando un algoritmo decide se concedere o meno un prestito a qualcuno, il cliente ha il diritto di chiedere perché l’algoritmo ha preso la decisione. Può sembrare semplice, ma tali domande comportano tutta una serie di sfide.

“Secondo il GDPR, ogni singola decisione automatizzata dovrebbe essere spiegabile quando ha un impatto negativo sugli individui”, afferma Ponce Del Castillo. “Ma cos’è la spiegabilità? È il codice dell’algoritmo? Perché quel codice può cambiare nel tempo o potrebbe essere protetto come segreto aziendale. O forse si riferisce ai dati di addestramento che alimentano il codice? La spiegazione non è ancora molto ben definita nella pratica”.

Ponce Del Castillo menziona una tecnica che potrebbe raggiungere la spiegabilità, chiamata controfattuale. Qui un sistema automatizzato dovrebbe fornire scenari in cui la sua decisione potrebbe essere stata diversa. Se un algoritmo decide di rifiutare la tua richiesta di prestito, potresti chiedergli in quali circostanze ti avrebbe concesso il prestito. Il controfattuale potrebbe quindi semplicemente notare che se il tuo salario mensile fosse stato più alto, il prestito sarebbe stato concesso. Il controfattuale potrebbe anche rivelare che la sua decisione dipendeva da una variabile più dubbia, come il sesso o l’etnia, dopo di che la decisione poteva essere annullata e l’algoritmo rimosso o riprogettato.

Penalizzato da decisioni automatizzate

Benaissa di Bits of Freedom chiede una regolamentazione più specifica sugli algoritmi. “L’Unione Europea sta già lavorando a nuove normative per l’IA”, afferma. “Quindi speriamo di vedere un miglioramento lì nel prossimo futuro.”

Bits of Freedom vuole andare oltre ciò che già prevede il GDPR. “Stiamo sostenendo il divieto di alcune applicazioni”, afferma Benaissa. “Gli algoritmi non dovrebbero decidere se qualcuno può accedere ai servizi di base. Qui non possiamo correre il rischio che le persone vengano penalizzate da una decisione automatizzata. Vorremmo anche vietare i sistemi di polizia predittiva perché violano la presunzione di innocenza”.

Katleen Gabriels, assistente professore specializzato in etica informatica presso l’Università di Maastricht nei Paesi Bassi, aggiunge: “Dobbiamo spingere per l’interdisciplinarietà. Abbiamo bisogno di diversi tipi di persone per pensare a queste domande. Ciò può significare diversità nella fase di progettazione, tra le persone che creano gli algoritmi. Ma è anche necessario nell’area politica, perché molti responsabili politici non hanno un background tecnico, che a volte impedisce loro di valutare realisticamente queste tecnologie”.

Queste misure hanno i loro limiti, come dimostrano i licenziamenti di Timnit Gebru e Margaret Mitchell dal team di intelligenza artificiale etica di Google. Tuttavia, per Gabriels, l’istruzione ha un ruolo importante da svolgere, non solo per insegnare ai programmatori di computer l’ etica , ma anche affinché le persone comuni possano capire come funzionano gli algoritmi e come influiscono sulle loro vite. “Gli algoritmi non sono solo neutrali”, dice Gabriels. “Poiché si basano sulla matematica, spesso assumiamo che siano neutrali, ma non lo sono. Una migliore istruzione può aiutare a combattere questi stereotipi”.