Giornalismo investigativo e correttezza algoritmica

 

Riprendiamo da Algorithmwatch questo articolo (tradotto con google translator per facilitarne la lettura ) Per un uso professionale e/o di studio raccomandiamo di fare riferimento al testo alla fonte Algorithmwatch

AUTORE : Michele Loi

L’indagine sui sistemi che prendono decisioni sugli esseri umani, spesso definita segnalazione di responsabilità algoritmica, sta diventando sempre più importante. Per farlo bene, i giornalisti devono comprendere i concetti di equità e parzialità e lavorare in team. Un primer.

Il significato di ingiustizia algoritmica o bias algoritmico è spesso poco chiaro. Il termine bias ha un significato specifico in statistica ma “bias algoritmico” è usato, al giorno d’oggi, con un significato molto più ampio di quello. [1] In genere, gli algoritmi di apprendimento automatico includono una verità fondamentale o un’etichetta vera utilizzato per eseguire test statistici. Il bias algoritmico include anche il bias che influenza la cosiddetta “vera etichetta”. Supponiamo di addestrare un algoritmo per indovinare il voto che uno studente avrebbe ottenuto, in un esame che lo studente non sarà in grado di sostenere. L’algoritmo tenterà di fare questa ipotesi sulla base dei modelli che riconosce nei voti che gli insegnanti hanno dato agli studenti in passato. Se questi voti sono già distorti, anche un predittore che è “imparziale” secondo un certo standard statistico (utilizzando i voti effettivi come riferimento) può comunque essere considerato distorto.

Per evitare confusione, nel seguito verrà utilizzata l’espressione “ingiustizia” invece di “pregiudizio”. Quindi, il tema di questo breve articolo è l’ingiustizia algoritmica e perché è (o forse dovrebbe essere) un argomento così difficile da trattare e scrivere per i giornalisti.

Questo articolo introduce una distinzione tra tre tipi di abusività. Individua diversi siti di ingiustizia e determina, su questa base, se i giornalisti hanno un ruolo socialmente prezioso da svolgere nel discutere e denunciare l’ingiustizia in questione, e quale potrebbe essere tale ruolo. Questo non vuole essere un trattamento scientifico completo della questione, ma si offre come un primer sulla questione.

Ingiustizia, tipo 1: proxy e bias di osservazione

Prima di tutto, un algoritmo può essere ingiusto perché utilizza proxy che avvantaggiano o danneggiano ingiustamente alcuni gruppi.

Decidere sulla base di deleghe è qualcosa che fanno spesso gli umani. La polizia può fermare le persone con le maglie delle squadre di calcio più spesso rispetto alle persone che indossano altri tipi di abbigliamento, al fine di verificare la detenzione illegale di alcolici durante una partita di calcio in cui temono violenze contro i tifosi avversari. [2] Ma chiaramente, indossare una maglia da calcio non è la causa dell’acquisto di alcolici e della violenza dopo una partita di calcio. L’uso della procura è dannoso per coloro che indossano una maglia da calcio senza l’intenzione di ubriacarsi, o anche solo per andare a vedere la partita. Indossare una maglia da calcio non comporta rischidi ubriacarsi o di essere violenti durante le partite di calcio (anzi, la correlazione è spiegata da una causa comune, l’essere tifoso di calcio, che comporta un rischio maggiore sia di ubriacarsi che di violentarsi durante la partita e di acquistare una maglia da calcio) . Indossare una maglia non è come bere alcolici, che provoca un aumento del rischio di incidenti stradali o di comportamenti violenti. Piuttosto, indossare la maglia è causalmente correlato al rischio di violenza ma non ne è di per sé la causa.

Spesso si trova un notevole sostegno sociale per le decisioni basate su delega, anche quando individuano gruppi specifici come portatori di svantaggi sproporzionati – nel caso dell’esempio sopra, quelli che indossano maglie da calcio. È possibile che i lettori credano che non ci sia nulla di sbagliato nell’utilizzare questo proxy – certamente grossolano – poiché i benefici per la popolazione possono essere elevati e il costo per gli individui fermati è basso.

Tuttavia, sembra che l’intuizione morale della maggior parte delle persone cambi quando il gruppo colpito in modo sproporzionato dalla procura è un gruppo socialmente rilevante che è vittima di ingiustizia e discriminazione. Ciò solleva la questione dell’ammissibilità etica degli algoritmi che (1) vengono alimentati con dati con l’obiettivo intenzionale di scoprire proxy accurati (e si spera robusti) per tutti i tipi di previsioni e (2) causano danni sproporzionati a gruppi che sono stati, storicamente, vittime di ingiustizie.

Un caso che, storicamente, ha suscitato preoccupazioni morali e polemiche politiche è quello degli Stati Uniti L’area di una città in cui vive una persona è un buon predittore statistico di alcune forme di rischio finanziario, ad esempio la capacità di ripagare un debito. Ma questo non è perché vivere in una zona provoca alcune persone non riescono a ripagare i debiti. Piuttosto, le persone che sono disuguali nel loro rischio finanziario hanno maggiori probabilità di vivere in aree simili, che tuttavia includono anche persone il cui rischio finanziario è diverso dal loro. Come nel caso della maglia da calcio, la delega è tutt’altro che perfetta. Ad esempio, una persona con una situazione economica molto sicura può preferire vivere vicino a persone con la stessa estrazione etnica, religiosa o culturale che possono trovarsi, mediamente, in una situazione esistenziale ed economica più precaria. L’area può essere utilizzata per prevedere che qualcuno è un cattivo rischio anche quando non lo  provoca quella persona a stare peggio finanziariamente. Questo uso di proxy è particolarmente problematico nella misura in cui ha accresciuto la disuguaglianza razziale nella società. Le popolazioni afroamericane e ispaniche vivevano in modo sproporzionato nelle aree urbane designate a rischio. Quindi, per tutte queste persone era molto più difficile ottenere un prestito, che peggiorava ulteriormente le condizioni del quartiere. Ciò ha contribuito a ridurre ulteriormente le opportunità economiche di persone che erano già, nella loro vita, vittime di discriminazioni razziali.

Gli algoritmi di apprendimento automatico progettati per ottenere la precisione sopra ogni altra cosa possono imparare a utilizzare proxy imperfetti che sono particolarmente dannosi per gruppi specifici. I giornalisti hanno buone ragioni per venire a conoscenza di casi del genere e chiedono che non vengano utilizzate deleghe dannose per soggetti appartenenti a fasce svantaggiate. Ciò è particolarmente fruttuoso nella misura in cui le deleghe, per definizione, non sono intrinsecamente correlate all’obiettivo che il decisore deve raggiungere. Spesso l’utilizzo di un proxy piuttosto che di un altro è una questione di convenienza: i dati che si possono raccogliere determinano la gamma di possibili proxy che possono essere utilizzati. Pertanto, la società deve fare pressione sui progettisti di algoritmi affinché utilizzino proxy che non abbiano un impatto negativo sui gruppi che sono già stati individuati da una più ampia ingiustizia sociale.

Ingiustizia, tipo 2: previsione attraverso cause che sono influenzate dall’appartenenza al gruppo

Il secondo tipo di situazione è quella in cui la caratteristica utilizzata per fare previsioni è la causa del rischio. Nel nostro esempio precedente è l’alcol, non la maglia. Ma la causa è influenzata dall’appartenenza al gruppo, almeno in una certa misura. Ad esempio, supponiamo che i ricchi godano di scuole migliori e di altre esperienze formative rispetto ai poveri. Prendiamo, per amor di discussione, un datore di lavoro per le pari opportunità molto ben intenzionato, che non guarda nemmeno il colore della pelle, la nazionalità o il nome della scuola del potenziale dipendente. Mette alla prova tutti i dipendenti sul posto di lavoro, osservando le loro effettive capacità e capacità di risoluzione dei problemi in funzione per sei mesi, quindi decide chi assumere con un lavoro a tempo indeterminato. Anche un algoritmo di apprendimento automatico apprende dalla sua osservazione e, nel tempo, attributi causalmente rilevanti che lo specialista delle risorse umane osserva (al contrario di proxy di tali attributi).

In questa situazione, potrebbe esserci ancora una forma di discriminazione indiretta, ad esempio, l’algoritmo potrebbe avere meno probabilità di selezionare individui appartenenti a una minoranza. Qui si possono distinguere diverse ragioni per questo effetto. Prima di tutto, è possibile che lo specialista delle risorse umane il cui giudizio l’algoritmo cerca di imitare abbia un pregiudizio nei confronti delle persone appartenenti a una minoranza.

Ma c’è un tipo di caso più interessante, quello in cui l’ingiustizia è prodotta dalla distribuzione ineguale del rischio senza alcuna forma di pregiudizio nell’osservazione. Supponiamo che (a) i poveri abbiano goduto di peggiori opportunità di istruzione e formazione e (b) le persone appartenenti a minoranze siano rappresentate in modo sproporzionato tra i poveri. Quindi, selezionare le persone in base al modo in cui si comportano sul lavoro con un test imparziale porta a un impatto disparato indipendentemente dal fatto che sia l’uomo o la macchina a eseguire quel test. Vale a dire, gli individui sono influenzati in modo differenziato dal test (o dall’algoritmo che impara a prevederne l’esito) a seconda del gruppo a cui appartengono. (Il termine “impatto disparato” dalla legge statunitense è forse migliore del corrispondente termine legale in Europa, “discriminazione indiretta”, per descrivere il caso in cui il test è, per ipotesi, non prevenuto. Poiché la discriminazione suggerisce un qualche tipo di ingiustizia in la procedura, mentre qui il problema è con l’ingiustizia e la discriminazione nell’input che poi porta ad un impatto discriminante sebbene la procedura possa essere vista come priva di discriminazione.)

Per ipotesi, questo è un caso in cui la selezione riflette lo svantaggio sociale di un gruppo rispetto a un altro. Per ipotesi, questo svantaggio sociale è riflesso, ma non prodotto, dalla procedura. La procedura considera legittimamente la capacità che gli individui hanno a quel punto del loro sviluppo come lavoratori, e condizioni sociali ingiuste hanno influito sulla probabilità di ciascun individuo di acquisire le capacità che i datori di lavoro apprezzano. Anche con un test perfettamente equo, può ancora emergere una disuguaglianza tra i gruppi, che può riflettere diverse opportunità di background. [3]Questa sarà una disuguaglianza tra individui i cui meriti sul lavoro differiscono. È sia meritato che immeritato. È meritato, nella misura in cui le persone che hanno meriti diversi sul lavoro possono essere giustamente trattate in modo diverso quando viene presa una decisione di assunzione. È immeritato a causa del fatto che molti individui non meritavano le condizioni favorevoli che hanno permesso loro di acquisire le caratteristiche del valore dei datori di lavoro in primo luogo. [4] È un dilemma morale in cui il principio meritocratico spinge in una direzione e il principio di uguaglianza di opportunità spinge nell’altra. [5]

In un caso come questo non è del tutto ragionevole incolpare l’algoritmo (oi suoi progettisti) per l’ingiustizia nelle decisioni che gli algoritmi forniscono. Sembra che la colpa sia della disposizione sociale che rende più difficile per i dipendenti acquisire determinate abilità e atteggiamenti comportamentali che i datori di lavoro apprezzano, a seconda del loro background sociale. Le decisioni dell’algoritmo riflettono semplicemente quelle inerenti alla società.

I giornalisti dovrebbero evidenziare le disuguaglianze prodotte algoritmicamente in questo tipo di casi? Probabilmente sì, perché contribuirà a stimolare un dibattito pubblico aperto sulle cause sociali dell’ingiustizia. L’esistenza della selezione algoritmica rende misurabili queste disuguaglianze, il che porta a porre domande più precise e dirette sul modo in cui funziona la nostra società e sulle ingiustizie di fondo che contiene. La prova concreta delle statistiche fornite dagli algoritmi può spingere le società che vogliono considerarsi eque, [6] a porre domande scomode sulla giustizia sociale nella società nel suo insieme.

Probabilmente, i giornalisti possono farlo senza incolpare direttamente l’algoritmo o i suoi progettisti. È plausibile che il giornalista possa assumere un atteggiamento scettico: basta indicare la disuguaglianza, e chiedere agli esperti perché questa emerga, per quanto scomode siano le risposte (che possono variare molto, e possono anche riflettere l’orientamento politico della persona intervistato).

Ingiustizia, tipo 3: Disuguaglianza naturale

Secondo alcune statistiche statunitensi, i neri hanno molte meno probabilità di sviluppare il melanoma rispetto ai bianchi non ispanici (a un tasso di 1 su 100.000 rispetto a 30 su 100.000) a causa della protezione che la melanina, il pigmento naturale della pelle del corpo, fornisce da dannosi raggi ultravioletti. [7]

Questo fatto fortunato ha, prevedibilmente, alcune implicazioni controintuitive sulle prospettive di uguaglianza per gli individui che ricevono una diagnosi di melanoma attraverso un sistema decisionale di apprendimento automatico (o qualsiasi tipo di statistica). È prevedibile che, anche in assenza di pregiudizi di osservazione e con uguale capacità tecnologica di recuperare informazioni clinicamente salienti dalle immagini digitali, i neri con melanoma avranno maggiori probabilità di essere diagnosticati erroneamente rispetto ai bianchi. [8]

Per capire perché, consideriamo un caso estremo (e irrealistico). Sebbene il caso non sia realistico, può aiutare a cogliere questo concetto a livello intuitivo, senza dimostrazioni matematiche o introducendo complessi concetti statistici.

Supponiamo che i medici considerino un neo della pelle meritevole di intervento chirurgico solo se il rischio che si tratti di un neo maligno è pari o superiore a una soglia di 0,4. Supponiamo ora che (ipoteticamente) la popolazione dei nevi della pelle nera sia costituita da nei il cui rischio di essere maligno è inferiore a 0,3. Data la distribuzione del rischio sopra indicata, si ritiene che ogni neo diagnosticato in una persona di colore abbia un rischio di 0,3 o inferiore di essere maligno. Al contrario, ogni neo diagnosticato in una persona bianca ha un rischio di 0,4 o superiore di essere maligno. Dato che la soglia di rischio è determinata dai medici per giustificare l’intervento chirurgico in termini di un rapporto rischio-beneficio positivo, ogni neo in ogni individuo nero non soddisfa il criterio e ogni neo in ogni individuo bianco lo soddisfa. Coerentemente con il criterio di rischio in uso, non un singolo neo in un paziente nero viene rimosso chirurgicamente ed esaminato. Se poi si osserva la popolazione di individui neri con nei maligni, si noterà che la possibilità che quei pazienti ricevessero il trattamento era 0. Vale a dire: non un solo neo maligno è stato rimosso chirurgicamente. Se si osserva la proporzione di nevi maligni nella popolazione bianca, si nota che la possibilità che questi nevi maligni venissero rimossi era 1. Vale a dire, ogni singolo neo maligno è stato rimosso chirurgicamente. Questo è ingiusto? Qualunque sia la tua risposta, considera che questo è semplicemente il risultato di prendere una decisione clinica basata sul rischio e di utilizzare la stessa soglia di rischio per due popolazioni, in cui la distribuzione dei rischi è molto diversa e distante. Se poi si osserva la popolazione di individui neri con nei maligni, si noterà che la possibilità che quei pazienti ricevessero il trattamento era 0. Vale a dire: non un solo neo maligno è stato rimosso chirurgicamente. Se si osserva la proporzione di nevi maligni nella popolazione bianca, si nota che la possibilità che questi nevi maligni venissero rimossi era 1. Vale a dire, ogni singolo neo maligno è stato rimosso chirurgicamente. Questo è ingiusto? Qualunque sia la tua risposta, considera che questo è semplicemente il risultato di prendere una decisione clinica basata sul rischio e di utilizzare la stessa soglia di rischio per due popolazioni, in cui la distribuzione dei rischi è molto diversa e distante. Se poi si osserva la popolazione di individui neri con nei maligni, si noterà che la possibilità che quei pazienti ricevessero il trattamento era 0. Vale a dire: non un solo neo maligno è stato rimosso chirurgicamente. Se si osserva la proporzione di nevi maligni nella popolazione bianca, si nota che la possibilità che questi nevi maligni venissero rimossi era 1. Vale a dire, ogni singolo neo maligno è stato rimosso chirurgicamente. Questo è ingiusto? Qualunque sia la tua risposta, considera che questo è semplicemente il risultato di prendere una decisione clinica basata sul rischio e di utilizzare la stessa soglia di rischio per due popolazioni, in cui la distribuzione dei rischi è molto diversa e distante. Se si osserva la proporzione di nevi maligni nella popolazione bianca, si nota che la possibilità che questi nevi maligni venissero rimossi era 1. Vale a dire, ogni singolo neo maligno è stato rimosso chirurgicamente. Questo è ingiusto? Qualunque sia la tua risposta, considera che questo è semplicemente il risultato di prendere una decisione clinica basata sul rischio e di utilizzare la stessa soglia di rischio per due popolazioni, in cui la distribuzione dei rischi è molto diversa e distante. Se si osserva la proporzione di nevi maligni nella popolazione bianca, si nota che la possibilità che questi nevi maligni venissero rimossi era 1. Vale a dire, ogni singolo neo maligno è stato rimosso chirurgicamente. Questo è ingiusto? Qualunque sia la tua risposta, considera che questo è semplicemente il risultato di prendere una decisione clinica basata sul rischio e di utilizzare la stessa soglia di rischio per due popolazioni, in cui la distribuzione dei rischi è molto diversa e distante.[9]

Cosa dovrebbero fare i giornalisti riguardo al terzo tipo di caso? Questa è una categoria di casi in cui, probabilmente, non è molto utile interpretare una disuguaglianza statistica (ad esempio, il tasso di falsi positivi e falsi negativi differisce tra neri e bianchi) come un segno di iniquità da parte dell’algoritmo. L’argomentazione qui non è che, poiché viene utilizzata un’unica soglia di rischio, il risultato è chiaramente equo. Ma probabilmente, è molto più difficile costruire un’argomentazione secondo cui ciò sarebbe ingiusto e qualsiasi argomentazione del genere incontrerà una resistenza significativa e un buon grado di opposizione su basi filosofiche, legali e di altro tipo. [10]

È plausibile che molti di questi casi di disuguaglianza naturale nella distribuzione del rischio si riscontrino nel settore sanitario. È importante che la specificità di questi casi sia riconosciuta dai giornalisti per evitare che il dibattito sociale sull’ingiustizia degli algoritmi venga screditato.

Ingiustizia, tipo 4: un mix di ragioni

Una chiara complicazione è che le tre fonti di ingiustizia che ho distinto possono materializzarsi tutte nello stesso caso. Vale a dire, previsioni algoritmiche diseguali possono derivare da una combinazione di bias di osservazione, proxy non causali, proxy causali che riflettono l’ingiustizia sociale di fondo e alcune disuguaglianze naturali. Ancora peggio, i giornalisti e gli esperti che intervistano potrebbero non essere nella posizione di discernere quale delle cause sia in questione. Inoltre, gli algoritmi di apprendimento automatico “scatola nera” possono fornire “macchine di previsione” efficienti e ragionevolmente accurate anche in domini in cui nessuno, tra gli esperti di dominio, può spiegare perché ha senso prevedere un dato Y attraverso un’osservazione X.

La sovrapposizione di diverse cause di disuguaglianza può spiegare perché il dibattito giornalistico sulla previsione del crimine non è stato conclusivo. [11]Si consideri l’evento “arresto giustificato da parte della polizia”. Questo evento ha due parti: (1) un reato, di cui l’individuo è responsabile; (2) qualcuno (delle forze dell’ordine) per testimoniare o perseguire il crimine. Supponiamo che il rischio disuguale degli individui rispetto all’evento “arresto giustificato” sia dovuto alla combinazione di un rischio sproporzionato di reato per (1) e di una tendenza sproporzionata all’arresto (dato un reato della stessa gravità) per (2). Pur escludendo l’ipotesi che un gruppo sia più incline al crimine per cause naturali, in quanto ciò sarebbe chiaramente razzista, è possibile che il rischio sproporzionato per il crimine sia dovuto a circostanze sociali avverse (tra cui, il razzismo) a cui i membri del Black la popolazione è (sproporzionatamente) esposta, rispetto ai bianchi. A causa di (2),nella polizia e l’algoritmo riproduce quel pregiudizio. Ma anche se così non fosse, la disparità nella propensione al crimine merita di essere valutata criticamente nelle sue cause sociali, anche quando le cause non sono difetti di progettazione algoritmica. Ciò sembra particolarmente plausibile quando gli effetti degli algoritmi (più neri in prigione) contribuiscono a causare quelle circostanze avverse che aumentano la propensione al crimine di un gruppo in primo luogo. [12]

Qui, i giornalisti dovrebbero essere guidati dalla loro intuizione sull’interazione di diversi livelli di ingiustizia. Come guida pratica, è utile distinguere almeno quattro questioni principali che può essere utile per i giornalisti considerare:

  1. L’algoritmo sta facendo la previsione usando un proxy o qualcosa che gli esperti di dominio riconoscono come una causa in buona fede dell’effetto Y che si sta cercando di prevedere?
  2. Se la previsione utilizza un proxy, potrebbe essere scelto un proxy che abbia un impatto minore sui gruppi socialmente salienti interessati dalle decisioni, in particolare quelli che sono storicamente vittime di discriminazione?
  3. Se la previsione utilizza una causa X dell’effetto come mezzo per prevedere l’effetto, la distribuzione di X tra diversi sottogruppi della popolazione è affetta da razzismo, sessismo o altri processi sociali ingiusti?
  4. Se l’algoritmo utilizza sia cause che proxy, ed entrambe le cause interessate e non interessate da processi sociali ingiusti, cosa accadrebbe all’accuratezza dell’algoritmo utilizzando solo le cause, o solo le cause meno interessate da processi sociali ingiusti, o utilizzando proxy meno inclini ad avere un impatto diverso su diversi gruppi socialmente salienti (inclusi proxy artificiali, che possono essere generati con l’ausilio di tecniche algoritmiche) [13] ?

Data la complessità dei casi che sono sufficientemente rilevanti da meritare un’indagine giornalistica, a queste domande molto spesso possono trovare una risposta sufficiente solo gruppi di giornalisti con competenze diverse e spesso richiedono la consultazione di ulteriori esperti.

Note a piè di pagina

[1] Kasper Lippert-Rasmussen, “Niente di personale: sulla discriminazione statistica”, Journal of Political Philosophy 15, n. 4 (1 dicembre 2007): 385–403, https://doi.org/10.1111/j.1467-9760.2007.00285.x.

 

[2] Harini Suresh e John V. Guttag, “A Framework for Understanding Unintended Consequences of Machine Learning”, ArXiv:1901.10002 [Cs, Stat] , 28 gennaio 2019, http://arxiv.org/abs/1901.10002.

 

[3] Questo fenomeno è stato etichettato come “life bias” in Corinna Hertweck, Christoph Heitz e Michele Loi, “On the Moral Justification of Statistical Parity”, in Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency , FAccT ‘ 21 (New York, NY, USA: Association for Computing Machinery, 2021), 747–57, https://doi.org/10.1145/3442188.3445936..

 

[4] John Rawls, Una teoria della giustizia , 2a ed. (Cambridge, MA: Harvard University Press, 1999).

[5] Vedi Rawls. (cit.), per il concetto di pari opportunità che non è identico alla meritocrazia ma richiede in primo luogo pari opportunità per acquisire quei meriti.

[6] Michael J. Sandel, La tirannia del merito: che fine ha fatto il bene comune? , Prima edizione, Business Book Summary (New York: Farrar, Straus and Giroux, 2020).

[7] Krishnaraj Mahendraraj et al., “Melanoma maligno negli afroamericani”, Medicine 96, n. 15 (14 aprile 2017): e6258, https://doi.org/10.1097/MD.0000000000006258.

 

[8] Chiaramente, un sistema di apprendimento automatico può essere influenzato da molteplici bias di osservazione. Ad esempio, la fotografia potrebbe essere stata ottimizzata per funzionare bene su pelli bianche. Quello che voglio sottolineare qui è che, anche se non ci fossero errori di osservazione, ci aspetteremmo comunque un successo disuguale nella previsione del melanoma, se l’effettiva distribuzione del rischio di melanoma differisce.

[9] Chiaramente, i casi del mondo reale sono diversi. In realtà, ci si aspetta che alcuni nei nei pazienti neri siano piuttosto rischiosi e più rischiosi di alcuni dei nei che compaiono nei pazienti bianchi, e viceversa. Ma fintanto che la distribuzione del rischio differisce (cioè ci sono più nei ad alto rischio in un gruppo) una disuguaglianza nel tasso di falsi positivi e falsi negativi sarà sempre prodotta da una soglia di rischio uniforme. Per una dimostrazione matematica vedere Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan, “Inherent Trade-Offs in the Fair Determination of Risk Scores”, in 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), ed. Christos H. Papadimitriou, vol. 67, Leibniz International Proceedings in Informatics (LIPIcs) (Dagstuhl, Germania: Schloss Dagstuhl–Leibniz-Zentrum fuer Informatik, 2017), 43:1-43:23, https://doi.org/10.4230/LIPIcs.ITCS.2017.43 ; Alexandra Chouldechova, “Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments”, Big Data 5, n. 2 (1 giugno 2017): 153–63, https://doi.org/10.1089/big.2016.0047.

 

[10] La posizione dell’autore su questo è che la giuria è ancora fuori. Probabilmente, almeno quando la disuguaglianza non è causata naturalmente e non vi è alcuna controindicazione in termini di rapporto beneficio/danno per i pazienti, si può sostenere che non è giusto consentire questa disuguaglianza. Se tale argomentazione è corretta, l’equità richiede l’utilizzo di soglie diverse, anche se ciò può apparire discriminatorio e anche se gli individui devono essere informati del diverso significato (in termini di rischio) della decisione presa nei loro confronti.

[11] Julia Angwin e Jeff Larson, “Machine Bias”, text/html, ProPublica, 23 maggio 2016, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing ; Julia Angwin e Jeff Larson, “Il pregiudizio nei punteggi di rischio criminale è matematicamente inevitabile, affermano i ricercatori”, ProPublica, 30 dicembre 2016, https://www.propublica.org/article/bias-in-criminal-risk-scores-is -matematicamente-inevitabile-ricercatori-dicono; Sam Corbett-Davies, Emma Pierson e Sharad Goel, “Un programma per computer utilizzato per decisioni su cauzione e condanna è stato etichettato come prevenuto nei confronti dei neri. In realtà non è così chiaro.” Washington Post , 7 dicembre 2021,https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/.

 

[12] Si noti che la distinzione tra questi tipi di cause ed effetti non era centrale nell’indagine su “Machine Bias” di ProPublica. Vedi Angwin e Larson, “Machine Bias”. In altre parole, è possibile che il caso Propublica non sia uno di Machine Bias, ma uno di Life Bias, in cui la principale causa di ingiusta disuguaglianza (riflessa nei tassi di falsi positivi ineguali) è l’influenza della società sulle opportunità e sugli incentivi per il crimine dei diversi gruppi.

[13] Toshihiro Kamishima et al., “Classificatore consapevole della correttezza con regolarizzatore per la rimozione del pregiudizio”, in Apprendimento automatico e scoperta della conoscenza nei database , ed. Peter A. Flach, Tijl De Bie e Nello Cristianini, vol. 7524 (Berlino, Heidelberg: Springer Berlin Heidelberg, 2012), 35–50, https://doi.org/10.1007/978-3-642-33486-3_3.

 

 

Michele Loi (lui/lui)

Consulente senior per la ricerca

Foto: Julia Bornkessel

Michele Loi, Ph.D., è Marie Sklowdoska-Curie Individual Fellow presso il Dipartimento di Matematica del Politecnico di Milano con un progetto di ricerca su Fair Predictions in Health. È anche co-principal investigator del progetto interdisciplinare Socially Acceptable and Fair Algorithms, finanziato dal Fondo Nazionale Svizzero per la Ricerca Scientifica, ed è stato Principal Investigator del progetto “Algorithmic Fairness: Sviluppo di una metodologia per il controllo e la minimizzazione del bias algoritmico nei dati basati processo decisionale”, finanziato dall’Agenzia svizzera per l’innovazione.