Immaginate di essere responsabili delle risorse umane di un’azienda. Scartabellando tra i curriculum dei candidati, vi trovate davanti due profili. Il primo: laurea e dottorato in matematica, un passato costellato di università come Berkeley, Harvard, MIT, qualche anno di vita accademica e poi il salto nel mondo della finanza con la multinazionale newyorkese D.E. Shaw. Secondo profilo: una storia di attivismo con Occupy Wall Street, un blog seguitissimo con aperte prese di posizione contro i dettami del capitalismo e le ingiustizie sociali, un best-seller intitolato Armi di distruzione matematica. Il tutto corredato da una foto in cui spicca un caschetto blu elettrico.
A questo punto è probabile che abbiate in mente due figure molto diverse. In base alla vostra esperienza, questi due candidati apparterranno a sfere politiche, sociali e culturali ben distinte. Se la vedete così, vi sbagliate: avete letto due pagine del curriculum della stessa persona, Cathy O’Neil.
La nostra protagonista dai capelli turchini ha effettivamente vissuto tutto questo ed è proprio l’esperienza di prima mano nella matematica e nella finanza ad averla resa una data skeptic, come ama definirsi. Il saggio che l’ha resa famosa, Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy, è uscito nel 2016 ed è stato tradotto in italiano per Bompiani l’anno seguente. L’idea di fondo del libro ha molto a che vedere con le conclusioni affrettate come quella che, sulla scorta dell’abitudine, ci fa immaginare i due profili tratteggiati all’inizio come incompatibili. Pregiudizi, assunzioni, bias: tutti vizi umani che dipendono dalla nostra imparzialità e penalizzano in mille modi le minoranze, le fasce più povere e… le donne. Tutti errori che una macchina non farebbe, giusto?
Sbagliato. E questo è il nocciolo dell’opera di O’Neil. Abbiamo sperato che l’intelligenza artificiale potesse raddrizzare i torti causati dalle ingiustizie della società? Ebbene, non è così. Cathy O’Neil (nella foto), ormai forte degli anni di militanza, può portare a sostegno della sua visione una quantità di esempi.
Prendiamo la Fox News. Per anni il CEO dell’emittente è stato il fondatore Roger Ailes, tristemente famoso per le denunce di molestie sessuali sporte da almeno una ventina tra le dipendenti dell’azienda. Come è facile immaginare, durante gli anni della sua direzione il clima all’interno della rete era molto ostile alle donne, per le quali fare carriera era praticamente impossibile. Nel 2016 Ailes si dimette. Ecco un caso in cui, per risollevare l’azienda da anni e anni di politiche pesantemente maschiliste, si può pensare: be’, affidiamo il nuovo sistema di assunzione a un algoritmo. Un algoritmo non sarà certo maschilista! È esattamente qui, racconta Cathy O'Neil, che sbagliamo.
Per “allenare” l’algoritmo dovremo nutrirlo di dati: quelli dei collaboratori di FOX News per, diciamo, gli ultimi vent’anni. Lui andrà a cercare quali caratteristiche avevano i dipendenti più bravi, per trovare là fuori nuovi candidati di valore. Ma che significa “bravi”? Possiamo immaginare un criterio ragionevole come questo: un dipendente è stato bravo se è rimasto alla FOX per almeno 4 anni e in quel lasso di tempo ha ricevuto almeno una promozione. Il problema è che il nostro incorruttibile algoritmo, pescando in questi dati, troverà che i dipendenti bravi erano uomini, per il semplice fatto che negli ultimi vent’anni le donne alla FOX non hanno fatto carriera. E i suoi criteri saranno riflessi nella scelta dei candidati futuri, tra i quali gli uomini saranno preferiti alle donne.
Questo è solo uno dei moltissimi esempi di pregiudizio di genere che gli algoritmi non farebbero altro che perpetuare, moltiplicare, far sedimentare. Cathy O’Neil, invitata continuamente a tenere conferenze in giro per il mondo, può produrne molti altri: dai sistemi di riconoscimento artificiale che danno per scontato che la persona ritratta in cucina debba con ogni probabilità essere una donna, ai software di traduzione automatica dal turco (dove i pronomi personali non hanno genere) che presuppongono sempre che il pronome giusto per “baby-sitter” sia “lei” e per “medico” sia “lui”.
I modelli sbagliano, ma del resto i modelli sono un prodotto umano e come tale non sono infallibili. In tutto ciò che facciamo ci sono degli errori e non stiamo a scriverci libri, si potrebbe obiettare. Gli errori dei modelli basati sui big data però nascondono una trappola più sottile e pericolosa: i danni possono passare inosservati e accadere senza che nessuno possa rimediare. Non si tratta solo di donne penalizzate nella loro carriera, ma di intere fasce della popolazione alle quali un mutuo può essere negato o una condanna prolungata sulla base di probabilità calcolate su sistemi già viziati. Ma mentre le decisioni di un giudice parziale in carne e ossa possono essere individuate, criticate, sfiduciate, un algoritmo è circondato di un’aura (illusoria) di infallibilità: “è matematica, non può sbagliare”. Un modello non è “verità”: è solo un modo di rendere formale un’opinione, sostiene O’Neil. Ma l’equivoco è duro a morire e le grandi aziende della finanza per le quali lavorava all’inizio della sua carriera ne approfittano a piene mani, nascondendo la costruzione dei loro algoritmi e accampando con le loro vittime giustificazioni che si riducono a “è matematica, non capiresti”.
Se oggi l’idea che gli algoritmi non siano così imparziali è abbastanza acquisita, soprattutto tra gli addetti ai lavori, cinque anni fa non lo era affatto. Al punto che il libro di O’Neil le è valso l’Euler Book Prize e una menzione nella longlist per la saggistica del National Book Award. Quando, nel 2007, lascia la sua carriera nella ricerca in geometria algebrica, O’Neil sceglie di lavorare a New York per D.E. Shaw, un fondo di investimento speculativo che gestisce capitali privati. In quella fase è una quant, ovvero un’analista quantitativa, e ama il mondo della finanza. È ancora così: l’economia, la statistica e anche la possibilità di creare un modello matematico che risponda a una domanda pratica per lei rimangono tutte cose interessanti. I primi dubbi sulle applicazioni dei big data per lei arrivano quando si ritrova a lavorare su modelli che, nel bel mezzo della crisi economica, decidono la sorte delle persone. Pur non volendo, fa un lavoro che in concreto “divide le persone tra vincenti e perdenti”.
Più tardi, divenuta data scientist in un’azienda che personalizza inserti pubblicitari, O’Neil si trova testimone di un meccanismo particolarmente odioso. Si rende conto che il suo lavoro è finalizzato alla ricerca sistematica - attraverso i big data - di donne di colore single con figli alle quali propinare corsi online, tanto inutili quanto salati, con la falsa promessa che quell’esperienza formativa migliorerà la loro condizione. Difficile elencare tutti gli elementi di scorrettezza di un’operazione del genere (la ricerca deliberata di una fragilità sulla quale speculare? l’idea di approfittare di una categoria che ancora paga il prezzo di una società sessista e razzista? l’adozione esplicita di uno specchietto per allodole da parte di un attore consapevole?).
Davanti a questo, Cathy O’Neil decide di fare armi e bagagli e cambiare rotta una volta per tutte. Aderisce al movimento Occupy Wall Street, apre il blog mathbabe.org e inizia a mettere la sua competenza al servizio non delle grandi aziende che masticano big data per massimizzare i loro profitti, ma alle loro vittime. Nel giro di qualche anno il suo impegno diventa ancora più concreto con la creazione di ORCAA, un ente che si prefigge di ispezionare gli algoritmi e individuare eventuali ingiustizie e iniquità che si nascondono nelle “scatole nere” su cui sono costruiti. Cathy O’Neil, col suo intramontabile caschetto blu, continua a informare e ispirare migliaia di persone, ed è attesa per marzo 2022 la pubblicazione del suo nuovo libro, La macchina della vergogna.
Referenze iconografiche: metamorworks / Shutterstock, Panchenko Vladimir / Shutterstock, izzuanroslan / Shutterstock
