| << |  <  |  >  | >> |

Indice

      Introduzione                                  9


      ARMI DI DISTRUZIONE MATEMATICA


I.    BOMBE E COMPONENTI
      Che cos'è un modello?                        25

II.   TRAUMATIZZATA
      Il mio viaggio nella disillusione            49

III.  LA CORSA AGLI ARMAMENTI
      Andare all'università                        75

IV.   LA MACCHINA DELLA PROPAGANDA
      La pubblicità online                        103

V.    VITTIME CIVILI
      Giustizia all'epoca dei Big Data            125

VI.   INABILI AL SERVIZIO
      Trovare un lavoro                           155

VII.  QUANDO L'ANSIA TI DIVORA
      Al lavoro                                   181

VIII. DANNI COLLATERALI
      Il problema del credito                     207

IX.   NESSUNA SAFE ZONE
      Il problema dell'assicurazione              235

X.    IL CITTADINO TARGETTIZZATO
      Vita nella società civile                   261

      Conclusioni                                 287


      Note                                        317
      Ringraziamenti                              351
      Indice analitico                            353

 

| << |  <  |  >  | >> |

Pagina 7

Il mio amore per la matematica si è progressivamente trasformato in una passione. Quando avevo quattordici anni, partecipai a un campo estivo di matematica e tornai a casa stringendo un cubo di Rubik. La matematica rappresentava un rifugio sicuro e ordinato che mi permetteva di estraniarmi dal caos del mondo reale. Progrediva in modo costante, ampliando il proprio campo di conoscenza, dimostrazione dopo dimostrazione. E anch'io potevo dare il mio contributo. All'università mi iscrissi a Matematica, per poi conseguire un dottorato di ricerca con una tesi sulla teoria algebrica dei numeri, un campo che affonda le proprie radici in tutte quelle scomposizioni in fattori della mia infanzia. Ottenni poi una cattedra al Barnard College, il cui dipartimento di Matematica è affiliato alla Columbia University.

E poi il grande cambiamento: lasciai il posto all'università per andare a lavorare come quant, ossia come analista quantitativa, presso D. E. Shaw, un hedge fund di primaria importanza. Nel lasciare il mondo accademico per la finanza, portavo la matematica dall'astrazione della teoria alla concretezza della pratica. Le operazioni che svolgevamo sui numeri si traducevano nel rimescolamento di migliaia di miliardi di dollari da un conto all'altro. All'inizio ero elettrizzata e stupita dal fatto di lavorare in questo nuovo laboratorio che era l'economia globale, ma nell'autunno del 2008, quando mi trovavo lì da poco più di un anno, tutto precipitò.

Il tracollo chiarì senza ombra di dubbio come la matematica in cui un tempo mi rifugiavo fosse non solo legata a triplo filo con i problemi del mondo, ma in parte li alimentasse. I matematici e le loro formule magiche erano stati istigatori e complici della crisi immobiliare, del fallimento di alcuni grandi istituti finanziari, dell'incremento della disoccupazione. Inoltre, grazie agli straordinari poteri che io tanto amavo, la matematica sposata alla tecnologia riusciva a moltiplicare il caos e le sventure, alimentando e rendendo più efficienti sistemi che – ora lo capivo – erano malati.

Se avessimo avuto le idee chiare, a quel punto avremmo fatto tutti un passo indietro per capire in che modo avessimo fatto cattivo uso della matematica e come avremmo potuto evitare una simile catastrofe in futuro. E invece, sull'onda della crisi, le nuove tecniche matematiche erano più trendy che mai, pronte a ramificarsi in ambiti sempre più vasti e a elaborare ininterrottamente petabyte di dati, gran parte dei quali raccolti setacciando i social media o i siti di e-commerce. Dati focalizzati sempre più non già sui movimenti dei mercati finanziari globali ma sugli esseri umani, cioè noi. I matematici e gli esperti di statistica si erano messi a studiare i nostri desideri, i nostri spostamenti, il nostro potere d'acquisto, a formulare previsioni sulla nostra affidabilità e a calcolare il nostro potenziale in veste di studenti, lavoratori, amanti, criminali.

Era l'economia dei Big Data, e prometteva enormi guadagni. Con un programma e un computer, si potevano analizzare migliaia di curriculum o richieste di finanziamento in un paio di secondi e organizzarli in elenchi ordinati, con i candidati più promettenti in cima alla lista. Questo modo di operare non solo faceva risparmiare tempo, ma si diceva anche che fosse equo e obiettivo. Niente più individui pieni di pregiudizi a leggere carte e documenti, solo macchine impegnate a elaborare freddi numeri. Attorno al 2010, la matematica era diventata una componente preponderante nelle questioni umane come mai prima di allora, e l'opinione pubblica ne era in massima parte felice.

Ma sentivo che i guai erano dietro l'angolo. Le applicazioni matematiche che facevano girare l'economia dei dati si basavano su scelte di esseri umani fallibili i quali senza dubbio, in molti casi, erano animati dalle migliori intenzioni. Ciò nonostante, molti di questi modelli avevano codificato il pregiudizio umano, l'incomprensione e l'errore sistematico nei software che controllano ogni giorno di più le nostre vite. Come fossero divinità, questi modelli matematici erano misteriosi e i loro meccanismi invisibili a tutti, tranne che ai sommi sacerdoti della materia: matematici e informatici. I loro giudizi – anche se sbagliati o pericolosi – erano incontestabili e senza appello. E se da una parte penalizzavano i poveri e gli oppressi della nostra società, dall'altra aiutavano i ricchi ad arricchirsi sempre di più.

Ho trovato un nome per questo genere di modelli negativi: li chiamo "armi di distruzione matematica", o ADM. Ve ne darò ora un esempio, sottolineandone man mano le caratteristiche distruttive.

| << |  <  |  >  | >> |

Pagina 14

Molte delle ADM di cui parlerò in questo libro, incluso il modello a valore aggiunto del distretto scolastico di Washington, si comportano esattamente così: definiscono una loro realtà e la utilizzano per giustificare i loro risultati. Questo tipo di modello tende a perpetuarsi, è altamente distruttivo e molto diffuso.

| << |  <  |  >  | >> |

Pagina 16

| << |  <  |  >  | >> |

Pagina 22

Queste ADM presentano molte delle caratteristiche del modello a valore aggiunto che ha fatto deragliare la carriera di Sarah Wysocki nella scuola pubblica di Washington. Sono poco chiare, dogmatiche e inesplicabili e operano al fine di classificare, selezionare e "ottimizzare" milioni di persone. Confondendo le loro conclusioni con la realtà quotidiana, la maggior parte di esse crea funesti cicli di feedback.

Ma c'è un'importante differenza tra il modello a valore aggiunto di un distretto scolastico e, per esempio, una ADM che va a scovare potenziali candidati per costosissimi prestiti a breve termine. Il risultato che si prefiggono è diverso. Per il distretto scolastico, si tratta di una sorta di moneta politica, per dare l'idea che i problemi sono in fase di risoluzione. Per le aziende si tratta invece di moneta in senso proprio: il denaro. Per molte delle aziende che utilizzano questi algoritmi-canaglia, i guadagni che ne ricavano sembrano dimostrare che i loro modelli funzionano. Guardate la cosa dal loro punto di vista, e vedrete che ha senso. Nel momento in cui costruiscono sistemi statistici per trovare clienti o manipolare persone disperate che hanno bisogno di un prestito, se i guadagni aumentano, vuol dire che sono sulla strada giusta, o così pare. Il software funziona a dovere. Il problema è che il profitto finisce per diventare la controfigura, o una sorta di vicario, della verità. Vedremo come questa pericolosa confusione si crei di continuo.

Questo succede perché molto spesso i Data Scientist perdono di vista le persone che stanno all'altro capo della transazione. Certamente capiscono che un programma che macina dati avrà una certa tendenza percentuale a fraintendere le persone, a inserirle nei gruppi sbagliati e a negare loro un lavoro o la possibilità di acquistare la casa che hanno sempre sognato. Ma, di norma, chi maneggia le ADM non si sofferma su questi errori. Il loro feedback è dato dal denaro, che è anche il loro incentivo. I loro sistemi sono pensati per inglobare una mole di dati sempre maggiore e affinare le tecniche di analisi per guadagnare sempre di più. Gli investitori, naturalmente, si arricchiscono con gli utili e continuano a finanziare le società produttrici di queste armi di distruzione matematica.

E le vittime? Be', un Data Scientist interno potrebbe rispondere che nessun sistema statistico può essere perfetto. Quelle persone entrano nel novero dei danni collaterali. E spesso, come Sarah Wysocki, sono ritenute prive di valore e sacrificabili. Mettetele da parte per un momento, potrebbero suggerire, e concentratevi su tutti coloro che possono ricavare utili suggerimenti da parte dei recommendation engines o che trovano la loro musica preferita su Pandora, il lavoro ideale su Linkedln, o magari l'anima gemella su Match.com. Pensate ai grandi numeri, e lasciate perdere le imperfezioni.

I Big Data hanno tanti evangelizzatori, ma io non faccio parte della categoria. Questo libro andrà esattamente nella direzione opposta, mettendo in evidenza i danni provocati dalle armi di distruzione matematica e le ingiustizie che finiscono per perpetuare. Analizzeremo esempi significativi di come influiscano negativamente sulle persone in fasi critiche della vita, per esempio al momento di iscriversi all'università, di chiedere un prestito, di essere giudicati da un tribunale, di trovare o mantenere un posto di lavoro. Tutti questi ambiti della vita sono controllati sempre di più da modelli segreti che ci infliggono punizioni arbitrarie.

I Big Data hanno un loro lato oscuro. È questo.

| << |  <  |  >  | >> |

Pagina 43

La prima domanda: benché il partecipante sia cosciente di essere oggetto di una modellazione, o delle finalità per cui il modello viene utilizzato, quest'ultimo è poco chiaro o addirittura non visibile? Be', nella maggior parte dei casi, i detenuti chiamati a compilare un questionario obbligatorio non sono stupidi. Se non altro, hanno ragione di sospettare che le informazioni saranno usate contro di loro per controllarli mentre sono in prigione e magari tenerceli più a lungo. Sanno come funziona il gioco. Ma lo sanno anche i funzionari dell'istituto penitenziario, che non fanno parola dello scopo del questionario LSI-R. Altrimenti – come sanno benissimo – tanti detenuti tenterebbero di ingannare il sistema, fornendo risposte che li facciano apparire come cittadini modello una volta fuori. I soggetti interessati vengono quindi tenuti il più possibile all'oscuro, anche del punteggio totalizzato.

In questo, non sono soli. I modelli oscuri e invisibili sono la regola, e quelli trasparenti l'eccezione. Veniamo modellati come acquirenti o pantofolai, pazienti o richiedenti un mutuo, ma non ce ne rendiamo conto, neppure quando siamo ben felici di compilare un questionario. Anche nei casi in cui questi modelli si comportano nel modo dovuto, la poca chiarezza può trasmettere una sensazione di ingiustizia. Se in occasione di un concerto all'aperto vi sentiste dire che non potete sedervi nelle prime dieci file, potreste giudicare la cosa irragionevole. Ma se vi spiegassero che le prime dieci file sono state riservate a persone in carrozzella, sarebbe diverso. La trasparenza è importante.

Eppure molte aziende fanno l'impossibile per tenere nascosti i risultati dei loro modelli o persino la loro esistenza. Una giustificazione comune è che l'algoritmo rappresenta l'"ingrediente segreto" fondamentale per il loro business. È proprietà intellettuale e, all'occorrenza, viene difeso da legioni di avvocati e lobbisti. Nel caso di colossi del web come Google, Amazon e Facebook, questi raffinatissimi algoritmi elaborati su misura valgono, da soli, centinaia di miliardi di dollari. Per loro stessa natura, le ADM sono scatole nere imperscrutabili. E questo impedisce di rispondere alla seconda domanda in maniera definitiva: il modello va contro l'interesse del singolo? In poche parole, è iniquo? Danneggia o distrugge la vita delle persone?

Sotto questi aspetti, il sistema LSI-R è classificabile come arma di distruzione matematica. Coloro che l'hanno elaborato, negli anni novanta, l'avevano sicuramente pensato come uno strumento che avrebbe portato imparzialità ed efficienza nell'ordinamento giudiziario penale, aiutando anche i delinquenti non pericolosi a ricevere condanne più miti. Tutto questo si sarebbe tradotto in più anni di libertà per loro e in enormi risparmi per i contribuenti americani, i quali ogni anno devono pagare il conto salato della gestione penitenziaria che ammonta a 70 miliardi di dollari. Tuttavia, poiché giudica i detenuti in base a informazioni che non sarebbero ammissibili in un'aula di tribunale, il questionario è iniquo. E se è vero che alcuni potrebbero trarne giovamento, di sicuro crea sofferenze per altri.

Una componente essenziale di questa sofferenza è il circolo vizioso che va ad alimentare. Come abbiamo visto, i modelli di irrogazione della pena che tracciano il profilo di una persona in base alla sua situazione economica contribuiscono a creare le condizioni che ne giustificano i presupposti. Questa spirale distruttiva si avvita su se stessa e, nel frattempo, il modello diventa sempre più iniquo.

La terza domanda è se un modello ha la capacità di crescere esponenzialmente. Come direbbe uno statistico, può scalare? Questo potrebbe sembrare un cavillo da matematico sfigato, ma la portata è ciò che trasforma le armi di distruzione matematica da perturbazioni locali a veri e propri tsunami che definiscono e delimitano la nostra vita. Come vedremo, la diffusione delle ADM in settori come le risorse umane, la sanità e il sistema bancario – solo per citarne alcuni – sta introducendo norme generali che vengono imposte su di noi quasi in forza di legge. Se qualcuno vi bolla come mutuatario ad alto rischio in base al modello di una determinata banca, il mondo vi tratterà esattamente come tale: un parassita che non paga i debiti, anche se la realtà è completamente diversa. E quando quel modello viene applicato su più vasta scala, com'è accaduto con quello del credito, si ripresenta continuamente nella vita di una persona e stabilisce se è idonea a ricevere un prestito per un appartamento o un'automobile o per essere assunta in un posto di lavoro.

[...]

Per riassumere, questi sono i tre elementi di una ADM: scarsa chiarezza, portata e danno. Tutti saranno presenti, in una qualche misura, negli esempi che prenderemo in esame. Certo, ci sarà spazio per qualche cavillo. Qualcuno potrebbe sostenere, per esempio, che i punteggi relativi alla propensione alla recidiva non mancano totalmente di trasparenza, poiché in alcuni casi i detenuti li possono vedere. Eppure hanno qualcosa di misterioso, dal momento che i detenuti sono tenuti all'oscuro di come le loro risposte concorrono al punteggio. L'algoritmo di calcolo è segreto. Altre ADM potrebbero dare l'impressione di non soddisfare il requisito essenziale della portata. Non sono enormi, almeno non ancora. Ma rappresentano specie pericolose destinate a crescere, forse in maniera esponenziale. Quindi le metto nel conto. E infine, potrete notare che non tutte queste ADM sono universalmente dannose. Dopotutto, mandano qualcuno a Harvard, selezionano i candidati per prestiti convenienti o buoni posti di lavoro, e riducono le condanne per qualche delinquente fortunato. Ma il punto non è se qualcuno ne tragga vantaggio o meno. È che sono in tanti a soffrirne. Questi modelli ingiusti, basati su algoritmi, sbattono la porta in faccia a milioni di persone, spesso per ragioni poco convincenti, e non offrono possibilità di appello.

| << |  <  |  >  | >> |

Pagina 88

Questo ci porta al nodo cruciale con il quale ci confronteremo ripetutamente. Qual è l'obiettivo di chi elabora il modello? In questo caso, mettetevi nei panni della redazione di "U.S. News" nel 1988. Nell'elaborare il loro primo modello statistico, come avrebbero fatto a capire se funzionava? Ebbene, si sarebbe presentato in maniera molto più credibile rispecchiando la gerarchia esistente. Se Harvard, Stanford, Princeton e Yale fossero risultate in testa alla classifica, questo avrebbe certificato la validità del modello, replicando i modelli informali che loro e i loro lettori avevano in mente. Per costruire un modello del genere, non dovevano far altro che analizzare quelle università di eccellenza e valutare che cosa le rendesse così speciali. Che cosa avevano in comune fra loro e cosa di diverso se paragonate all'università salvagente della città vicina? Ebbene, i loro studenti avevano punteggi SAT stratosferici e si laureavano puntuali come orologi. Una volta nel mondo del lavoro, gli ex studenti – diventati molto ricchi – contribuivano con generose donazioni agli atenei. Analizzando le virtù delle università di prim'ordine, il team incaricato di elaborare la classifica ha creato un parametro elitario per misurare l'eccellenza.

Ora, se nella formula avessero considerato anche il costo della didattica, i risultati avrebbero potuto assumere una piega strana, per esempio alcuni degli atenei in cui si pagano tasse universitarie più modeste avrebbero potuto irrompere nella gerarchia dell'eccellenza. Questo avrebbe creato sorprese e seminato dubbi nell'opinione pubblica che avrebbe forse accolto la graduatoria di "U.S. News" come qualcosa di lievemente meno dogmatico. Andavano molto più sul sicuro cominciando col mettere i campioni indiscussi ai primi posti in classifica. È vero che sono università costosissime, ma forse è il prezzo che si paga per l'eccellenza.

Escludendo dalla formula l'elemento del costo, era come se "U.S. News" avesse regalato ai rettori di questi atenei l'accesso a fondi illimitati. L'obiettivo, per loro, era quello di puntare all'ottimizzazione dei risultati in quindici aree e il contenimento dei costi non era fra queste. Anzi, hanno aumentato le tasse, così da raccogliere maggiori risorse da destinare ai settori oggetto della valutazione.

Da allora, le tasse universitarie sono andate alle stelle. Fra il 1985 e il 2013, il costo dell'istruzione superiore è aumentato di oltre il 500 per cento, vale a dire il quadruplo rispetto all'inflazione.

| << |  <  |  >  | >> |

Pagina 96

Le vittime, naturalmente, sono la stragrande maggioranza degli americani, ossia le famiglie dei ceti medio-bassi che, non avendo migliaia di dollari da spendere in corsi e consulenti, non hanno accesso a preziose conoscenze. Il risultato è un sistema scolastico che avvantaggia i privilegiati. Il piatto della bilancia pende a sfavore dei bisognosi, escludendone la maggior parte e spingendoli così verso una povertà che aggrava le differenze sociali.

Ma alla fine ci rimettono anche coloro che, con le unghie e con i denti, riescono a entrare in un college di eccellenza. Se ci pensate, il gioco delle ammissioni universitarie, ancorché redditizio per alcuni, non ha praticamente alcun valore formativo. Il complesso sistema non fa altro che riselezionare e riclassificare sempre gli stessi diciottenni secondo criteri nuovi e stravaganti. I ragazzi non acquisiscono competenze importanti sottoponendosi a queste lunghe trafile né scrivendo saggi di presentazione mirati a questa o quella università sotto l'attenta supervisione di tutor professionisti. Qualcuno ricerca online versioni più economiche di questi tutor. Tutti, dai ricchi agli appartenenti ai ceti medio-bassi, vengono semplicemente addestrati a trovare il loro posto all'interno di un enorme meccanismo, per soddisfare un'arma di distruzione matematica. Al termine della difficile prova, molti saranno indebitati fino al collo, con la prospettiva di impiegare decenni a restituire quanto dovuto. Sono pedine in una corsa agli armamenti particolarmente agguerrita.

| << |  <  |  >  | >> |

Pagina 132

E purtroppo, nella maggior parte delle giurisdizioni, una simile mappa del crimine seguirebbe la pista della povertà. Il numero elevato di arresti in quelle zone non farebbe altro se non confermare la tesi ampiamente condivisa dai ceti medio-alti, e cioè che i poveri sono responsabili dei loro problemi e commettono la maggior parte dei crimini che si consumano in una città.

Ma che cosa accadrebbe se la polizia cercasse altre tipologie di reati? Una cosa del genere potrebbe sembrare controintuitiva, perché la maggior parte di noi – polizia compresa – vede la criminalità come una piramide. Al vertice c'è l'omicidio, seguito da stupro e aggressione, che sono più comuni, e poi seguono il taccheggio, le truffe e persino le violazioni del codice per divieto di sosta, che si verificano di continuo. Ha senso dare priorità ai crimini al vertice della piramide. I più saranno d'accordo sul fatto che ridurre al minimo i crimini violenti è, e dovrebbe essere, al centro della missione delle forze dell'ordine.

Ma che dire dei reati che avvengono lontano dai riquadri evidenziati sulle mappe di PredPol, quelli commessi dai ricchi? Negli anni Duemila, i signori della finanza si sono dati alla pazza gioia: hanno mentito, hanno scommesso miliardi contro i loro stessi clienti, hanno organizzato frodi e comprato il silenzio delle agenzie di rating. In quegli ambienti si sono consumati crimini aberranti che hanno devastato l'economia globale per almeno cinque anni. Milioni di persone hanno perso la casa, il lavoro e la salute.

Abbiamo ottime ragioni di ritenere che in questo momento nel mondo della finanza si stiano commettendo crimini analoghi. Una cosa l'abbiamo imparata: in questo ambiente ciò che conta è realizzare profitti, più cospicui sono e meglio è, e qualsiasi cosa assomigli all'autoregolamentazione è inutile. Grazie soprattutto ai mezzi economici del settore e alla potenza delle lobby, la finanza non è soggetta a controlli adeguati.

Basti pensare a che cosa succederebbe se la polizia applicasse la strategia della tolleranza zero in questo settore. Arresterebbero le persone anche per le minime infrazioni, dagli imbrogli sui fondi pensione aziendali alle consulenze fuorvianti, passando per le piccole truffe. Forse le unità speciali SWAT piomberanno su Greenwich, Connecticut, e condurranno operazioni sotto copertura nelle osterie attorno al Chicago Mercantile Exchange.

Naturalmente, è piuttosto improbabile. Gli agenti di polizia non hanno certo le competenze per quel genere di cose. Tutto ciò che attiene al loro lavoro, dall'addestramento ai giubbotti antiproiettile, è finalizzato agli interventi nei quartieri degradati. Per imprimere un giro di vite ai reati commessi dai colletti bianchi occorrerebbero persone con strumenti e competenze ben diversi. Le squadre a corto di personale e di finanziamenti che gestiscono quel tipo di lavoro, dall'FBI agli investigatori della Securities and Exchange Commission, hanno imparato nell'arco dei decenni che i banchieri sono praticamente invulnerabili. Foraggiano abbondantemente i nostri politici, cosa che non fa mai male, e sono quindi considerati cruciali per la nostra economia. Questo li protegge. Se le loro banche entrano in crisi, lo stesso accade alla nostra economia. (I poveri non hanno un'analoga argomentazione a loro favore.) Quindi, fatta eccezione per qualche criminale isolato, come il maestro dello schema Ponzi, Bernard Madoff, i finanzieri non finiscono dietro le sbarre. Nel complesso, hanno superato il crollo finanziario del 2008 praticamente senza un graffio. Cosa mai potrebbe scalfirli ora?

La mia tesi è che la polizia compie delle scelte in merito a dove dirigere la propria attenzione. Oggi le forze dell'ordine si concentrano quasi esclusivamente sui poveri. È questa la loro tradizione, la loro missione; loro la intendono così. E ora i Data Scientist stanno facendo in modo di applicare questo status quo dell'ordine sociale nei loro modelli, come PredPol, che esercitano un potere sempre maggiore sulle nostre vite.

Il risultato è che se da una parte PredPol fornisce uno strumento software utile e persino ispirato a buoni sentimenti, dall'altra è anche un'arma di distruzione matematica fai-da-te. In questo senso, pur animato dalle migliori intenzioni, PredPol offre agli agenti di polizia il pretesto per puntare tutta l'attenzione sui poveri, fermandone sempre di più, arrestando una parte dei fermati e mandandone un sottogruppo in carcere. E i capi della polizia, in molti casi se non nella maggior parte, pensano che sia quello l'unico approccio sensato e possibile alla lotta contro la criminalità. "Ecco dov'è il problema," affermano indicando il ghetto evidenziato sulla mappa. E ora possono disporre di tecnologie avanzate (alimentate dai Big Data) che rinforzano queste loro posizioni, aggiungendo precisione e "scientificità" al processo.

Il risultato è quello di criminalizzare la povertà, convincendoci nel frattempo che i nostri strumenti sono non soltanto scientifici ma anche giusti.

| << |  <  |  >  | >> |

Pagina 189

Il software di schedulazione crea anche un pernicioso ciclo di feedback. Consideriamo il caso di Jannette Navarro. Il sub orario di lavoro scombinato le ha impedito di rimettersi a studiare, e questo ha soffocato le sue prospettive occupazionali confinandola nella categoria eccedentaria dei lavoratori dequalificati. A causa degli orari prolungati e irregolari, i lavoratori hanno anche difficoltà a organizzarsi o protestare per ottenere condizioni migliori. In compenso, l'ansia e la mancanza di sonno sono causa di forti sbalzi di umore e del 13 per cento degli incidenti stradali. Peggio ancora, poiché il software nasce per consentire alle aziende di risparmiare, spesso limita l'orario di lavoro a meno di trenta ore la settimana, un monte ore che priva i dipendenti del diritto all'assicurazione sanitaria a carico del datore di lavoro. E sempre per via degli orari caotici, sono impossibilitati anche a trovare un secondo lavoro. Sembra quasi che il software sia stato studiato espressamente per punire i lavoratori a basso salario e tenerli in stato di inferiorità.

Il software condanna anche una vasta percentuale dei nostri bambini a crescere senza una routine. Vedono la mamma a colazione con gli occhi stanchi e annebbiati, oppure che si precipita fuori di casa senza aver cenato, oppure che litiga con la nonna su chi debba occuparsi di loro la domenica mattina. Questa vita caotica incide profondamente sui bambini. Secondo uno studio condotto dall'Economic Policy Institute, organizzazione non governativa no-profit statunitense, "I bambini e gli adolescenti figli di genitori con orari di lavoro imprevedibili o al di fuori delle normali fasce giornaliere hanno maggiori probabilità di soffrire di deficit cognitivi e problemi comportamentali". I genitori potrebbero colpevolizzarsi per il fatto di avere un bambino che non si comporta bene o che va male a scuola, ma in molti casi tutto dipende dalla povertà che spinge le persone ad accettare lavori con orari senza né capo né coda e da modelli di schedulazione che mettono le famiglie sotto una pressione crescente.

La radice del problema, così come per molte altre armi di distruzione matematica, è la scelta degli obiettivi da parte dei modellatori. Il modello è studiato per ottimizzare l'efficienza e la redditività, non certo la giustizia o il bene del gruppo. Questa, naturalmente, è la natura del capitalismo.

| << |  <  |  >  | >> |

Pagina 287

Il problema è che si alimentano reciprocamente. Con ogni probabilità, i poveri non hanno credibilità finanziaria e vivono in quartieri ad alto tasso di criminalità, circondati da altri poveri. Una volta che l'universo oscuro delle ADM digerisce questi dati, inonda queste persone di annunci predatori che pubblicizzano prestiti subprime o università for-profit. Con un vasto dispiegamento di forze dell'ordine, questi cittadini vengono arrestati più di altri e, se riconosciuti colpevoli, subiscono condanne più lunghe. I dati vanno ad alimentare altre armi di distruzione matematica, che attribuiscono a queste stesse persone punteggi elevati in termini di rischio oppure le classificano come facili obiettivi e provvedono a escluderle dalle selezioni del personale, facendo lievitare nel contempo i tassi d'interesse per mutui, finanziamenti per l'acquisto di un'automobile e ogni tipo di assicurazione possibile e immaginabile. Per questo motivo, la loro affidabilità creditizia diminuisce andando ad alimentare una spirale di modellazione letale. Essere poveri in un mondo dominato dalle armi di distruzione matematica è sempre più pericoloso e costa ogni giorno di più.

Le armi di distruzione matematica che bistrattano i poveri sono le stesse che collocano le classi agiate della società in altrettanti silos di marketing per portarle in aereo ad Aruba in vacanza o metterle in lista d'attesa per la Wharton School della University of Pennsylvania. Molti potrebbero farsi l'idea di un mondo sempre più intelligente e semplice. I modelli mettono in evidenza le offerte speciali sul prosciutto e il Chianti, consigliano un film da non perdere su Amazon Prime oppure guidano gli utenti passo passo, con il navigatore in modalità turn-by-turn, verso un bar in quello che un tempo era un quartiere non proprio raccomandabile. La natura sobria e personale di questa targettizzazione impedisce ai privilegiati di capire come quegli stessi modelli vengano utilizzati per distruggere la vita di alcuni, magari solo qualche isolato più in là.

[...]

Disinnescare un'arma di distruzione matematica non sempre garantisce un esito altrettanto ovvio. Se è vero che una maggiore equità e giustizia rappresenterebbero sicuramente un vantaggio per la società nel suo complesso, le singole aziende non sono nella posizione di poterne raccogliere i frutti. Per la maggior parte di esse, anzi, le armi di distruzione matematica appaiono altamente efficaci. Interi modelli di business, come le università for-profit e i prestiti a breve termine, sono costruiti proprio su tali modelli. E quando un software individua persone talmente disperate da arrivare a pagare il 18 per cento al mese di interessi, chi raccoglie quei profitti pensa che la cosa vada benissimo.

Le vittime, naturalmente, la pensano in un altro modo. Ma la maggior parte – i lavoratori a ore, i disoccupati e chi per tutta la vita deve fare i conti con una bassa affidabilità creditizia – sono poveri. I prigionieri non hanno nessun potere. E nella nostra società, in cui con il denaro si acquista influenza, queste vittime delle armi di distruzione matematica non hanno praticamente voce. Il loro voto, politicamente, non conta nulla. Troppo spesso, in verità, i poveri vengono incolpati della loro indigenza, del basso livello delle loro scuole, della criminalità che affligge i loro quartieri. È la ragione per cui pochissimi politici si prendono la briga di elaborare delle strategie per contrastare questo fenomeno. Nella percezione comune, la povertà è un po' come una malattia, e il tentativo – o quanto meno la retorica – è quello di metterla in quarantena e impedire che vada a contagiare il ceto medio. Dobbiamo interrogarci su come attribuiamo le colpe nella vita moderna e in che modo i modelli esasperano questo ciclo.

[...]

I processi basati sui Big Data codificano il passato. Non inventano il futuro, cosa per la quale occorre la percezione che solo l'uomo possiede. Dobbiamo esplicitamente inglobare valori più nobili nei nostri algoritmi, creando modelli basati sui Big Data che seguano la nostra guida etica. E talvolta questo comporta di dover anteporre l'equità al profitto.

In un certo senso, la nostra società è alle prese con una nuova rivoluzione industriale. E possiamo trarre alcuni insegnamenti dal passato. Progressi acquisiti nei secoli scorsi, come la possibilità di riscaldare le case con il carbone o di illuminarle con l'energia elettrica, hanno cambiato la vita delle persone. Le ferrovie appena costruite trasportavano carne, verdure e cibi in scatola da grandi distanze. Per molti, la bella vita si faceva sempre più bella.

Eppure, come tutte le medaglie, questo progresso aveva il suo rovescio. Era alimentato da lavoratori sfruttati orribilmente, molti dei quali bambini. In assenza di norme in materia di salute e sicurezza, le miniere di carbone erano delle trappole mortali. Solo nel 1907 morirono 3242 minatori. Gli addetti del settore delle carni lavoravano da dodici a quindici ore al giorno in condizioni igieniche spaventose e spesso a contatto con prodotti tossici. La Armour & Company arrivò al punto di fornire all'esercito americano tonnellate di manzo putrefatto mascherando il fetore con uno strato di acido borico. Nel frattempo, gli avidi monopolisti che esercitavano un controllo totale sulle ferrovie, le compagnie elettriche e le aziende di servizio pubblico facevano lievitare le tariffe praticate ai clienti, imponendo una sorta di tassa sull'economia nazionale.

Chiaramente, il libero mercato non era in grado di controllare i propri eccessi. Dopo le denunce di giornalisti come Ida Tarbell e Upton Sinclair, che portarono alla luce questi e altri problemi, il governo intervenne con l'introduzione di protocolli di sicurezza e ispezioni sanitarie sui prodotti alimentari, oltre a dichiarare illegale il lavoro minorile. Con l'avvento dei sindacati, e l'approvazione di leggi che ne tutelavano l'operato, la nostra società mise in moto la transizione verso la giornata lavorativa di otto ore e il fine settimana di riposo. Queste nuove norme salvaguardavano le aziende che non volevano sfruttare i lavoratori né vendere cibo avariato, in quanto i loro concorrenti avrebbero dovuto seguire le stesse regole. E se queste, da una parte, avevano senza dubbio aumentato i costi di gestione, dall'altra la società nel suo complesso ne aveva sicuramente tratto beneficio. Pochi di noi vorrebbero tornare a un tempo in cui queste regole non esistevano.

[...]

Un sistema per disciplinare le armi di distruzione matematica dovrebbe misurare questi costi occulti e, al tempo stesso, considerare una molteplicità di valori non numerici, come già avviene per altri tipi di regolamentazione. Sebbene gli economisti possano tentare di calcolare i costi dello smog o dei dilavamenti di origine agricola, oppure dell'estinzione dell'allocco macchiato, i numeri non riescono mai a esprimerne il valore. E lo stesso accade sovente anche per l'equità e il bene comune nei modelli matematici. Sono concetti che albergano solo nella mente umana e resistono alla quantificazione. E poiché sono gli esseri umani a elaborare i modelli, è raro che facciano uno sforzo in più e spesso nemmeno ci provano. Semplicemente, giudicano la cosa troppo difficile. Ma abbiamo il dovere di imporre valori umani a questi sistemi, anche a discapito dell'efficienza. Per esempio, un modello potrebbe essere programmato in maniera tale da garantire che diversi gruppi etnici e livelli di reddito siano correttamente rappresentati all'interno di gruppi di elettori o di consumatori. Oppure per evidenziare casi in cui persone associate a determinati codici di avviamento postale pagano alcuni servizi il doppio rispetto ad altri individui. Queste approssimazioni possono sembrare rozze, specie a una prima analisi, ma sono essenziali. I modelli matematici devono essere strumenti nelle nostre mani, e non i nostri padroni.

Il divario di rendimento e di risultati, la carcerazione di massa e l'apatia dell'elettorato sono gravi problemi che gli Stati Uniti vivono a livello nazionale e che nessun libero mercato o algoritmo matematico può risolvere. Il primo passo è quindi di riprenderci dalla tecno-utopia, vale a dire quella fiducia sconfinata ma ingiustificata nelle capacità degli algoritmi e della tecnologia. Prima di chiedergli di fare di meglio, dobbiamo prendere atto che non possono fare tutto.

| << |  <  |