L’autoritat de l’inescrutable: entrevista amb Cathy O’Neil

Cathy O’Neil | Il·lustració de José Antonio Soria | CC-BY

A principis de desembre de 2017, un grup de científics de l’Administració Nacional Oceànica i Atmosfèrica dels EUA (NOAA) va analitzar les dades meteorològiques d’una de les seves estacions de monitoratge climàtic a Utqiaġvik, Alaska. Van quedar parats en veure que durant tot el mes de novembre l’estació no havia registrat cap dada. Sembla ser que l’algoritme que s’utilitza per descartar informació no fiable havia esborrat totes les dades perquè va interpretar que eren valors atípics, però un estudi més acurat va posar de manifest que les dades registrades eren correctes: en només dues dècades, la temperatura mitjana local havia augmentat 4,3ºC a l’octubre, 3,8ºC al novembre i 2,6ºC al desembre. És a dir, la realitat de l’escalfament global havia sobrepassat les suposicions en què es basava l’algoritme.

No és el primer cop que unes dades relatives al canvi climàtic superen els llindars establerts per un algoritme. Segons Deke Arndt, cap de la secció de monitoratge climàtic del NOAA, això també ha passat en estacions del Canadà i Escandinàvia. Arndt considera que és una evidència més del fet que el nostre planeta ha entrat en una nova fase climàtica. Cada vegada més investigadors es refereixen a aquesta fase com a «Antropocè», una nova era de temps geològic caracteritzada per l’impacte significatiu dels humans en els ecosistemes i la geologia de la Terra. Tot i que en l’àmbit acadèmic la data d’inici de l’Antropocè és un debat cada vegada més estès, sovint es considera com a punt de partida el 16 de juliol de 1945, dia en què va tenir lloc la prova de Trinity: la primera detonació d’una arma nuclear.

A partir d’aquell moment, el món ha experimentat un creixement exponencial en un ampli ventall de tendències socioeconòmiques i sistemes terrestres. La població ha augmentat espectacularment, així com els productes domèstics, la urbanització, les telecomunicacions i l’ús de fertilitzants, aigua i energia, i tot això ha provocat l’increment dels nivells de diòxid de carboni, l’augment de la temperatura terrestre, l’acidificació dels oceans, la degradació de la biosfera i la pèrdua de boscos tropicals. La Societat Geològica d’Amèrica es refereix a aquest increment sense precedents i a la taxa de variació com «La gran acceleració».

En aquest sentit, podríem dir que el que resulta més inquietant de l’algoritme «trencat» del NOAA a Alaska no és només la velocitat alarmant de l’escalfament global, sinó també el fet de constatar que els sistemes que utilitzem per observar i interpretar el món no s’adeqüen a la realitat que ens envolta. I no s’hi adapten perquè fan suposicions errònies. Tot i que aquests sistemes van desapareixent, la societat delega cada vegada més algunes de les seves decisions més importants a algoritmes dissenyats a partir de suposicions obsoletes i moltes vegades «tòxiques». De fet, fins i tot hi ha algoritmes que s’han dissenyat per a ratificar-les. Només el fet de pensar-hi fa venir basques i vertigen.

Aquesta sensació de fastigueig va ser la mateixa que va dur la matemàtica i escriptora Cathy O’Neil a deixar la feina l’any 2011. Després d’estudiar Matemàtiques a Harvard i al Massachusetts Institute of Technology (MIT), va treballar al sector de les finances durant els anys més durs de la crisi financera mundial com a experta en l’anàlisi i gestió d’informació quantitativa per al fons de cobertura multinacional DE Shaw. També va treballar a RiskMetrics, una empresa de programari que avalua el risc per a les tinences de fons de cobertura i bancs. Des que va deixar el món de les finances, O’Neil ha estat al capdavant del Programa Lede de Periodisme de Dades a la Universitat de Columbia, ha fundat una empresa d’auditoria algorítmica (ORCAA) i ha publicat diversos llibres, com ara Armas de destrucción matemática: cómo el big data aumenta la desigualdad y amenaza la democracia. (Ed. Capitán Swing, 2017), que va ser finalista al premi National Book Award for Non-fiction de l’any 2016.

«Va ser un escàndol», em diu durant la seva visita a Barcelona, on va parlar al festival The Influencers 2018. Poc després d’entrar a DE Shaw, O’Neil va assistir a una formació per a nous analistes impartida per una colla d’experts, directius i, en paraules seves, «altra gent selecta» del fons de cobertura. El moment culminant va ser quan un dels participants va començar a parlar de valors amb garantia hipotecària:

A Shaw no s’invertia en valors amb garantia hipotecària. En certa manera teníem les mans netes, així que teníem tot el dret a parlar-ne sense embuts. I era un ambient relativament acadèmic, o sigui que no ens enganyàvem els uns als altres. Aquesta persona va explicar que segmentaven els productes financers per tal que el menys arriscat obtingués la màxima qualificació possible (AAA). La seva definició de risc es basava en la probabilitat de fallar de cada producte, i en els casos anomenats «d’alt risc» la situació era realment arriscada. Va explicar que agafaven tots aquells trams tan summament arriscats i els ajuntaven, els tornaven a segmentar i puntuaven els productes de risc que havien quedat dalt de tot amb la qualificació AAA.

O’Neil va quedar al·lucinada. Senzillament, no es podia creure que això es pogués fer sense que els productes financers resultants més ben valorats deixessin de ser segurs:

Semblava que hi havia una pila de suposicions implicades. Concretament, la suposició que no totes les coses passen alhora i que els errors tenen lloc de manera aleatòria a l’univers. És una suposició molt contundent, i així ho va admetre aquesta persona. Després de parar un moment per rumiar, li vaig preguntar: «Quin percentatge de l’economia es basa en això?»

Doncs resulta que era un percentatge prou elevat com per provocar la crisi financera més severa des de la Gran Depressió. També va fer que la gent perdés la fe en els suposadament «experts» que n’havien avalat l’ús. O’Neil recorda una altra trobada en la seva època a DE Shaw, on van assistir tres de les figures més influents en el sector financer dels EUA: els antics Secretaris del Tresor Larry Summers i Robert Rubin i l’expresident de la Reserva Federal, Alan Greenspan, que amb les seves polítiques de «diner fàcil» es diu que va provocar la bombolla d’Internet i la crisi de les hipoteques de risc.

O’Neil, tot i el seu recel, va arribar d’hora. Des d’un punt de vista intel·lectual, no deixava de respectar aquelles figures i tenia moltes ganes de coneixe’ls. En un moment donat de la seva presentació, Greenspan va admetre que l’amoïnaven aquells productes financers que ella trobava tan problemàtics:

Recordo que vaig mirar-me el Robert Rubin, que amagava la mirada expressament, i vaig pensar: «A aquell paio se’l veu molt incòmode».

Després vam saber que era responsable d’una quantitat ingent d’aquests productes a Citibank, i que mai se’ls van poder treure del damunt. Això és el que es va rescatar.

Aquella sessió va confirmar les pitjors sospites d’O’Neil. Primer, era evident que els productes financers que es venien eren matemàticament inviables. A mesura que els fons de cobertura van anar contractant cada vegada més experts en anàlisi quantitativa, van anar sorgint més productes correlacionats, tot i estar basats en informació històrica no correlacionada prèviament. Però d’això se’n podia treure profit, i la tendència inversora va començar a imitar aquelles correlacions, amb la qual cosa es van reforçar els lligams entre mercats no correlacionats prèviament. Però tard o d’hora la realitat retria comptes al truc de màgia matemàtic.

La segona sospita que es va confirmar en aquella trobada tenia relació amb el rescat financer del govern, que va salvar el sector de les finances de la seva dependència envers aquests valors tòxics. Era evident que hi havia una porta giratòria entre les institucions públiques i les empreses financeres privades i això posava de manifest que, a un nivell molt elemental, ambdues eren amigues que es rescataven mútuament a costa de la resta de la població. «Són mafiosos que fan servir fórmules», em diu O’Neil. «Feien servir l’autoritat d’una cosa inescrutable per enriquir-se i fer-se famosos. Però si t’hi fixes, encara avui gent com Larry Summers van a Davos i la gent encara se’ls escolta!»

Amb aquestes reflexions, O’Neil es va tornar més pessimista sobre la presa de decisions algorítmiques. «Els algoritmes són eines que tenen els que manen per decidir en què haurien d’apostar», diu. «Només els faran servir si en poden treure profit, no pas per ajudar algú».

És un argument que es tracta amb més detall a Armas de destrucción matemática. Al llibre, O’Neil cita exemples de com es fan servir algoritmes al mercat laboral, en bancs i en asseguradores; i ens explica de manera molt convincent que se solen dissenyar a mida, en funció dels motius, valors i ideologies dels seus creadors, a través de la cura de dades i de l’operacionalització de definicions profundament específiques del que és l’èxit. En cap cas són eines que es facin servir per a garantir l’objectivitat, i O’Neil descriu succintament els algoritmes com «opinions incrustades en llenguatge matemàtic».

Un exemple claríssim de com funciona la discriminació algorítmica es pot trobar en el negoci de les assegurances. Fixem-nos, per exemple, en el preu de les assegurances de cotxes, que se solen basar en el sistema de classificació d’una empresa. O’Neil explica al seu llibre que aquestes classificacions sovint es calculen mitjançant factors que no tenen una relació directa amb l’historial de conducció d’una persona, de tal manera que es penalitza exageradament els més pobres. Un cas particularment indignant es va donar a l’estat de Florida, on un estudi fet per la revista Consumer Reports el 2015 va descobrir que adults amb un historial de conducció impecable i amb ingressos baixos pagaven una mitjana de 1.552 dòlars anuals més que els conductors amb ingressos alts i condemnes per conduir beguts.

Durant la nostra entrevista, li parlo del cas de les assegurances contra inundacions en zones propenses a inundar-se, que cada cop són més nombroses a causa de la combinació del canvi climàtic i la urbanització generalitzada. «És un bon exemple», respon:

A mesura que el Big Data (dades massives) i les prediccions milloren cada vegada més, les companyies d’assegurances tindran la capacitat de determinar que aquesta casa té molt poques probabilitats d’inundar-se mentre que aquella altra en té moltes més. Immediatament, la prima d’assegurança d’aquelles cases més propenses a inundar-se s’incrementarà tant que no la podrà pagar ningú. I el resultat final serà que només les persones a qui no els cal una assegurança podran permetre’s pagar-la, amb la qual cosa el sentit de fer-se una assegurança es perd totalment. I el mateix passarà amb la cobertura sanitària als EUA quan Trump i els republicans eliminin la clàusula de l’Affordable Care Act (Llei de Protecció i Cures del Pacient) que protegia la gent que ja tenia dolències abans de contractar un servei mèdic.

Un altre nus a l’estómac. La idea de fer servir algoritmes per classificar la gent com a «no assegurable» és més aviat digna d’una distòpia de ciència-ficció barroera, però és el mecanisme bàsic que fa servir la indústria de les assegurances avui en dia. En un món accelerat marcat per l’ascensió de polítics autoritaris i la proliferació de desastres naturals provocats pel canvi climàtic, no costa gaire d’imaginar que els governs recorrin a les mateixes eines per decidir qui val la pena de protegir i qui no, qui pot tenir accés als serveis bàsics i qui s’ha d’espavilar tot sol.

Però els algoritmes també es poden utilitzar amb una bona finalitat, suggereixo. «Teòricament, els algoritmes ens podrien ajudar a solucionar problemes», respon O’Neil. «El problema és qui n’és el propietari i quines prediccions fan. Siguem generosos i fem un experiment de pensar. Què podria sortir bé?»

Li parlo de la crisi de l’aigua a Ciutat del Cap. Entre els anys 2015 i 2017, la ciutat sud-africana va patir una enorme sequera que va posar en perill les seves reserves. Els funcionaris del govern es van veure obligats a planejar el «Dia Zero» quan el govern municipal hauria de tallar l’aigua de les aixetes i dependre de centres de distribució d’aigua per a proveir els ciutadans amb 25 litres d’aigua al dia per persona. Els algoritmes tindrien un paper fonamental a l’hora de determinar on i com es podria garantir que tots els ciutadans tinguessin accés a l’aigua, així com de quins tipus d’ús s’haurien de promoure o penalitzar. Però alhora, es durien a terme avaluacions de risc algorítmic per identificar els barris més conflictius amb antecedents de protestes i activitats de bandes criminals, per tal de desplegar les Forces Armades de Sud-àfrica i agents de policia en aquelles zones.

«És molt lògic que pensem en tot això», respon ella:

Si tens prou aigua, és evident que les preguntes importants que t’has de fer són com distribuir-la equitativament i com evitar que sorgeixi un mercat negre. No els culpo per plantejar-se aquestes situacions, però m’agradaria pensar que l’objectiu primordial és assegurar-se que hi ha aigua per a tothom. Al capdavall, els algoritmes no poden decidir com reaccionem al canvi climàtic. És només una qüestió política.