La autoridad de lo inescrutable: entrevista a Cathy O’Neil

Cathy O’Neil | Ilustración de José Antonio Soria | CC-BY

A principios de diciembre de 2017, un grupo de científicos de la Administración Nacional Oceánica y Atmosférica de los EEUU (NOAA) analizó los datos meteorológicos de una de sus estaciones de monitoreo climático en Utqiaġvik, Alaska. Se llevaron una buena sorpresa al constatar que durante todo el mes de noviembre la estación no había registrado ningún dato. Al parecer, el algoritmo que se utiliza para descartar información no fiable había borrado todos los datos porque interpretó que eran valores atípicos; pero un estudio más exhaustivo puso de manifiesto que los datos registrados eran correctos: en solo dos décadas, la temperatura media local había aumentado 4,3ºC en octubre, 3,8 ºC en noviembre y 2,6ºC en diciembre. Es decir, la realidad del calentamiento global había superado las suposiciones en que se basaba el algoritmo.

No es la primera vez que unos datos relativos al cambio climático traspasan el umbral establecido por un algoritmo. Deke Arndt, jefe de la sección de monitoreo climático del NOAA, afirma que esto ha ocurrido previamente en estaciones de Canadá y Escandinavia y considera que es una evidencia más del hecho que nuestro planeta se encuentra en una nueva fase climática. Cada vez más investigadores se refieren a dicha fase como «Antropoceno», una nueva era de tiempo geológico caracterizada por el impacto significativo de los humanos en los ecosistemas y la geología de la Tierra. Aunque la fecha de inicio es motivo de un debate académico aún abierto y en fase de expansión, se suele tomar como punto de partida el 16 de julio de 1945, cuando tuvo lugar la prueba de Trinity, o primera detonación de un arma nuclear.

A partir de entonces, el mundo ha experimentado un crecimiento exponencial en un amplio abanico de tendencias socioeconómicas y sistemas terrestres. La población ha aumentado de manera espectacular, así como el consumo de productos domésticos, la urbanización, las telecomunicaciones y el uso de fertilizantes, agua y energía, lo cual ha provocado un incremento en los niveles de dióxido de carbono, el aumento de la temperatura terrestre, la acidificación de los océanos, la degradación de la biosfera y la pérdida de los bosques tropicales. La Sociedad Geológica de América se refiere a este incremento sin precedentes y a la tasa de variación como «La gran aceleración».

En este sentido, se podría decir que lo que resulta más inquietante del algoritmo «roto» del NOAA en Alaska no es solamente la velocidad alarmante del calentamiento global, sino también la constatación de que los sistemas que utilizamos para observar e interpretar el mundo no se adecúan a la realidad, debido a que hacen suposiciones erróneas. A pesar de que estos sistemas van desapareciendo, la sociedad delega cada vez más algunas de sus decisiones más importantes a algoritmos diseñados a partir de suposiciones caducas y a menudo «tóxicas». Incluso hay algoritmos que han sido diseñados para ratificarlas. Solo de pensarlo da náuseas y vértigo.

Esta misma sensación de malestar fue la que llevó a la matemática y escritora Cathy O’Neil a dejar el trabajo en 2011. Después de estudiar Matemáticas en Harvard y en el Massachusetts Institute of Technology (MIT), trabajó en el sector de las finanzas durante los años más duros de la crisis financiera mundial como experta en análisis y gestión de información cuantitativa para el fondo de cobertura multinacional DE Shaw. También trabajó en RiskMedics, una empresa de software que evalúa el riesgo para las tenencias de fondos de cobertura y bancos. Desde que abandonó el mundo de las finanzas, O’Neil ha liderado el Programa Lede de Periodismo de Datos de la Universidad de Columbia, ha fundado una empresa de auditoría algorítmica (ORCAA) y ha publicado varios libros, entre ellos Armas de destrucción matemática: cómo el big data aumenta la desigualdad y amenaza la democracia. (Ed. Capitán Swing, 2017), que fue finalista al premio National Book Award for Non-fiction del año 2016.

«Fue un escándalo», me dice durante su visita a Barcelona, donde participó en el festival The Influencers 2018. Poco después de entrar en DE Shaw, O’Neil asistió a una formación para nuevos analistas a cargo de un grupo de expertos, directivos y, tal como ella dijo, «otra gente selecta» del fondo de cobertura. El momento culminante fue cuando uno de los participantes se puso a hablar de valores con garantía hipotecaria:

En Shaw no se invertía en valores con garantía hipotecaria. Se podría decir que en cierto modo teníamos las manos limpias, así que teníamos todo el derecho a hablar de ello sin tapujos. Además era un ambiente relativamente académico, así que no nos engañábamos los unos a los otros. Esta persona explicó cómo segmentaban los productos financieros para que el menos arriesgado obtuviese la máxima calificación posible (AAA). Su definición de riesgo se basaba en la probabilidad de fallar que tenía cada producto, y en los casos llamados «de alto riesgo» la situación era sin duda muy arriesgada.Según explicó, juntaban todos aquellos tramos tan sumamente arriesgados, los segmentaban de nuevo y puntuaban los productos de riesgo que habían quedado en los puestos más altos, con la calificación AAA.

O’Neil se quedó alucinada. Simplemente no se podía creer que se pudiera hacer eso sin que los productos financieros resultantes más bien valorados dejaran de ser seguros:

Parecía que estaban implicadas un sinfín de suposiciones. Concretamente, la suposición de que no todas las cosas pasan al mismo tiempo y que los errores ocurren de manera aleatoria en el universo. Es una suposición muy contundente, y así lo admitió dicha persona. Después de pensarlo unos momentos, le pregunté: «Qué parte de la economía se basa en esto?»

El porcentaje resultó ser lo bastante elevado como para provocar la crisis financiera más severa desde la Gran Depresión. También hizo que la gente perdiera la fe en los supuestamente «expertos» que habían avalado su uso. O’Neil recuerda otro encuentro durante su época en DE Shaw, al que asistieron tres de las figuras más influyentes del sector financiero de los EEUU: los exsecretarios del Tesoro Larry Summers y Robert Rubin y el expresidente de la Reserva Federal, Alan Greenspan, que con sus políticas de «dinero fácil» se dice que provocó la burbuja de Internet y la crisis de las hipotecas de riesgo.

O’Neil, a pesar de su recelo, llegó pronto. Desde un punta de vista intelectual, en el fondo respetaba aquellas figuras y tenía muchas ganas de conocerlas. En un momento dado de su presentación, Greenspan admitió que le preocupaban aquellos mismos productos financieros que a ella le parecían tan problemáticos:

Recuerdo que miré de reojo a Robert Rubin, que miraba al infinito adrede, y pensé: «Ese tío parece muy incómodo».

Después supimos que era responsable de una cantidad ingente de aquellos productos en Citibank, y que nunca llegaron a librarse de ellos. Eso es lo que se acabó rescatando.

Aquella sesión confirmó las peores sospechas de O’Neil. Primero, era evidente que los productos financieros que se vendían eran matemáticamente inviables. A medida que los fondos de cobertura fueron contratando cada vez más expertos en análisis cuantitativa, fueron surgiendo más productos correlacionados, a pesar de estar basados en información histórica no correlacionada previamente. Pero de aquello podían beneficiarse, y la tendencia inversora empezó a imitar esas correlaciones, con lo cual se afianzaron los vínculos entre mercados no correlacionados previamente. Pero tarde o temprano la realidad rendiría cuentas al truco de la magia matemática.

La segunda sospecha que se confirmó en ese encuentro tenía relación con el rescate financiero del gobierno, que salvó al sector de las finanzas de su dependencia a esos valores tóxicos. Era innegable que había una puerta giratoria entre las instituciones públicas y las empresas financieras privadas y esto evidenciaba que, a un nivel muy elemental, ambas eran amigas y se rescataban mutuamente a costa del resto de la población. «Son mafiosos que utilizan fórmulas», me dice O’Neil. «Usaban la autoridad de lo inescrutable para enriquecerse y hacerse famosos. Pero si te fijas, todavía hoy hay tipos como Larry Summers que van a Davos y la gente aún les hace caso!»

Con estas reflexiones, O’Neil se volvió más pesimista acerca de la toma de decisiones algorítmicas. «Los algoritmos son herramientas que tienen los que mandan para decidir en qué deberían apostar», dice. «Solo los utilizarán si pueden beneficiarse, no para ayudar a nadie».

Este argumento se trata con más profundidad en Armas de destrucción matemática. En el libro, O’Neil cita algunos algoritmos que se usan en el mercado laboral, en bancos y en compañías de seguros, y nos explica de manera muy convincente que se suelen diseñar a medida, en función de los motivos, valores e ideologías de sus creadores, a través de la cura de datos y de la operacionalización de definiciones profundamente específicas acerca de lo que es el éxito. Bajo ningún concepto son herramientas que se utilicen para garantizar la objetividad, y O’Neil describe sucintamente los algoritmos como «opiniones incrustadas en lenguaje matemático»

Podemos encontrar un ejemplo clarísimo de cómo funciona la discriminación algorítmica en el negocio de los seguros. Fijémonos, por ejemplo, en el precio de los seguros de coche, que se suele basar en el sistema de clasificación de una empresa. O’Neil explica en su libro que dichas clasificaciones habitualmente se calculan a partir de factores que no tienen una relación directa con el historial de conducción de una persona, de manera que se penaliza exageradamente a los más pobres. Un caso particularmente indignante lo encontramos en el estado de Florida, donde un estudio publicado por la revista Consumer Reports en 2015 descubrió que adultos con un historial de conducción impecable y con ingresos bajos pagaban una media de 1.552 dólares anuales más que los conductores con ingresos altos y condenas por conducir bajo los efectos del alcohol.

Durante nuestra entrevista, le hablo del caso de los seguros contra inundaciones en zonas propensas a inundarse, que cada vez son más debido a la combinación del cambio climático y la urbanización por doquier. «Es un buen ejemplo», responde:

A medida que el Big Data (datos masivos) y las predicciones vayan mejorando cada vez más, las compañías de seguros tendrán la capacidad de determinar que esta casa tiene muy pocas probabilidades de inundarse, mientras que aquella otra tiene muchas más. Inmediatamente, la prima del seguro de las casas más propensas a inundarse se incrementará tanto que no la podrá pagar nadie, y el resultado final será que solo las personas que no necesitan un seguro serán las únicas capaces de pagarlo, con lo cual el sentido de contratar un seguro se pierde totalmente. Y lo mismo ocurrirá con la cobertura sanitaria en los EEUU cuando Trump y los republicanos eliminen la cláusula del Affordable Care Act (Ley de Protección y Cuidados del Paciente) que protegía a la gente con dolencias previas a la contratación de un servicio médico.

Otro nudo en el estómago. La idea de usar algoritmos para clasificar a la gente como «no asegurable» es digna de una distopía de ciencia-ficción burda, pero es el mecanismo básico que utiliza la industria de los seguros hoy en día. En un mundo acelerado marcado por la ascensión de políticos autoritarios y la proliferación de desastres naturales provocados por el cambio climático, no es difícil imaginar que los gobiernos recurran a las mismas herramientas para decidir a quién vale la pena proteger y a quién no, y quién puede tener acceso a los servicios básicos y quién tiene que espabilarse por su cuenta.

Pero los algoritmos también se pueden utilizar con buenas finalidades, sugiero yo. «Teóricamente, los algoritmos nos podrían ayudar a solucionar problemas», responde O’Neil. «El problema es quién es el propietario y qué predicciones hacen. Seamos generosos y hagamos un experimento de pensar. Qué podría salir bien? »

Le hablo de la crisis del agua en Ciudad del Cabo. Entre los años 2015 y 2017, la ciudad sudafricana sufrió una enorme sequía que puso sus reservas en peligro. Los funcionarios del gobierno se vieron obligados a planear el «Día Cero», cuando el gobierno municipal tendría que cortar el agua de los grifos y depender de centros de distribución de agua para abastecer a los ciudadanos con 25 litros de agua diarios por persona. Los algoritmos tendrían un papel fundamental sobre la decisión de dónde y cómo se podría garantizar que todos los ciudadanos tuvieran acceso al agua, así como de qué tipo de usos se deberían incentivar o penalizar. Pero al mismo tiempo se llevarían a cabo evaluaciones de riesgo algorítmico para identificar a los barrios más conflictivos con antecedentes de protestas y actividades de bandas criminales, y así desplegar las Fuerzas Armadas de Sudáfrica y agentes de policía en dichas zonas.

«Es totalmente lógico que pensemos en todo esto», responde ella:

Si tienes suficiente agua, es evidente que las preguntas importantes que debes hacerte son cómo distribuirla equitativamente y cómo evitar que surja un mercado negro. No los culpo por plantearse estas situaciones, pero me gustaría pensar que el objetivo primordial es asegurarse de que todo el mundo tenga agua. A fin de cuentas, los algoritmos no pueden decidir cómo reaccionamos al cambio climático. Es pura política.