Injusticia algorítmica

Un oficial de la RAF con los ojos vendados y una enfermera participando en una carrera. Rang du Fliers, 1918 | Imperial War Museum | Dominio público

Mary Bollender es una madre soltera de Las Vegas con problemas económicos. Una mañana de 2014, al encontrarse enferma su hija de diez años, con una fiebre alta persistente, Mary decidió tomar el coche y llevarla a urgencias. Pero no pudo porque su coche no funcionaba. No es que estuviera averiado ni que no tuviera suficiente gasolina. El banco había desactivado el motor del coche remotamente al observar que Mary se había retrasado tres días en el pago del préstamo. Una vez pagara, el automóvil volvería a funcionar. Desgraciadamente, Mary no podía pagar aquella mañana.

A medida que nuestra sociedad se hace más compleja y la digitalización de datos personales se vuelve más y más masiva, nos encontraremos cada vez más casos como los de Mary Bollender: decisiones automatizadas basadas en recopilar de forma sistemática nuestros datos personales y con efectos negativos para nuestra vida. Los algoritmos que ordenan las noticias de nuestros amigos de Facebook o que nos recomiendan películas en Netflix son también los algoritmos que deciden si el banco nos dará o no un préstamo, si un detenido puede salir bajo fianza, si nos merecemos una beca posdoctoral o si estamos a la altura para que nos contrate una empresa.

Estos programas de ordenador, estos algoritmos, no son resultado de un análisis y desglose del problema por parte de programadores humanos, que dan instrucciones precisas a un ordenador. Estos programas son fruto de complejas operaciones matemáticas desarrolladas automáticamente que buscan correlaciones y patrones útiles en un océano de datos digitalizados. No son como una receta de cocina en la que se nos dice qué ingredientes necesitamos y nos desglosan paso a paso cómo utilizarlos. Se parece más bien a «abre la nevera, mira qué hay, trastea por la cocina a ver qué cacharros puedes utilizar y prepárame una comida para seis personas.» Este tipo de algoritmos, que no están diseñados de forma explícita por un programador, se conocen como «aprendizaje automatizado» (machine learning).

Los algoritmos que actualmente procesan si una persona podrá o no devolver el crédito que está pidiendo a un banco funcionan así. La programadora del algoritmo recopila una base de datos de personas que han pedido un crédito anteriormente e incluye todo tipo de datos: sexo y edad de la persona, si devolvió todo el crédito o no, si se retrasaba en los pagos y con qué frecuencia, cuál era su sueldo medio, cuánto pagaba a hacienda, en qué ciudad y barrio vivía, etc. El algoritmo aplica una serie de fórmulas estadísticas a esos datos y acaba generando unos patrones que le permiten estimar la probabilidad de que un nuevo cliente potencial acabe devolviendo el préstamo o no. Estos algoritmos se desarrollan normalmente con la fiabilidad como único criterio. ¿El programa es suficientemente bueno como para substituir a un humano? Pues adelante con él.

Establecer la fiabilidad es algo complicado. Desarrollar un algoritmo automatizado realmente fiable tiene tanto de ciencia como de arte. Inevitablemente, cuando pensamos en programas de ordenador e inteligencia artificial, tendemos a antropomorfizarlos e imaginar que siguen trenes de pensamiento parecidos a los nuestros. Pero, en realidad, no es así. Un algoritmo automatizado no analiza los ejemplos que le damos e intenta establecer algún tipo de conexión causal, razonable, entre los datos y el resultado final. El algoritmo no sabe nada de género, edad, condiciones económicas, paro, etc. Simplemente tiene una ristra de números e intenta encontrar patrones que le permitan acertar el mayor número de veces.

Y aquí es donde aparece el problema. Un programa tradicional, desarrollado por un humano, sigue una lógica, con lo que es posible entender qué está haciendo ese programa. Un algoritmo automatizado es como una caja negra. Le damos una entrada (los datos de la persona que pide el crédito) y nos da una salida (la probabilidad de que devuelva o no el crédito). Es muy complejo ─o prácticamente imposible─ saber por qué el programa ha decidido rechazar o aceptar un crédito.

En la década de los ochenta, el ejército estadounidense encargó a unos científicos que desarrollaran un sistema automático de reconocimiento de imágenes para poder detectar en tiempo real tanques camuflados. Los científicos pidieron a los militares una buena colección de fotos organizadas en pares: una de un lugar sin tanque, la otra del mismo lugar, pero con un tanque camuflado, para que así un algoritmo automatizado fuera capaz de establecer una serie de criterios para localizar un tanque. El programa funcionó especialmente bien.

Su fiabilidad era del cien por cien. De hecho reconocía tanques que estaban tan bien camuflados que un humano no sabía reconocerlos. Ello sorprendió mucho a los investigadores, y decidieron analizar qué criterios estaba siguiendo el algoritmo. Después de examinar en detalle las fotos y el algoritmo, se dieron cuenta de que, en realidad, el programa no reconocía tanques ni nada parecido. Digamos que los militares hicieron las fotos de los lugares sin tanque al mediodía. Las fotos con tanque camuflado se hicieron a las seis de la tarde. Así, el algoritmo, para decidir si había tanque o no, lo único que hacía era mirar la posición del sol.

Un coche Waymo sin conductor | Grendelkhan, Wikimedia Commons | CC BY-SA 4.0

Nos gusta imaginarnos que los coches autónomos guiados con algoritmos tienen algún tipo de comprensión de lo que es una carretera, un semáforo, un paso de peatones, un ciclista, otro automóvil, etc., pero lo único que hacen son versiones más sofisticadas de la historia de los tanques. Su aprendizaje es muy contextualizado y depende completamente de cómo responde el entorno en el que esos algoritmos se entrenaron. Al tratarse de cajas negras, nunca podremos saber con seguridad cómo reaccionará un coche autónomo si el contexto es suficientemente diferente del original en el que se entrenó el algoritmo.

Con suficientes entrenamientos en contextos muy variados, podemos disponer de algoritmos realmente fiables y robustos. Pero sigue habiendo un problema aún más insidioso. El de la justicia. Al no estar basados esos algoritmos en un conocimiento propiamente dicho del entorno, sino en establecer regularidades contextuales, basadas en un número finito de datos, ningún algoritmo considerará reactivar el automóvil de Mary Bollender para que pueda llevar a su hija al médico. Es un algoritmo que solo sabe quién ha pagado las cuotas y quién no. En un barrio con un alto nivel de pobreza, la tasa de morosidad es mucho más elevada. Un tanto por ciento elevado de madres solteras tienden a retrasarse en los pagos de hipotecas y préstamos. Un algoritmo automatizado sin duda denegaría un préstamo a una madre soltera de ese barrio empobrecido. La decisión sería sin duda estadísticamente correcta. Pero, ¿sería justa? ¿Queremos vivir en un mundo en el que decisiones relevantes para nuestra vida se basen en regularidades estadísticas dependientes del contexto?

Los desarrollos actuales de algoritmos automatizados de la inteligencia artificial necesitan de las humanidades. Hay que definir infraestructuras para que ingenieros y humanistas colaboren. Necesitamos establecer un lenguaje común. Que sociólogos, antropólogos, filósofos, artistas, entiendan los mecanismos básicos de cómo funciona toda esta nueva familia de programas y que los ingenieros informáticos piensen en cómo adecuar principios éticos, de convivencia, justicia y solidaridad en el desarrollo de nuevo software. Quizás algún día alcanzaremos a desarrollar esa superinteligencia artificial que tanto preocupa a Elon Musk. Ahora mismo debería preocuparnos mucho más cómo programas ya existentes pueden amplificar los sesgos racistas, xenófobos y sexistas existentes en nuestra sociedad.