Sesgo en bucle: alimentando la injusticia algorítmica

Loop the Loop, Coney Island, N.Y. Autor desconocido, 1905 | Library of Congress | Dominio público

El solucionismo tecnológico sostiene que la inmensa mayoría de los problemas sociales y políticos actuales son resultado de la ineficacia humana. Solo una buena inyección de tecnologías digitales puede resolverlos. ¿Hay altos niveles de pobreza en tal barriada de Mumbai? Démosles móviles, conexión a Internet y un protocolo de cadenas de bloques y, mágicamente, empezarán a salir emprendedores de debajo las piedras y la prosperidad volverá a la ciudad ¿La ciudadanía confía cada vez menos en la justicia porque ve diariamente cómo jueces toman decisiones sesgadas, ya sea por presiones políticas o por su condicionamiento ideológico? Hagamos jueces basados en algoritmos de aprendizaje automático y la injusticia desaparecerá de la Tierra.

Injusticia algorítmica

En un post anterior hablé ya de los problemas que puede acarrear utilizar algoritmos basados en aprendizaje automático. En síntesis, el problema es que esos sistemas automatizados, si son alimentados por ejemplos de justicia sesgada, acabarán reproduciendo y potenciando esos sesgos. Si en un país como Estados Unidos las personas de ascendencia africana tienen muchas más probabilidades de acabar en la prisión sin fianza, y entrenamos a una red neuronal con esos datos, el algoritmo acabará replicando ese tipo de sesgos.

Los defensores del solucionismo tecnológico refutan tales argumentos de la siguiente manera: los sesgos que resultan en injusticias, como que se discrimine a ciertas razas en un tribunal, no los ha hecho ninguna máquina; son resultado de la acción humana. Los algoritmos son como los cuchillos: no son ni buenos ni malos, justos o injustos. Justa o injusta es la persona que los aplica. En la peor de las situaciones, los algoritmos se limitarán a mantener la injusticia ya existente, resultado exclusivamente de acciones humanas. La solución a posibles algoritmos injustos son más algoritmos que detecten y eliminen desigualdades y sesgos de forma automática.

Casi unánimemente, los defensores del solucionismo tecnológico acaban sus declaraciones con la petición de que los dejen trabajar en paz: el público general no entiende cómo funciona la inteligencia artificial; la gente se deja llevar por la prensa sensacionalista. Solo los expertos deberían decidir cuándo aplicar tal algoritmo y cuando no.

No entraré en las implicaciones de suponer que cuestiones como la justicia queden en manos exclusivamente de ingenieros emprendedores. Aquí me gustaría mostrar que la respuesta de los solucionistas tecnológicos está básicamente equivocada.

La supuesta neutralidad tecnológica

Observemos primero que la supuesta neutralidad de las tecnologías es una simplificación. Cualquier tecnología está diseñada, es decir, se ha llevado a cabo con un fin. Y aunque algunos fines puedan ser neutros, la mayoría tienen una dimensión ética. Los cuchillos en abstracto no existen. Hay muchos tipos de cuchillos, y cada tipo se diseña con un fin concreto en mente. Un bisturí está diseñado para usarse en un quirófano. Evidentemente alguien puede utilizar ese bisturí para matar a otra persona, pero no se diseñó para eso. La guillotina de la Revolución Francesa fue diseñada con una misión muy específica: cortar cabezas humanas. Es posible imaginarse un uso «positivo» de la guillotina, quizás para cortar sandías por la mitad, pero claramente sería un ejercicio retórico para mostrar la supuesta neutralidad de algo que es cualquier cosa menos neutro.

Igualmente, las personas que programaron el software de Volkswagen para que pareciera que ciertos modelos de automóviles diesel contaminaban menos de lo que realmente hacían, estaban diseñando un algoritmo con el fin muy claro de engañar y estafar a la sociedad civil. La neutralidad brilla por su ausencia.

Algoritmos en un contexto sesgado

Pero la parte más problemática del argumento es suponer que introducir algoritmos de aprendizaje automático en un contexto sesgado es una acción sin consecuencias. Ese tipo de algoritmos no tienen ninguna comprensión o modelización conceptual del problema que analizan: se limitan a asignar probabilidades a un resultado a partir de un análisis estadístico de la situación actual. Una jueza o un juez pueden ser todo lo sesgados que quieran, pero están obligados a explicar las razones de su decisión. Otros juristas –y sí, también la ciudadanía– tienen derecho a analizar esas decisiones e indicar si les parecen correctas o no. El sistema legal de cualquier país democrático ofrece vías para apelar decisiones judiciales si se considera que se han aplicado leyes de forma sesgada o impropia.

Por el contrario, cuando un algoritmo nos indica qué nueva serie de televisión nos resultará más interesante, o informa a una entidad bancaria sobre si es una buena idea conceder un crédito a tal persona, o indica si tal otra persona fácilmente cometerá más crímenes y es mejor encarcelarla preventivamente hasta la hora del juicio, no indica las razones por las que propone ese resultado. Simplemente se basa en regularidades anteriores: a un tanto por ciento elevado de personas que vieron muchas de las series que he visto yo les ha encantado esa nueva serie, así que probablemente a mí también me gustará; más del 70% de las personas de una edad, estado civil, sueldo medio y barrio similares a los de quien está pidiendo el crédito acabaron no devolviéndolo, así que seguramente es mejor no dárselo, etc.

Este giro de procedimiento crea una nueva variable: si utilizamos un sistema sesgado para hacer un cálculo de probabilidades, la decisión final que se tome estará también sesgada. Esa decisión sesgada se aplicará al mundo real y creará nuevas desigualdades; las regularidades estadísticas de ese mundo un poco más desigual las utilizará el algoritmo como input para tomar nuevas decisiones, decisiones que se aplicarán en el mundo real, que será un poco más desigual que antes. Crearemos así un problemático bucle de retroalimentación en el que el sistema poco a poco se irá haciendo cada vez más injusto, como esa guitarra eléctrica que dejamos al lado del amplificador y va generando cada vez más ruido hasta que acaba reventándonos los tímpanos.

Debate sobre la automatización

Afortunadamente existen soluciones. Necesitamos abrir un debate público para decidir qué procesos son automatizables y cuáles no. En ese debate sin duda han de estar presentes expertos en inteligencia artificial, pero necesitamos incluir también las humanidades, los diferentes agentes sociales y el público general. Y el criterio para determinar si una decisión concreta es automatizable o no en realidad es sencillo. Solo nos tenemos que preguntar: ¿es una decisión que puede extraerse directamente de datos? Como por ejemplo, cuál es el peso máximo que puede soportar un puente. En ese caso, podemos dejar el tema en manos de ingenieras e ingenieros experimentados, que sabrán como optimizar algoritmos.

Por el contrario, si se trata de una cuestión en la que se van a apelar a razones como por ejemplo decidir si una red social está diseñada de forma que garantice el respeto a la diversidad o no, al final de la cadena de decisiones ha de haber un equipo de personas que, a pesar de sus posibles fallos, emociones y sesgos ideológicos, entiendan que muchas decisiones de la esfera ética, política y social solo pueden tomarse desde una comprensión holística de qué significa ser humano y de cuáles son los derechos y libertades básicas de la humanidad. Algo que no puede surgir simplemente de regularidades estadísticas.

Referencias