¿Puede la IA crear un mundo más justo?

Un hombre en una balanza, 1923 | Harris & Ewing, Library of Congress | Sin restricciones conocidas de derechos de autor

En agosto de 2020, estudiantes ingleses de secundaria se manifestaron en las calles en contra del sistema automatizado que la Oficina de Regulación de Calificaciones y Exámenes (Ofqual) del Reino Unido había aplicado en la corrección de sus exámenes. Como los alumnos habían perdido clases, se pidió a los profesores que proporcionaran una nota estimada para cada estudiante, y una clasificación comparativa con el resto de compañeros del mismo curso de su centro. El algoritmo de Ofqual también tuvo en cuenta el rendimiento de la escuela en las distintas materias en los tres años anteriores. La idea era que los resultados siguieran un patrón similar, y que los estudiantes de 2020 no estuvieran en desventaja. Pero el algoritmo acabó rebajando en un 40 % de los casos las evaluaciones de los profesores porque en el cálculo tuvo menos peso el historial de cada alumno y el juicio de los docentes que otros factores externos como la calidad o el historial de aprobados de la escuela. Esto provocó una visible discriminación para las minorías étnicas de entornos más empobrecidos. Así fue como los alumnos brillantes de centros con pocos recursos vieron sus notas devaluadas, con la consecuencia directa de no obtener plaza para continuar sus estudios en la universidad.

La inteligencia artificial es efectiva para predecir patrones y relaciones ingentes de datos (datos masivos o big data), así como para agilizar procesos. Para ello se utilizan algoritmos que no siempre son neutros. Esto se debe, o bien a que los datos con los que son entrenados tienen sesgos, o a que se le han agregado sesgos durante su diseño. Tal como recordaba David Casacuberta, profesor de Filosofía de la Ciencia de la UAB, el problema radica en que los sistemas automatizados, si son alimentados con ejemplos de justicia sesgada, acabarán reproduciendo y potenciando esos mismos sesgos. «Si en un país como Estados Unidos las personas de ascendencia africana tienen muchas más probabilidades de acabar en prisión sin fianza, y entrenamos a una red neuronal con esos datos, el algoritmo acabará replicando ese tipo de sesgos». Y una prueba de ello es la investigación que durante años lideró el medio independiente Pro Publica, hasta demostrar que el algoritmo COMPAS (Correctional Offender Management Profiling for Alternative Sanctions, Gestión de Perfiles Criminales para Sanciones Correctivas) otorgaba siempre una probabilidad más alta de cometer crímenes a los acusados negros e hispanos que a los blancos.

Si sabemos que los algoritmos pueden tener sesgos, y que estos pueden causar perjuicios en las personas o colectivos, ¿por qué se utilizan? Una respuesta podría ser que el beneficio o acierto de los resultados supera a los perjuicios o errores. Pero ¿es esto justo para quienes salen perjudicados, como los estudiantes que ven sus notas devaluadas?

No todos los sesgos son negativos

Cuando hablamos de sesgo, siempre pensamos en negativo, pero también puede ser positivo. Y este pensamiento ya sería un «sesgo de lenguaje». Esto ocurre cuando buscamos la paridad de género o queremos realizar acciones afirmativas para mitigar la discriminación de un grupo de personas (discriminación positiva). Por ejemplo, cuando se exige que en una empresa de más de 50 empleados, como mínimo un 2 % esté en situación de discapacidad.

Un problema intrínseco de los sesgos es que muchas veces sabemos en qué dirección debemos ir para corregirlo, pero no hasta dónde. Por ejemplo, no está claro que deba haber un balance de género en todas las profesiones. Enfermería puede ser una profesión en la que las mujeres han demostrado tener una mayor empatía con los enfermos, lo que justificaría que fueran mayoría. Y la distribución correcta puede no existir, o quizá deba conseguirse a partir de un consenso social. En el caso de acciones afirmativas, la percepción del sesgo positivo puede ser más importante que la acción misma. Supongamos que una facultad de ingeniería quiere aumentar la proporción de estudiantes mujeres, que solo llega al 20 %. Para ello decide otorgar el 5 % de sus vacantes (las últimas) únicamente a mujeres, lo que permitiría incrementar anualmente en un 1 % la proporción del género femenino.

Este ejemplo no es hipotético, sino que ha ocurrido en la Universidad de Chile desde 2014. Actualmente, este cupo ha aumentado al 8 %. Un análisis de este programa ha demostrado que la diferencia entre las mujeres admitidas y los hombres que no habían obtenido plaza era una respuesta correcta más en el examen de matemáticas, lo que no es estadísticamente significativo y por ende no existe una discriminación real. Es más, en 5 años el porcentaje ha superado el 30 % pues la percepción de que es más fácil entrar y de que habrá más mujeres ha aumentado el número normal de postulantes femeninas. Es decir, la percepción de la acción fue más poderosa que la acción misma (un aumento del 7 % mientras que la acción solo añadía un 5 %). Recientemente también se ha agregado un 1 % exclusivo para mapuches (indígenas nativos). Este éxito ahora se ha replicado en casi todas las facultades de ingeniería de Chile.

Justicia y transparencia algorítmica

En ocasiones, los sesgos derivan en reclamo de transparencia algorítmica por parte de la ciudadanía, cuando se descubre que el sistema de IA ha sido injusto. Para entender cómo hizo la predicción o tomó alguna decisión un algoritmo se habla del término «explicabilidad» (explainable artificial intelligence). La transparencia es un principio ético reconocido por la Unión Europea en numerosos documentos, como en las Directrices Éticas para una Inteligencia Artificial fiable. El principal objetivo es que las personas no estemos sometidas a los automatismos de los algoritmos en caso de discriminación, en buena parte por los sesgos que contienen los datos con los que son entrenados los sistemas de IA.

Un ejemplo de estos fallos sería el del Bono Social, una compensación económica que el Gobierno prometió en 2018 pero que ha traído polémica. En principio, se pretendía ayudar a las familias más necesitadas con el recibo de la luz. Para ello, las eléctricas comprueban que los solicitantes cumplen los requisitos por medio de una aplicación informática (BOSCO) que decide quién es beneficiario de estas ayudas. Ante las numerosas quejas de familias que objetivamente cumplían los requisitos pero que veían denegada su solicitud, la Fundación ciudadana Civio pidió conocer el diseño del algoritmo y el código fuente de la herramienta, a partir de la Ley de Transparencia. «Si no conocemos las entrañas de aplicaciones como esta, no podremos fiscalizar el trabajo de los poderes públicos», afirmaba David Cabo, director de Civio. La idea era saber en qué parte del proceso podría haber errores y, una vez detectados, hacer todo lo posible para que las familias recibieran su compensación social. Ante la negativa del Gobierno han presentado un recurso contencioso-administrativo.

La investigadora del Oxford Institute, Sandra Wachter, considera que deberíamos tener el derecho legal de saber por qué los algoritmos toman decisiones que nos afectan. Explica que gobiernos, empresas y organizaciones financieras deberían dar «explicaciones contrafácticas». «Es decir, si te han denegado una hipoteca, que fuera posible preguntar al banco: “¿Si ganara 10.000 euros más al año, me habrían concedido el crédito?”». Pero algunos expertos como que los solicitantes cumplen los requisitos de Stanford opinan que este tipo de explicaciones también pueden tener sesgos.

Ética para evitar sesgos

A modo de resumen, podríamos añadir los principios éticos asociados a la IA. Hay decenas, pero los más importantes relacionados con sesgos son:

1. Que el algoritmo sea completamente consciente de lo que hace. Si es así, tiene que ser consciente de sus sesgos y de cómo los mitiga.
2. El algoritmo debe ser equitativo y no discriminar a personas. Una de las causas más importantes de inequidad son los sesgos negativos. Una alternativa para reflejar equidad es que el algoritmo sea interpretable y/o explicable, y esto implica lidiar con los sesgos existentes.
3. El algoritmo debe ser transparente, es decir, reflejar completamente cómo funciona, incluyendo si hay sesgos en los datos, si hay sesgos que el algoritmo añade o si hay sesgos producidos en la interacción del usuario con el sistema. Si no hay suficiente transparencia, el algoritmo debe ser auditable para, por ejemplo, verificar que no se haya discriminado a nadie. Cabe señalar que la transparencia se exige por la falta de confianza, ya que en el mundo anglo-germánico confía en el sistema y al final se exige una rendición de cuentas.

Todavía por resolver…

Para terminar, retomamos la pregunta anterior: si utilizamos algoritmos sabiendo que tienen sesgos, ¿por qué dejamos que tomen decisiones? Una respuesta sería que los humanos también nos equivocamos en nuestras decisiones, en buena parte por los prejuicios adquiridos. Los sesgos –y más los cognitivos– son como los prejuicios, muy difíciles de identificar. La persona que más prejuicios tiene es aquella que considera que no tiene ninguno. Pero también lo podemos contemplar desde otra perspectiva: los sistemas automatizados son de gran ayuda en situaciones en las que los sesgos no influyen tanto, como, por ejemplo, en el control aéreo. Tener profesionales muchas horas en tensión es más peligroso que entrenar máquinas para esta tarea. No se cansan, están programadas y son más eficientes.

Otra respuesta es que los algoritmos son más justos que las personas porque toman siempre la misma decisión a partir de los mismos datos. En cambio, las personas tienen mucho más «ruido», es decir, sus decisiones son más aleatorias. Este es un problema muy importante en la justicia, donde el estado de ánimo de los jueces puede influir más aún que sus sesgos. De hecho, Daniel Kahneman, premio Nobel de Economía, junto con otros autores, nos advierte del alto costo de las decisiones inconsistentes de los humanos, y de que por lo general los algoritmos son más justos.

¿Cómo podría ayudarnos la IA a crear un mundo más justo? Una solución parcial sería crear un asistente virtual a modo de «Pepito Grillo» que pudiera alertarnos cuando se detecte un prejuicio, ya sea hablando, actuando o juzgando. O que nos avisara cuando alguien estuviera a punto de manipularlos a partir de algún sesgo integrado en un sistema inteligente. Pero… ¿cuántos de nosotros aceptaríamos que una máquina –un móvil o un aparato– escuchara permanentemente lo que decimos (en privado y en público) para corregir estos prejuicios y sesgos?