La IA pot crear un món més just?

Un home en una balança, 1923 | Harris & Ewing, Library of Congress | Sense restriccions conegudes de drets d’autor

L’agost del 2020, estudiants de secundària anglesos es van manifestar pels carrers en contra del sistema automatitzat que l’Oficina de Regulació de Qualificacions i Exàmens (Ofqual) del Regne Unit els havia aplicat als exàmens. Com que els alumnes havien perdut classes, es va demanar als professors que lliuressin una nota estimada a cada estudiant i fessin una classificació comparativa amb la resta de companys del mateix curs del seu centre. L’algoritme d’Ofqual també va tenir en compte el rendiment de l’escola en cada matèria durant els anys anteriors. La idea era que els resultats seguissin un patró similar, i que els estudiants del 2020 no estiguessin en situació d’inferioritat. Però en un 40 % dels casos l’algoritme va acabar rebaixant les avaluacions dels professors, perquè en el càlcul havien pesat menys l’historial de cada alumne i el judici dels docents, i més altres factors externs com la qualitat i l’historial d’aprovats de l’escola. Això va comportar una visible discriminació de les minories ètniques dels entorns més empobrits. D’aquesta manera, als alumnes brillants de centres amb pocs recursos se’ls van abaixar les notes, cosa que va tenir com a conseqüència directa que es quedessin sense plaça per continuar els estudis a la universitat.

La intel·ligència artificial és efectiva per predir patrons i relacions ingents de dades (dades massives o big data), així com per agilitzar processos. Per això es fan servir algoritmes que no sempre són neutres. O perquè les dades amb les quals se’ls ha entrenat tenen biaixos, o perquè se n’han afegit durant el disseny. Tal com recordava David Casacuberta, professor de Filosofia de la Ciència de la UAB, el problema és que els sistemes automatitzats, si són alimentats amb exemples de justícia esbiaixada, acabaran reproduint i potenciant aquests mateixos biaixos. «Si en un país com els Estats Units les persones d’ascendència africana tenen moltes més probabilitats d’acabar a la presó sense fiança, i entrenem una xarxa neuronal amb aquestes dades, l’algoritme acabarà reproduint aquesta mena de biaixos.» N’és una bona demostració la investigació que va liderar el mitjà independent Pro Publica durant dos anys, que va demostrar que l’algoritme COMPAS (Correctional Offender Management Profiling for Alternative Sanctions, Gestió de perfils criminals per a sancions correctives) assignava sempre més probabilitats de cometre crims als acusats negres i hispans en comparació amb els blancs.

Si sabem que els algoritmes poden tenir biaixos, i que aquests biaixos poden causar perjudicis per a persones o per a col·lectius, com és que s’utilitzen? Una resposta podria ser perquè el benefici o encert dels resultats és superior al perjudici o error. Però això és just per a tots els que en surten perjudicats, com ara els estudiants amb la nota devaluada?

No tots els biaixos són negatius

Quan parlem de biaixos, sempre hi pensem en negatiu, però en realitat també poden ser positius. Aquest pensament, doncs, ja és un «biaix del llenguatge». Això passa quan busquem la paritat de gènere o volem fer accions afirmatives per mitigar la discriminació d’un grup de persones (discriminació positiva). Per exemple, quan en una empresa de més de cinquanta treballadors s’exigeix que almenys n’hi hagi un 2 % amb algun tipus de discapacitat.

Un problema intrínsec dels biaixos és que sovint sabem quina direcció hem de prendre per corregir-los, però no fins a quin punt. Per exemple, no és clar que hi hagi d’haver un balanç de gènere en totes les professions. Infermeria pot ser una professió en què les dones han demostrat tenir més empatia amb els malalts, cosa que justificaria que fossin majoria. I pot ser que la distribució correcta no existeixi; potser s’ha d’aconseguir a partir d’un consens social. En el cas d’accions afirmatives, la percepció del biaix positiu pot ser més important que l’acció mateixa. Imaginem-nos, per exemple, que una facultat d’enginyeria vol augmentar la proporció d’estudiants dones, que és només del 20 %, i per això decideix atorgar el 5 % de les vacants (les últimes) únicament a dones, cosa que permetria incrementar anualment la proporció de dones en un 1 %.

Aquest exemple no és hipotètic, sinó que s’ha donat a la Universitat de Xile des del 2014. Actualment, la quota ha augmentat fins al 8 %. Una anàlisi del programa ha demostrat que la diferència entre les dones admeses i els homes que no havien obtingut plaça era una resposta correcta més a l’examen de matemàtiques, cosa que no és estadísticament significativa i, per tant, prova que no hi ha discriminació real. Més encara: en cinc anys, el percentatge ha superat el 30 %, perquè la percepció que és més fàcil obtenir-hi una plaça i que hi haurà més dones ha fet augmentar la quantitat de postulants femenines. És a dir, la percepció de l’acció ha estat més poderosa que l’acció en si. (Hi ha hagut un augment del 7 % de dones, mentre que l’acció sols n’hi afegia un 5 %.) Recentment també s’hi ha sumat un 1 % exclusiu per a maputxes, indígenes nadius. Aquest èxit ara s’ha copiat en quasi totes les facultats d’enginyeria de Xile.

Justícia i transparència algorítmica

De vegades, els biaixos deriven en un reclam de transparència algorítmica per part de la ciutadania, quan es descobreix que el sistema d’IA ha estat injust. Per entendre com va fer-se la predicció o com un algoritme va prendre una decisió es parla d’«explicabilitat», (explainable artificial intelligence). La transparència és un principi ètic reconegut per la Unió Europea en nombrosos documents, com el de les Directrius Ètiques per a una Intel·ligència Artificial fiable. L’objectiu principal és que les persones no estiguem sotmeses als automatismes dels algoritmes en cas de discriminació, en bona mesura pels biaixos que contenen les dades amb què s’entrenen els sistemes d’IA.

Un exemple d’aquests errors seria el del Bonus Social, una compensació econòmica que el govern va prometre el 2018, però que ha estat polèmica. En principi, es pretenia ajudar les famílies més necessitades amb el rebut de la llum. Per fer-ho, les companyies elèctriques comprovaven que els sol·licitants complissin els requisits per mitjà d’una aplicació informàtica (BOSCO) que decidia qui podia ser beneficiari d’aquests ajuts. Davant les nombroses queixes de famílies que objectivament satisfeien els requisits però a les quals se’ls havia denegat la sol·licitud, la fundació ciutadana Civio va demanar de conèixer l’algoritme i el codi font de l’eina, a partir de la Llei de Transparència. «Si no coneixem les entranyes d’aquesta mena d’aplicacions, no podem fiscalitzar la feina dels poders públics», afirmava David Cabo, director de Civio. La idea era saber en quina part del procés hi podia haver errors, i, un cop detectats, fer tot el que fos possible perquè les famílies rebessin la compensació social. Davant la negativa del govern, Civio ha presentat un recurs contenciós-administratiu.

La investigadora de l’Oxford Institute, Sandra Wachter, considera que hauríem de tenir el dret legal de saber per què els algoritmes prenen decisions que ens afecten. Explica que governs, empreses i organitzacions financeres haurien de donar «explicacions contrafàctiques»: «És a dir, si t’han denegat una hipoteca, hauria de ser possible preguntar al banc: “I si guanyés 10.000 euros més a l’any, m’hauríeu concedit el crèdit?”». Però alguns experts com Kate Vredenburgh d’Stanford opinen que aquest tipus d’explicacions també pot tenir biaixos.

Ètica per evitar biaixos

A tall de resum, podríem afegir els principis ètics associats a la IA. N’hi ha desenes, però els més importants en relació amb els biaixos són:

1. Que l’algoritme sigui completament conscient del que fa. Si és així, ha de ser conscient dels seus biaixos i de com els mitiga.
2. L’algoritme ha de ser equitatiu i no ha de discriminar persones. Una de les causes més importants de la iniquitat són els biaixos negatius. Una alternativa per reflectir equitat és que l’algoritme sigui interpretable i/o explicable, i això implica haver-se-les amb els biaixos existents.
3. L’algoritme ha de ser transparent, és a dir, ha de reflectir completament com funciona, exposant si hi ha biaixos en les dades, si n’hi ha d’afegits per l’algoritme o si n’hi ha que s’han produït en la interacció de l’usuari amb el sistema. Si no hi ha prou transparència, l’algoritme ha de ser auditable, perquè així, per exemple, es pugui verificar que no s’hagi discriminat ningú. Cal notar que la transparència s’exigeix per la falta de confiança, perquè en el món anglogermànic sí que es confia en el sistema i s’exigeix, al final, una rendició de comptes.

Encara s’ha de resoldre…

Per acabar, reprenem la pregunta anterior: si fem servir algoritmes tot i saber que estan esbiaixats, per què deixem que prenguin decisions? Una resposta seria que els humans també ens equivoquem quan prenem decisions, i en bona mesura és pels prejudicis que hem adquirit. Els biaixos –i encara més si són cognitius– són com els prejudicis, molt difícils d’identificar. La persona que més prejudicis té és la que creu que no en té cap. Però també ens ho podem mirar des d’una altra perspectiva: els sistemes automatitzats són molt útils en situacions en què els biaixos no són gaire influents, com per exemple en el control aeri. Tenir professionals en tensió durant moltes hores és més perillós que no pas entrenar màquines per a aquestes tasques. No es cansen, estan programades i són més eficients.

Una altra resposta possible és que els algoritmes són més justos que les persones, perquè sempre que es donen les mateixes dades prenen la mateixa decisió. En canvi les persones tenen molt més «soroll», és a dir, les seves decisions són molt més aleatòries. Aquest problema és molt important en la justícia: l’estat d’ànim dels jutges pot ser fins i tot més influent que els biaixos. De fet, Daniel Kahneman, premi Nobel d’economia, ens adverteix, junt amb altres autors, del cost elevat de les decisions incoherents dels humans i del fet que en general els algoritmes són més justos que nosaltres.

Com ens podria ajudar a crear un món més just, la IA? Una solució parcial seria crear un assistent virtual que fes veu de la consciència, capaç d’avisar-nos quan es detecti un prejudici, ja sigui parlant, actuant o jutjant. O que ens avisés quan algú estigués a punt de manipular-los a partir d’algun biaix integrat en un sistema intel·ligent. Ara bé: quants de nosaltres estaríem disposats a acceptar que una màquina –un mòbil o un aparell– escoltés tot el que diem (en privat i en públic) per corregir-nos els prejudicis i els biaixos?