Biaix en bucle: alimentant la injustícia algorítmica

Per evitar que els algoritmes basats en l’aprenentatge automàtic perpetuïn desigualtats socials és necessari un debat públic sobre quins problemes es poden automatitzar.

Loop the Loop, Coney Island, N.Y.

Loop the Loop, Coney Island, N.Y. Autor desconegut, 1905 | Library of Congress | Domini públic

El problema d’utilitzar algoritmes basats en l’aprenentatge automàtic és que si aquests sistemes automatitzats són alimentats amb exemples de justícia esbiaixada, acabaran perpetuant aquests biaixos. Per als defensors acèrrims de la tecnologia, això es podria resoldre amb més algoritmes que detectin i eliminin els biaixos de manera automàtica. Però és necessari, d’una banda, tenir en compte que la tecnologia no és neutral, sinó que és una eina en mans d’humans, i, de l’altra, que l’ús d’un sistema esbiaixat per fer un càlcul de probabilitats generarà sempre un resultat també esbiaixat, que s’aplicarà al món i crearà més desigualtats, la qual cosa generarà un bucle força problemàtic. És necessari, doncs, que el debat sobre les decisions que poden extreure’s de les dades tingui en compte els drets i llibertats dels humans.

El solucionisme tecnològic sosté que la immensa majoria de problemes socials i polítics actuals són resultat de la ineficàcia humana. Només una bona injecció de tecnologies digitals pot resoldre’ls. Que hi ha uns nivells de pobresa molt alts a no-sé-quina barriada de Bombai? Doncs donem-los telèfons mòbils, connexió a Internet i un protocol de cadenes de blogs i, màgicament, sortiran emprenedors de sota les pedres i la ciutat recuperarà la prosperitat. La ciutadania confia cada cop menys en la justícia perquè veu diàriament que hi ha jutges que prenen decisions esbiaixades, ja sia per pressions polítiques, ja sia pel seu condicionament ideològic? Fem jutges basats en algoritmes d’aprenentatge automàtic i així la injustícia desapareixerà de la Terra.

Injustícia algorítmica

En una entrada anterior ja vaig parlar dels problemes que pot comportar emprar algoritmes basats en l’aprenentatge automàtic. Breument, el problema és que aquests sistemes automatitzats, si s’alimenten amb exemples de justícia esbiaixada, acaben reproduint i alimentant aquests biaixos. Si, per exemple, als Estats Units les persones d’ascendència africana tenen moltes més probabilitats d’acabar a la presó sense fiança, i entrenem una xarxa neuronal amb aquestes dades, l’algoritme acabarà repetint aquesta mena de biaixos.

Els defensors del solucionisme tecnològic refuten aquests arguments dient que els biaixos que deriven en injustícies, com ara que es discriminin certes races en un tribunal, no els han pas fet les màquines: són resultat de l’acció humana. Els algoritmes són com els ganivets: no són ni bons ni dolents, ni justos ni injustos. Qui és justa o injusta és la persona que els aplica. En el pitjor dels casos, els algoritmes es limiten a mantenir la injustícia existent, que és resultat exclusiu d’accions humanes. La solució per a possibles algoritmes injustos són més algoritmes que detectin i eliminin desigualtats i biaixos de manera automàtica.

Quasi unànimement, els defensors del solucionisme tecnològic acaben les declaracions demanant que els deixin treballar tranquils: el públic general no entén com funciona la intel·ligència artificial; la gent es deixa enlluernar per la premsa sensacionalista. Només els experts haurien de decidir quan s’ha d’aplicar un algoritme i quan no.

No consideraré les implicacions que es derivarien de suposar que qüestions com la justícia quedessin exclusivament en mans d’enginyers emprenedors. Aquí voldria mostrar que la resposta dels solucionistes tecnològics bàsicament està equivocada.

The Era of Blind Faith in Big Data Must End - Cathy O’Neil | TED Talk
The Era of Blind Faith in Big Data Must End - Cathy O’Neil | TED Talk

La suposada neutralitat tecnològica

Fixem-nos primer en el fet que la suposada neutralitat de les tecnologies és una simplificació. Qualsevol tecnologia s’ha dissenyat, és a dir, s’ha dut a terme amb una finalitat. I, si bé n’hi ha que poden ser neutres, la majoria de les finalitats tenen una dimensió ètica. Els ganivets en abstracte no existeixen. N’hi ha de molts tipus, i cada un és dissenyat tenint en ment una finalitat concreta. Un bisturí està pensat perquè s’utilitzi a la sala d’operacions. Evidentment, una persona pot fer servir un bisturí per matar-ne una altra, però la finalitat de l’objecte no era aquesta. La guillotina de la Revolució Francesa es va dissenyar amb una altra finalitat, igualment específica: tallar caps humans. Podem imaginar un ús «positiu» de la guillotina, potser per tallar síndries per la meitat, però això seria, clarament, un exercici retòric destinat a demostrar la suposada neutralitat d’una cosa que és de tot menys neutral.

Semblantment, les persones que van dissenyar el programari de Volkswagen perquè semblés que certs models d’automòbils dièsel contaminaven menys del que en realitat contaminaven, van programar un algoritme amb la finalitat clara d’enganyar i estafar la societat civil. La neutralitat brilla per la seva absència.

Algoritmes en un context esbiaixat

La part més problemàtica de l’argument, però, és suposar que introduir algoritmes d’aprenentatge automàtic en un context esbiaixat és una acció que no té conseqüències. Aquesta mena d’algoritmes no comprenen ni modelitzen conceptualment el problema analitzat: es limiten a assignar probabilitats a un resultat a partir d’una anàlisi estadística de la situació actual. Un jutge o una jutgessa pot ser tan esbiaixats com vulguin, però tenen l’obligació d’explicar les raons de la decisió que han pres. Hi ha altres juristes –i també la ciutadania, sí– que tenen dret a analitzar-ne les decisions i a expressar si els semblen correctes o no. El sistema legal de qualsevol país democràtic ofereix vies per apel·lar decisions judicials si es considera que s’han aplicat lleis de forma esbiaixada o impròpia.

How I'm fighting bias in algorithms - Joy Buolamwini | TED Talk
How I'm fighting bias in algorithms - Joy Buolamwini | TED Talk

 

En canvi, quan un algoritme ens indica quina nova sèrie de televisió ens resultarà més interessant; o quan informa una entitat bancària sobre si és bona idea concedir un crèdit a aquella persona; o quan indica si aquella altra fàcilment cometrà més crims i, doncs, és millor empresonar-la preventivament fins que arribi el judici, no indica les raons per les quals proposa el resultat. Senzillament es basa en regularitats anteriors: a un tant per cent elevat de persones que han vist moltes de les sèries que jo també he vist els ha agradat molt aquesta nova sèrie, així que probablement a mi també m’agradarà; més del 70% de les persones d’una edat, estat civil, salari mitjà i barri similars al de la persona que ens demana un crèdit no l’han arribat a retornar mai, per tant és millor que no l’hi concedim, etc.

Aquest gir de procediment crea una nova variable: si emprem un sistema esbiaixat per fer un càlcul de probabilitats, la decisió final que es prendrà també serà esbiaixada. Aquesta decisió esbiaixada s’aplicarà al món real i crearà noves desigualtats; les regularitats estadístiques d’aquest món un xic més desigual seran emprades per l’algoritme com a input per prendre noves decisions, decisions que s’aplicaran al món real, que serà encara un xic més desigual que abans. I, d’aquesta manera, crearem un bucle de retroalimentació problemàtic, en el qual el sistema de mica en mica s’anirà fent més injust, com la guitarra elèctrica que deixem al costat de l’amplificador i genera més i més soroll fins que ens rebenta els timpans.

Debat sobre l’automatització

Afortunadament, hi ha solucions. Necessitem obrir un debat públic per decidir quins processos es poden automatitzar i quins no. En aquest debat és indispensable que hi hagi experts en intel·ligència artificial, però també cal incloure-hi les humanitats, els diferents agents socials i el públic general. I el criteri per determinar si una decisió concreta es pot automatitzar o no en realitat és molt senzill. Només cal que ens demanem: és una decisió que pot extreure’s directament de dades? Per exemple, saber quin és el pes màxim que pot suportar un pont. En aquest cas, podem deixar el tema en mans d’enginyers i enginyeres amb experiència, que segur que saben com es poden optimitzar els algoritmes.

En canvi, si es tracta d’una qüestió en la qual caldrà apel·lar a raons com, per exemple, decidir si una xarxa social està dissenyada de manera que garanteixi el respecte a la diversitat o no, al final de la cadena de decisions cal que hi hagi un equip de persones que, malgrat la possibilitat d’errors, emocions i biaixos ideològics, entenguin que moltes decisions de l’esfera ètica, política i social només poden prendre’s des d’una comprensió holística del que comporta ser humà i de quins són els drets i les llibertats bàsiques de la humanitat. I això és una cosa que no s’obté senzillament a partir de regularitats estadístiques.

Referències

Mathbabe, el blog de Cathy O’Neil, autora de Weapons of Math destruction.

Automating Inequality, de Virginia Eubanks.

«Algorithms and Human Rights», estudi del Consell d’Europa.

Vegeu comentaris0

Deixa un comentari

Biaix en bucle: alimentant la injustícia algorítmica