Injustícia algorítmica

Un oficial de la RAF amb els ulls embenats i una infermera participant en una cursa. Rang du Fliers, 1918 | Imperial War Museum | Domini públic

Mary Bollender és una mare soltera de Las Vegas amb problemes econòmics. Un matí del 2014, en trobar malalta la seva filla de deu anys, amb una febre alta persistent, la Mary va decidir agafar el cotxe i portar-la a urgències. Però no va poder fer-ho perquè el seu cotxe no funcionava. No és que estigués avariat ni que no tingués prou gasolina. El banc havia desactivat el motor del cotxe remotament en observar que la Mary s’havia endarrerit tres dies a pagar el préstec. Així que pagués, el cotxe tornaria a funcionar. Per desgràcia, la Mary no podia pagar aquell matí.

A mesura que la nostra societat esdevé més complexa i la digitalització de dades personals es fa més i més massiva, ens trobarem cada vegada més casos com els de Mary Bollender: decisions automatitzades basades a recollir de manera sistemàtica les nostres dades personals i amb efectes negatius per a la nostra vida. Els algoritmes que ordenen les notícies dels nostres amics de Facebook o que ens recomanen pel·lícules a Netflix són també els algoritmes que decideixen si el banc ens donarà un préstec o no, si un detingut pot sortir sota fiança, si ens mereixem una beca postdoctoral o si estem a l’alçada perquè ens contracti una empresa.

Aquests programes d’ordinador, aquests algoritmes, no són resultat d’una anàlisi i un desglossament del problema per part de programadors humans, que donen instruccions precises a un ordinador. Aquests programes són fruit de complexes operacions matemàtiques desenvolupades automàticament que busquen correlacions i patrons útils en un oceà de dades digitalitzades. No són com una recepta de cuina en què se’ns diu quins ingredients necessitem i ens desglossen pas a pas com utilitzar-los. S’assembla més aviat a «obre la nevera, mira què hi ha, busca per la cuina a veure quins estris pots utilitzar i preparar-me un dinar per a sis persones.» Aquest tipus d’algoritmes, que no estan dissenyats de manera explícita per un programador, es coneixen com a «aprenentatge automatitzat» (machine learning).

Els algoritmes que actualment processen si una persona podrà retornar o no el crèdit que està demanant a un banc funcionen així. La programadora de l’algoritme recull una base de dades de persones que han demanat un crèdit anteriorment i hi inclou tot tipus de dades: sexe i edat de la persona, si va retornar tot el crèdit o no, si es retardava en els pagaments i amb quina freqüència, quin sou mitjà tenia, quant pagava a hisenda, en quina ciutat i barri vivia, etc. L’algoritme aplica una sèrie de fórmules estadístiques a aquestes dades i acaba generant uns patrons que li permeten estimar la probabilitat que un nou client potencial acabi retornant el préstec o no. Aquests algoritmes es desenvolupen normalment amb la fiabilitat com a únic criteri. El programa és prou bo per substituir un humà? Doncs, endavant.

Establir-ne la fiabilitat és una mica complicat. Desenvolupar un algoritme automatitzat realment fiable té tant de ciència com d’art. Inevitablement, quan pensem en programes d’ordinador i intel·ligència artificial, tendim a antropomorfitzar-los i imaginar que segueixen trens de pensament semblants als nostres. Però, en realitat, no és així. Un algoritme automatitzat no analitza els exemples que li donem i intenta establir algun tipus de connexió causal, raonable, entre les dades i el resultat final. L’algoritme no en sap res, de gènere, edat, condicions econòmiques, atur, etc. Simplement hi ha un reguitzell de nombres i intenta trobar-hi patrons que li permetin encertar el major nombre de vegades.

I és aquí on apareix el problema. Un programa tradicional, desenvolupat per un humà, segueix una lògica, de manera que és possible entendre què està fent aquell programa. Un algoritme automatitzat és com una caixa negra. Li donem una entrada (les dades de la persona que demana el crèdit) i ens dóna una sortida (la probabilitat que torni el crèdit o no). És molt complex ─o pràcticament impossible─ saber per què el programa ha decidit rebutjar o acceptar un crèdit.

A la dècada dels vuitanta, l’exèrcit americà va encarregar a uns científics que desenvolupessin un sistema automàtic de reconeixement d’imatges per poder detectar en temps real tancs camuflats. Els científics van demanar als militars una bona col·lecció de fotos organitzades en parells: l’una d’un lloc sense tanc, l’altra del mateix lloc, però amb un tanc camuflat, perquè així un algoritme automatitzat fos capaç d’establir una sèrie de criteris per localitzar un tanc. El programa va funcionar especialment bé.

Tenia una fiabilitat del cent per cent. De fet reconeixia tancs que estaven tan ben camuflats que un humà no sabia reconèixer-los. Això va sorprendre molt els investigadors, i van decidir analitzar quins criteris estava seguint l’algoritme. Després d’examinar en detall les fotos i l’algoritme, es van adonar que, en realitat, el programa no reconeixia tancs ni res de semblant. Diguem que els militars van fer les fotos dels llocs sense tanc al migdia. Les fotos amb tanc camuflat es van fer a les sis de la tarda. Així, l’algoritme, per decidir si hi havia tanc o no, l’únic que feia era mirar la posició del sol.

Un cotxe Waymo sense conductor | Grendelkhan, Wikimedia Commons | CC BY-SA 4.0

Ens agrada imaginar que els cotxes autònoms guiats amb algoritmes tenen algun tipus de comprensió del que és una carretera, un semàfor, un pas de vianants, un ciclista, un altre automòbil, etc., però l’únic que fan són versions més sofisticades de la història dels tancs. El seu aprenentatge és molt contextualitzat i depèn completament de com respon l’entorn en què aquests algoritmes es van entrenar. En tractar-se de caixes negres, mai no podrem saber amb seguretat com reaccionarà un cotxe autònom si el context és prou diferent de l’original en el qual es va entrenar l’algoritme.

Amb prou entrenaments en contextos molt variats, podem disposar d’algoritmes realment fiables i robustos. Però hi continua havent un problema encara més insidiós. El de la justícia. En no estar basats aquests algoritmes en un coneixement pròpiament dit de l’entorn, sinó a establir regularitats contextuals, basades en un nombre finit de dades, cap algoritme no considerarà reactivar el cotxe de Mary Bollender perquè pugui portar la seva filla al metge. És un algoritme que només sap qui ha pagat les quotes i qui no. En un barri amb un alt nivell de pobresa, la taxa de morositat és molt més elevada. Un tant per cent elevat de mares solteres tendeixen a retardar-se en els pagaments d’hipoteques i préstecs. Un algoritme automatitzat sens dubte denegaria un préstec a una mare soltera d’aquest barri empobrit. La decisió seria sens dubte estadísticament correcta. Però, seria justa? Volem viure en un món en el qual decisions rellevants per a la nostra vida es basin en regularitats estadístiques dependents del context?

Els desenvolupaments actuals d’algoritmes automatitzats de la intel·ligència artificial necessiten les humanitats. Cal definir infraestructures perquè enginyers i humanistes hi col·laborin. Ens cal establir un llenguatge comú. Que sociòlegs, antropòlegs, filòsofs, artistes, entenguin els mecanismes bàsics de com funciona tota aquesta nova família de programes i que els enginyers informàtics pensin en com adequar principis ètics, de convivència, justícia i solidaritat en el desenvolupament de nou programari. Potser algun dia arribarem a desenvolupar aquesta superintel·ligència artificial que tant preocupa Elon Musk. Ara mateix ens hauria d’amoïnar molt més com programes ja existents poden amplificar els biaixos racistes, xenòfobs i sexistes que hi ha a la nostra societat.