Orwell en temps de reconeixement facial

La distòpia de George Orwell, «1984», presenta similituds amb el present i avança dilemes ètics encara avui difícils d’abordar.

CC-BY-NC Martín López, 2019

S’acompleixen set dècades de la publicació de 1984, la ficció política més citada de la cultura contemporània. Els avenços en dades massives, vigilància i intel·ligència artificial converteixen la lectura de l’obra en un exercici d’actualitat d’allò més inquietant. Amb motiu del Dia Orwell, que des del 2013 se celebra al CCCB, rellegim la novel·la a la llum d’una mirada nova. Hi trobem similituds amb el present més immediat i dilemes ètics encara avui difícils d’abordar.

El 8 de juny del 2019 es van complir setanta anys de la publicació de 1984, la novel·la distòpica per excel·lència. Escrita per Eric Arthur Blair, nom real de George Orwell, descriu una societat futura en la qual un règim totalitari controla tots els aspectes de la vida a través de la vigilància continuada. Un escenari dantesc que va tenir molt d’impacte en plena Guerra Freda, però que perviu per la inspirada capacitat d’anticipar fenòmens com la postveritat, la videovigilància i, de manera més subtil, formes d’aprenentatge de màquines i intel·ligència artificial.

El rastre de les emocions

A l’esquena de Winston, la veu de la telepantalla continuava mormolant dades sobre lingots de ferro i el compliment del Novè Pla Triennal. La telepantalla rebia i transmetia alhora. Qualsevol so que fes Winston superior al més baix dels murmuris era captat per l’aparell. Més encara, mentre s’estigués dins el camp de visió controlat per la placa de metall, podia ser vist alhora que escoltat. No cal dir que era impossible saber si un era controlat en un moment donat. L’única possibilitat era endevinar la freqüència i el sistema que feia servir la Policia del Pensament per controlar una línia privada. Fins i tot era concebible que vigilessin tothom en qualsevol moment. Però, fos com fos, podien intervenir-te la línia sempre que els vingués de gust. Calia viure assumint –i en això l’hàbit esdevenia instint– que qualsevol so que fessis seria detectat. I que, menys en la foscor, cada moviment seria escrutat.[1]

George Orwell va escriure 1984 a l’illa de Jura, a Escòcia, entre 1947 i 1948. A mitjan segle xx la televisió encara era un mitjà minoritari, i les càmeres de videovigilància no van comercialitzar-se als Estats Units fins al 1949, escassament un any abans de la mort de l’escriptor. Això no obstant, la novel·la vaticina una proliferació massiva de pantalles, que encara avui s’estén, dels multicines als rellotges intel·ligents. Les telepantalles de 1984 –vagament descrites com «una placa oblonga de metall, una mena de mirall entelat»– són aparells bidireccionals, que emeten missatges però que alhora capten els sons i les expressions facials més subtils. Dispositius ubics i implacables, que registren d’«una inconscient mirada d’inquietud» a un tic nerviós o, fins i tot, un soroll intestinal.

A pesar que els recels vers la videovigilància no són nous, és sorprenent contrastar com els desenvolupaments recents en el camp de la intel·ligència artificial ens acosten a escenaris com els descrits a 1984. Els més evidents són els dels sistemes de reconeixement facial, programes informàtics capaços d’identificar una persona en imatges o vídeos i associar-ne el rostre a bases de dades preexistents, com ara fitxers policials, hàbits de consum a Internet, publicacions en xarxes socials, etc. Una tecnologia que és legal, barata i accessible, tal com va demostrar un reportatge de The New York Times en què un dels editors construïa un sistema d’aquest tipus, plenament funcional, per tot just setanta dòlars.

La por del potencial d’aquestes eines ja ha menat la ciutat de San Francisco a prohibir-ne l’ús a la policia i a altres institucions públiques. «Podem tenir una bona vigilància sense ser un estat policial», va argumentar Aaron Peskin, el polític que va abanderar l’aplicació de la mesura, «i basar la confiança en una bona informació comunitària, no pas en la tecnologia del Gran Germà». Un debat que queda lluny en altres parts del món, com ara a la Xina, on el govern de Xi Jinping assenta les bases per a un control quasi universal.

CC-BY-NC Martín López, 2019

Del Gran Timoner al Gran Germà

Si bé el reconeixement facial i altres tecnologies comencen a ser qüestionades als Estats Units, a la Xina se’n fa un ús que s’està tornant pertorbador. Els progressos en dades massives i intel·ligència artificial, combinats amb l’extensa xarxa de càmeres de videovigilància ja presents al país, són un camp adobat per al testatge i la implementació d’experiments avançats de control social. El més emblemàtic és l’anomenat Sistema de Crèdit Social. Encara en període de prova, aspira a combinar tota la informació personal i de comportament de la població i de les empreses per assignar-los un grau de confiança, que després pot augmentar o reduir-se. Donar diners a una ONG suma punts, igual que cuidar persones grans o deixar en bon estat l’habitació d’un hotel. En canvi, no pagar una multa els resta, igual que comportar-se malament al transport públic o fumar en un hospital.

Tenir un bon crèdit social pot comportar tenir descomptes en les factures o poder usar certs serveis sense haver de deixar fiança, per exemple. Un crèdit social baix, en canvi, pot penalitzar-se amb un accés limitat a préstecs bancaris o a bones escoles per a la família, entre moltes altres possibilitats. En el pitjor dels casos, i per a aquells comportaments que el govern consideri especialment perjudicials, es pot entrar en una llista negra amb més restriccions, com ara no poder comprar bitllets d’avió o no poder adquirir una propietat. Com s’ingressa en aquestes llistes i com se’n surt és una incògnita, sobretot considerant que el sistema judicial xinès no és independent en termes d’estàndards internacionals. Per aquesta raó hi ha persones que es troben en culs-de-sac legals, amb la sensació que, parafrasejant Winston Smith, el protagonista de 1984, «no hi ha res il·legal, perquè les lleis no existeixen».

Les veus defensores del Sistema de Crèdit Social argumenten que, en realitat, recompensa les persones i les empreses que contribueixen al bé social. Ara bé: la mera existència d’un dispositiu d’aquesta magnitud implica una recollida massiva de dades que necessàriament envaeix totes les facetes de la vida personal. Una compilació de d’informació que combina registres governamentals previs, rastrejos per part d’empreses proveïdores d’Internet i sistemes de vigilància cada cop més sofisticats, entrenats per reconèixer rostres, veus i fins i tot els andamis de la població.

La presó perfecta

Malgrat que la novel·la d’Orwell no descriu un sistema de reputació com el xinès, sí que planteja un futur en el qual, a més de castigar les infraccions, es premia la correcció social. Per exemple, és bo celebrar les victòries del Gran Germà, delatar els traïdors, mostrar odi públic vers l’enemic o unir-se a la Lliga Anti-Sex. Si tothom té «la seguretat que qualsevol soroll emès serà registrat i escoltat per algú», l’única forma de sobreviure és modificar la manera d’actuar, tant en l’àmbit públic com en el privat.

Entre els autors que han estudiat els efectes socials de la vigilància destaca Michel Foucault, que durant els anys setanta va revisar el concepte de «panòptic». El panòptic, recordem-ho, és una estructura arquitectònica per a presons ideada per Jeremy Bentham que permet que els vigilants observin els presos en tot moment. Aquests, al seu torn, viuen amb la consciència que són examinats, però no saben mai exactament quan. Per a Foucault, aquesta construcció és l’exemple de sistema disciplinari perfecte, la filosofia del qual s’ha estès a tota la societat gràcies a institucions correctives com escoles o hospitals. La societat panòptica aïlla les persones per analitzar-les individualment i de manera constant; un mecanisme que permet «veure-hi constantment i reconèixer immediatament». L’efecte més destacat que té és que indueix la persona a «un estat conscient i permanent de visibilitat que assegura el funcionament automàtic del poder». Com en el cas d’un pres, «el que és essencial és que se sàpiga vigilat; massa vigilat, tot i que no hagi de ser-ho efectivament».

No cal afegir gaire res més a les paraules de Foucault, vistes des de la perspectiva de 1984, un relat que centra la tensió narrativa en una sensació de control asfixiant. Desgraciadament, tampoc no és gens difícil trobar paral·lelismes entre aquesta obra i un món que ja coneix les revelacions d’Edward Snowden. Recordem que el 2013 aquest exanalista de l’agència de seguretat dels Estats Units va confirmar la sospita que el seu govern i altres països havien recopilat dades de milers de milions de persones de manera massiva, incloent-hi comunicacions de caps d’estat.

CC-BY-NC Martín López, 2019

Sospites de futur

Tot i que Orwell va ser un autor reconegut en vida, no va viure prou per veure l’èxit de la seva darrera novel·la. Va morir de tuberculosi a Londres el 1950, tot just uns quants mesos després que l’obra es publiqués. Això també li va impedir de comprovar que algunes de les prediccions que havia fet s’acosten cada cop més a la realitat. A més de viure envoltats de telepantalles, els personatges de la novel·la treballen amb un parlaescriu, un aparell al qual es dicten textos, semblant als sistemes actuals de reconeixement de la veu. L’autor fins i tot va intuir la creativitat automatitzada, il·lustrada per ginys com el versificador, que combina rimes per crear cançons sense intervenció humana.

Curiosament, tant les invencions com els escenaris ideats per Orwell tenen relació amb l’ús pervers de màquines o amb el seu potencial per anul·lar la humanitat. Una por tan ancestral com el mite de Prometeu, però que connecta amb els dilemes provocats per l’acceleració tecnològica actual. En quin moment s’escau que una innovació provoqui un canvi polític i cultural? Tenim en compte l’impacte social de la tecnologia? Quines conseqüències pot tenir una societat completament basada en la comunicació interpersonal?

De 1984, Isaac Asimov va dir-ne que era una novel·la més comentada que no pas llegida. Això només s’esdevé quan un relat esdevé una icona de la cultura popular. Una condició que no sembla que hagi de tenir data de caducitat en el cas d’Orwell, perquè va traçar una bona metàfora dels totalitarismes del segle xx que alhora és útil per analitzar els aspectes més polèmics de la revolució digital.


[1] Traducció de Lluís-Anton Baulenas, 2011.

Vegeu comentaris0

Deixa un comentari

Orwell en temps de reconeixement facial