«La telepantalla recibía y transmitía al mismo tiempo. Era capaz de captar cualquier sonido que hiciera Winston por encima de un susurro muy bajo; es más, mientras estuviera en el campo de visión dominado por la placa metálica podían verle y oírle. Por supuesto, era imposible saber si te estaban observando o no en un momento dado. Con qué frecuencia o con qué sistema la Policía del Pensamiento encendía la placa de cada cual eran puras conjeturas. Pero en cualquier caso podían conectarse contigo cuando quisieran. Tenías que vivir –y la costumbre acababa por convertirlo en un instinto– dando por sentado que escuchaban hasta el último sonido que hacías y que, excepto en la oscuridad, observaban todos tus movimientos»
Este párrafo de 1984 refleja el espíritu que impregna la obra de George Orwell. Este autor imaginó un mundo en el que no existía la privacidad, en el que un Gran Hermano era capaz de leer tus pensamientos a través de tus actos y de tus palabras. El resultado era que las personas de ese mundo carecían de voluntad. Una mano invisible movía los hilos.
Por supuesto, este era un mundo distópico, algo inconcebible más allá de la ficción. Poco imaginaba el novelista que 75 años después de escribir su relato, sus palabras resultarían de una veracidad escalofriante.
Hoy, existen tecnologías de reconocimiento facial que pueden identificarte en medio de una multitud. Hay tecnologías de reconocimiento de voz que pueden reconocerte entre varias personas hablando a la vez. Los asistentes inteligentes pueden oírte incluso cuando no están activos. En la oscuridad, pueden saber que eres tú, de entre los miembros de tu familia, por cómo pisas al desplazarte por la casa.
La existencia de estas nuevas tecnologías tiene múltiples implicaciones y aplicaciones. Una de las más controvertidas es la seguridad.
¿Libertad o seguridad?
Con las nuevas tecnologías de reconocimiento facial se podrían evitar crímenes antes de que ocurran. Por ejemplo, si la policía tuviera en sus servidores los datos biométricos de un conocido terrorista que no está privado de libertad y las cámaras de seguridad del centro de una gran ciudad localizaran a este individuo, un software podría alertar a las fuerzas del orden para que lo detengan de inmediato, tenga o no intención de realizar un acto de terrorismo.
Sin embargo, este es un caso extremo, sobre un individuo con cuentas pendientes con la justicia, uno de los más buscados por delitos de lesa humanidad. Pero, ¿y si la persona que va a delinquir no está en busca y captura? ¿Se puede predecir un comportamiento indeseable antes de que ocurra? Con la tecnología disponible, sí.
Pongamos por caso un hombre que sufre de ludopatía, y que ha cometido robos cada vez que se ha quedado sin dinero con el que jugar a las tragaperras. Este hombre ya ha cumplido condena y es libre, pero las cámaras con inteligencia artificial detectan que vuelve a jugar. Las cámaras harían un seguimiento de este hombre y avisarían a la policía cuando se estuviera quedando sin dinero para que lo interceptaran a la salida del casino. Aunque no se le pueda procesar, pues todavía no ha cometido delito alguno, este individuo sentirá la sombra de la justicia. La presión de la policía puede disuadirle de delinquir.
Cabe señalar que con esta actuación se estará vulnerando el derecho a la presunción de inocencia del sujeto en pro del mantenimiento de la seguridad del resto de la sociedad. ¿Se pueden supeditar los derechos de ciertas personas a la conservación de la paz social? Desde luego, hay líderes que ya aplican esta estrategia, como Nayib Bukele en El Salvador, donde un hombre con tatuajes puede ir a la cárcel ante la duda de que sea un pandillero. Bukele sabe que entre los muchos delincuentes detenidos habrán algunas personas inocentes, pero es un riesgo que está dispuesto a asumir con tal de conseguir la paz.
En cualquier caso, en este segundo ejemplo, el sujeto sigue siendo un delincuente, alguien que ha tenido un mal comportamiento y que no ha cambiado de actitud tras su paso por la cárcel. Pero vamos un paso más allá. ¿Se puede dirigir el comportamiento de un individuo? Mucho antes de que ni tan siquiera tenga la idea de cometer un delito, ¿se puede modificar su comportamiento y lograr que directamente descarte dicha posibilidad? Con la tecnología disponible, sí.
¿Qué es el carné cívico?
En China se ha instaurado un carné por puntos en el que cada ciudadano es evaluado en función de su comportamiento. Hay un baremo establecido por un algoritmo y cada acción del ciudadano es premiada o castigada en función de si se quiere incentivar o desincentivar dicha actitud.
De esta manera, actos como fumar en un lugar prohibido o cruzar la calle en rojo restan puntos. Por otro lado, realizar actividades de voluntariado o mostrar respeto por los padres suman puntos.
Este sistema está completamente automatizado y el ciudadano no tiene ningún tipo de control sobre él, salvo por los inputs que le ofrece al algoritmo. Esto es posible porque en China un gran porcentaje de la población ha cedido sus datos biométricos para poder realizar sus pagos a través de un software de reconocimiento facial. En una sociedad en la que los billetes y el plástico están desapareciendo, la cara es la nueva moneda.
Pero, ¿qué incidencia tiene este sistema a nivel práctico? Aquellos ciudadanos que no llegan a un porcentaje sobre el total de puntos no pueden acceder a ciertos servicios, como hacer uso de los trenes de alta velocidad o viajar al extranjero. En cambio, los que muestran una buena puntuación pueden conseguir primas de seguro más baratas, acceder a servicios sociales, conseguir puestos en la administración u obtener becas de estudio.
Esta es una forma de manipulación increíblemente sutil. Quien configura el algoritmo dirige el comportamiento del pueblo, como un titiritero con sus marionetas. Así, si a alguien le faltan unos puntos para poder registrarse en un hotel o ir a vivir a un barrio residencial, puede tener la tentación de elogiar al líder en sus redes sociales. El algoritmo tomará nota de ese comportamiento y le sumará los puntos pertinentes. Por supuesto, nadie criticará al líder, sería como hacerse trampas al solitario.
De forma que, progresivamente, el conjunto de la ciudadanía irá mudando su comportamiento hacía los estándares de conducta que el algoritmo premie. Como en la novela de Orwell, las relaciones sociales serán completamente falsas, las conversaciones impostadas. Las personas tendrán un gran ojo detrás de la nuca evaluándolos constantemente.
Al leer sobre este sistema podemos tener la tentación de observarlo como algo exótico del lejano Oriente. Al fin y al cabo, China es un régimen autoritario. Pero, ¿sería posible que las democracias emularan el carné cívico de China?
¿Una sociedad infantilizada?
Por el momento, la Unión Europea ya ha establecido una serie de delitos en los que las fuerzas del orden podrán utilizar las tecnologías de reconocimiento facial. Son todos delitos atroces, pero ya se abre la puerta a ampliar su definición para que quepan en ellos otras investigaciones. Al fin y al cabo, el lenguaje es maleable.
Por otro lado, en el Parlamento Europeo se debate si se debería permitir el acceso a conversaciones privadas de WhatsApp cuando se investiguen delitos como la pederastia. El siguiente paso lógico es que, en un futuro próximo, las autoridades puedan solicitar permiso judicial para acceder a las cámaras de nuestros móviles y ordenadores, o a los registros de voz de nuestro asistente inteligente. Sería algo similar a una orden judicial para interceptar las comunicaciones o registrar una vivienda. Si fuéramos sospechosos en una investigación, podrían acceder a nuestra esfera más privada. Nuevamente, la clasificación de una supuesta conducta delictiva en unos parámetros más o menos graves queda al albur de aquellos que vayan a instruir la causa.
No obstante, de ahí al carné cívico hay un mundo. Un sistema así parece imposible en una democracia. ¿Acaso seríamos tan estúpidos de aprobar su implantación aquí? Pero, ¿Y si las autoridades lo venden como una forma de reducir la criminalidad? Entonces, la cosa cambia. Al fin y al cabo, muchas voces liberales y demócratas elogian la labor de Bukele en El Salvador.
Algunos piensan que no les afectaría, pues no tienen tatuajes ni van afeitados. Volviendo al carné cívico, tal vez mucha gente crea que no tiene nada que ocultar, ya que su comportamiento es bueno, en términos generales.
El problema es que no controlamos el algoritmo. ¿Quién nos dice que dentro de un tiempo no nos penalizarán por subir el volumen de la música en nuestro coche, o por estar un minuto de más en la ducha del gimnasio disfrutando del agua caliente? Todos queremos que vuelva el civismo, pero, ¿de verdad queremos que nos aguante la puerta del ascensor una persona que nos detesta, con una sonrisa fingida, mientras en el fondo maldice su mala suerte por haberse cruzado con nosotros?
Al final, también acabaríamos asumiendo unos comportamientos ajenos a nuestra voluntad, como los personajes de Orwell, como los ciudadanos de China. En el proceso de infantilización de nuestra sociedad, adoptar una herramienta así sería dar un paso más hacia la inmadurez. Seríamos como niños constantemente supervisados, como un cachorro al que hay que enseñarle buen comportamiento.