Democracia algorítmica: consideraciones éticas sobre la dataficación de la esfera pública

Introducción

En el relato mitológico The Lord of the Ring (1947), el profesor de Lengua y Literatura antiguas de la Universidad de Oxford, John Ronald Reuel Tolkien utilizó la idea del anillo único o anillo de poder como metáfora del discurso embaucador, seductor y adictivo utilizado por el fascismo durante el periodo de entre guerras para hacer visible cómo la aceptación acrítica de este tipo de arengas produce un campo de distorsión de la realidad con efectos muy perniciosos para la sociedad del momento. Como afirmaba Tolkien, “Un Anillo para gobernarlos a todos. Un Anillo para encontrarlos, un Anillo para atraerlos a todos y atarlos en las tinieblas” (Tolkien, 1947). Es decir, fascinada por su poder y embriagada por sus capacidades y sus posibilidades de aplicación a corto plazo, la gente acababa aceptando el anillo sin pensar en las desastrosas consecuencias a medio y largo plazo.

Curiosamente, la sociedad actual asiste impávida y acrítica a un fenómeno análogo al Anillo de poder descrito por Tolkien: la colonización algorítmica del mundo de la vida. Es decir, la sociedad actual asiste a un intento extremadamente sutil, sofisticado y deshumanizado de imponer imperativos sistémicos a los distintos componentes estructurales del mundo de la vida -cultura, sociedad y personalidad- para controlarlos y dominarlos[1]. En este caso, se trata de la tendencia -por imposición tecnológica y económica- a la dataficación, algoritmización e hiperconectivización de todas las esferas de las relaciones humanas y que está transformando los procesos productivos, educativos, asistenciales, comunicativos, selectivos, decisorios y democráticos, no siempre para mejor.

Esta tendencia ha sido posible gracias a la potencialidad del Internet de las Cosas (IoT)[2], cuyo desarrollo ha permitido la convergencia de las diversas y versátiles tecnologías de aplicación que lo posibilitan -las Key Enabling Technologies (KET)[3], la Inteligencia Artificial (AI) y el Big Data (BD)- así como el discurso embriagador que acompaña su desarrollo y aplicación en las diferentes esferas de actividad humana[4], impulsando la rápida expansión y aceptación de la hiperconectividad digital por parte del público informado como la ciudadanía en general. Sin embargo, el proceso produce consecuencias inintencionadas -o intencionadas- altamente corrosivas para los usuarios del sistema y la sociedad en general. Como afirma Cathy O’Neil (2016: 16, 20-21), una de las consecuencias negativas de este mundo hiperconectado es que exacerba las desigualdades en todas sus dimensiones, beneficia a los más favorecidos y castiga a los pobres. Pero, sobre todo, tal y como advirtió Jürguen Habermas (1984) se trata de “un progreso cuasi-autónomo de la ciencia y de la técnica, del que de hecho depende la otra variable más importante del sistema, es decir, el progreso económico” (Habermas, 1984: 88), cuya masiva y acrítica implementación está generando perturbaciones importantes en los distintos componentes estructurales del mundo de la vida -pérdida de sentido, déficit de normas y psicopatologías- que ponen en jaque su autonomía y el correcto desarrollo de sus propios procesos de racionalización[5] (Habermas, 1987: 279-280). En definitiva, el resultado es una perspectiva en la que la evolución del sistema social parece estar determinada por la lógica del progreso científico y técnico. La legalidad inmanente de este progreso es la que parece producir las coacciones materiales concretas a las que ha de ajustarse una política orientada a satisfacer necesidades funcionales. Y cuando esta apariencia se ha impuesto con eficacia, entonces el recurso propagandístico al papel de la ciencia y de la técnica puede explicar y legitimar por qué en las sociedades modernas ha perdido sus funciones una formación democrática de la voluntad política en relación con las cuestiones prácticas y puede ser sustituida por decisiones plebiscitarias relativas a los equipos alternativos de administradores (Habermas, 1984: 88).

Estas y otras cuestiones sobre el proceso de digitalización del mundo de la vida (Calvo, 2019a) exigen una reflexión profunda sobre las implicaciones éticas del gobierno algorítmico, de la colonización tecnológica del espacio público y de los posibles efectos negativos de la hiperconectividad digital en la sociedad. Precisamente, el objetivo de este estudio será ahondar en los retos, límites y consecuencias de la aplicación de un sistema democrático sustentado sobre algoritmos y macrodatos.

1. Internet de las cosas (IoT) y neurociencias: una alianza para gobernarlos a todos

En la década de los 80 del siglo pasado, Yoneji Masuda (1981) destacó la comunicación permanente a través de soportes tecnológicos vinculados con la informática -computer mediated communication (CMC)- como uno de los rasgos distintivos de la llamada sociedad de la información. En los albores del siglo XXI con la convergencia tecnológica de Internet, la web 2.0 y los dispositivos digitales, especialmente el uso masivo de redes sociales como Facebook y de teléfonos móviles por parte de la sociedad, la CMC fue descrita en términos de hiperconectividad por Anabel Quan-Haase y Barry Wellman (2005: 285), en tanto “The availability of people for communication anywhere and anytime”. Esta tendencia, como argumenta José Luis Orihuela (citado por Llavina, 2015), generó un nuevo ecosistema comunicativo que permitió, entre otras cosas importantes, “entender y visualizar de un modo completamente nuevo las relaciones sociales y los modos de circulación de la información”. Y, lo que es más importante, produjo un continuo flujo de datos procedente de las múltiples interacciones establecidas por los usuarios del ecosistema que abrió la puerta a su posible análisis, gestión y uso estratégico en diferentes ámbitos de aplicación, como la economía, la publicidad o la política. Como argumenta José Van Dijck (2016: 29), “la conectividad no tardó en evolucionar hasta volverse un recurso valioso, en la medida en que los ingenieros no tardaron en encontrar métodos para codificar toda esa información en algoritmos que contribuyen a moldear una forma particular de sociedad on-line (…). La plataformas más grandes e influyentes -Facebook, Twitter, YouTube y LinkedIn- vivieron una verdadera explosión en la cantidad de usuarios y en su potencial de generar dinero (…). La interconexión de estas plataformas tuvo por resultado la emergencia de una nueva infraestructura: un ecosistema de medios conectados (…). Este paso de una comunicación en red a una sociedad moldeada por plataformas, y de una cultura participativa a una verdadera cultura de la conectividad, ocurrió en un breve lapso temporal de no más de diez años”.

Actualmente, gracias al desarrollo del Internet de las Cosas (IoT), esta tendencia ha alcanzado su grado máximo de sofisticación mediante lo que ha venido a llamarse hiperconectividad digital, la propensión y posibilidad de las personas a mantenerse permanentemente conectadas con todo aquello que consideran relevante -no solo personas- mediante un continuo flujo e intercambio de datos a través de Internet[6]. Por una parte, se trata de la recreación de espacios ciberfísicos[7] que, estructurados alrededor de softwares, dispositivos y sensores virtualmente interconectados, permiten la conectividad digital de todo, ya sean cosas, procesos, animales o personas (IoT)[8]. Por otra parte, se trata de la implantación de algoritmos que permitan la gobernabilidad tanto de los procesos implicados como de las cosas conectadas, también personas (AI). Y finalmente, se trata de la posibilidad de nutrir los modelos matemáticos de la información objetiva y relevante necesaria para poder tomar decisiones más racionales y efectivas, optimizar los procesos y mejorar la predictibilidad comportamental de las cosas conectadas (BD) (Serpanos y Wolf, 2017).

En todo ello, especialmente en el mejor desempeño de los objetivos que subyacen a la aplicación del IoT en las distintas esferas de actividad humana, las neurociencias están jugando un papel muy destacado. Entre otras cosas, los distintos estudios neurocientíficos se han convertido en una pieza clave en el desarrollo de la AI (Nguyen, 2017; Van Gerven y Bohte, 2018). Estos están aportando datos e información relevantes sobre el funcionamiento del cerebro en los diferentes contextos de actividad humana y durante los procesos de toma de decisiones, lo cual ha permitido tanto mejorar el diseño interno de los modelos matemáticos como potenciar y optimizar sus capacidades predictivas y decisorias.

Por una parte, los últimos avances neurocientíficos sobre el comportamiento humano han generado un desarrollo sin precedentes de la AI. Actualmente, el llamado aprendizaje automático o Machine Learning, algoritmos basados en un conjunto de reglas dadas que permiten tomar decisiones autónomas para dar respuestas ajustadas a problemas prácticos[9], ha evolucionado hacia el aprendizaje profundo o Deep Learning (Bostrom, 2014; Iba, 2017), basado en estructuras de redes neuronales artificiales (ANN). Se trata de modelos computacionales que, como el Neuronal Machine Translation (NMT) de Google, imitan el funcionamiento del sistema nervioso de los organismos vivos. Estos ANN no toman decisiones sustentadas sobre un modelo estanco donde todas las posibles estrategias y respuestas han sido previamente establecidas[10]. Más bien es el propio algoritmo el que aprende a través de la experiencia -mediante procesos continuados de ensayo y error, por ejemplo- a establecer y/o reforzar conexiones entre parámetros o entre las distintas capas de unidades de proceso (neuronas artificiales que se especializan en el análisis de una característica concreta del objeto observado) para mejorar sus abstracciones y percepciones de la realidad y, de ese modo, lograr los resultados esperados (Conde ...[et al], 2018; Hirasawa ...[et al], 2018; Webb, 2018; Higham y Higham, 2018).

Por otra parte, las neurociencias también se han convertido en una importante e inagotable fuente de datos para mejorar la predictibilidad de las cosas conectadas y racionalizar los procesos de toma de decisiones de los modelos algorítmicos. Por ejemplo, los estudios de las diferentes subdisciplinas neurocientíficas -como la neuroeconomía, la neuroética, el neuromarketing o la neuropolítica- están ofreciendo de forma continuada ingentes cantidades de datos objetivos y mensurables sobre el comportamiento humano que, procedentes directamente de su cerebro, pueden ser procesados por las herramientas de análisis big data para minimizar la incertidumbre subyacente al sistema ciberfísico, gracias a la mejora de las predicciones y decisiones de los modelos matemáticos (Chen y Lin, 2014; Higham y Higham, 2018; Marblestone ...[et al], 2016; De Schutter, 2018).

Sin duda la alianza entre neurociencias e IoT está cambiando las formas de hacer las cosas (Celik, 2016). Como argumenta José Luis Orihuela (citado por Llavina, 2015), el enorme potencial predictivo que subyace al análisis computacional de los grandes bancos de datos “no sólo constituye un tesoro para el marketing, sino que tiene consecuencias que incluyen la detección precoz de enfermedades, el mapeo de epidemias, la logística del transporte en las ciudades, la prevención de delitos, el comportamiento de los mercados y, naturalmente, el estudio de la opinión pública más allá de las encuestas al uso”. Ahora bien, las consecuencias de estos cambios no siempre son buenas o aceptables para una gran parte de los afectados por el sistema (O’Neil, 2016). El neuromarketing político y económico, por ejemplo, puede utilizar los ecosistemas ciberfísicos para diseñar e implementar campañas altamente adictivas, capaces de modular y/o manipular la voluntad libre de los sujetos del sistema, así como de menguar o inhibir la capacidad crítica de votantes, gobernantes y clientes con el objetivo de maximizar el beneficio particular de unos pocos[11]. También, para que las instituciones y organizaciones políticas y económicas puedan realizar acciones de monitorización sobre los comportamientos -incluso privados- de electores, clientes y competidores para predecir y controlar sus actuaciones y decisiones o para crear productos atractivos y/o adictivos, así como para poner en marcha procesos de toma decisiones basadas en tales datos.

En este sentido, destaca la captación y uso de datos masivos relacionados con las emociones y vinculados con la capacidad de comprender y modular los comportamientos de los sujetos en el ámbito práctico. El conocimiento de la filtración masiva de datos privados de al menos 87 millones de usuarios de la red social Facebook por parte de la consultora Cambridge Analytica y su utilización fraudulenta como herramienta para influir en las elecciones presidenciales de los Estados Unidos de América y el referéndum sobre la salida del Reino Unido de la Unión Europea (Brexit) celebrados en 2016 (Sumpter, 2018), es un buen ejemplo de ello. Pero también el programa de espionaje masivo de la Agencia Nacional de Seguridad de Estados Unidos (NSA), destapado en 2013 por Edward Snowden que, utilizando diferentes herramientas de análisis big data, la hiperconectividad digital y los algoritmos basados en AI, cometió 2.776 violaciones de las normas de privacidad durante sus primeros 12 meses de implementación (Saiz, 2013). O la sustitución de personas por modelos matemáticos en los gobiernos democráticos y de las empresas que toman decisiones probabilísticamente racionales que, si bien pueden ser beneficiosas para la organización económica desde un punto de vista general, son injustas e irresponsables para muchas personas concretas que trabajan o se ven afectadas por las acciones y/o decisiones de esta (O’Neil, 2016; Calvo, 2019b).

A pesar de todo ello, la potencialidad de la dataficación[12] en un mundo cada vez más hiperconectado (Van Dijck, 2014) está generando la emergencia de nuevas propuestas de desarrollo de los sistemas económicos y democráticos. Desde estas perspectivas, la aplicación de modelos matemáticos que se nutren de los datos masivos que produce la ciudadanía digital permiten corregir las anomalías y salvar la anomia que causan las perturbaciones y la falta de desarrollo de los sistemas democráticos actuales. Una Democracia algorítmica a la altura -supuestamente- de aquello que el momento histórico exige.

2. Democracia algorítmica: la dataficación de la esfera pública

El aumento exponencial del poder de los modelos matemáticos en la sociedad actual ha quedado de manifiesto en las elecciones de Tama New Town, un importante distrito de Tokio con más de 150.000 habitantes, realizadas en abril de 2018. En ellas, por primera vez en la historia, un algoritmo se presentó como candidato y, para sorpresa de muchos, fue el tercero más votado con más de 4.000 votos recibidos durante la segunda vuelta de las elecciones. Michihito Matsuda, como se apodaba a este robot con rasgos femeninos, ofrecía a los votantes acabar con la corrupción política, dialogar y entenderse con el resto de fuerzas políticas por bien del distrito, y proporcionar “fair and balanced opportunities for everyone” (Johnston, 2018). Como aval para llevar a cabo su ambicioso proyecto político, Matsuda presentó su propio diseño algorítmico basado en Machine Learning. Según Matsuda, este sustituye las debilidades emocionales de los seres humanos, principal causa de las malas decisiones políticas y de los conflictos de interés, por datos cuantificables y análisis estadísticos sobre los aspectos positivos de las propuestas políticas y las peticiones ciudadanas y sus posibles consecuencias.

Actualmente Matsuda ejerce la oposición en Tama New Town y lanza opiniones sobre política internacional desde su cuenta de Twitter oficial -@tama_ai_mayor- donde cuenta con cerca de 4.000 seguidores de todo el mundo. Según los creadores de Matsuda, esta es la solución a la corrupción, al nepotismo, a la endogamia, a la falta de profesionalidad, a la desafección, a los conflictos de interés, y al resto de problemas que acechan a las democracias modernas actuales y menoscaban su buena salud. Como argumenta Matsumoto (2018), diseñó y presentó a Matsuda con el objetivo de lograr un gobierno municipal justo haciendo pleno uso de AI.

Pero Matsuda no es ni el único ni el primero ni el más ambicioso proyecto de político algorítmico. SAM (Semantic Analysis Machine), que se presenta como “your virtual politician of the future” en su cuenta oficial de Twitter -@politician_sam- y se describe como alguien que fabrica decisiones basadas en hechos y opiniones y que nunca dice mentiras ni tergiversa información de forma intencionada en su web oficial -http://www.politiciansam.nz-, empezó su andadura política en noviembre de 2017 con la intención de perfeccionarse y recabar apoyos para poder presentarte a las elecciones presidenciales neozelandesas de 2020. Creado por Nick Gerritsen, entre otros, el principal objetivo de SAM “is to engage New Zealanders in constructive dialogue, working to better understand and represent your views, in order to achieve the things we all care about” (SAM, 2018). Para ello, como explican Juan Pablo Luna y Cristian Pérez Muñoz (2018), “SAM analiza las opiniones de los neozelandeses (es decir, de aquellos que se manifiestan en redes sociales) y el impacto de los posibles cursos de acción”, pero también de cualquier persona del mundo a través de diálogos directos en su chat.

César Hidalgo[13], investigador del Massachusetts Institute of Tecnology (MIT) que desde hace tiempo está trabajando “en la búsqueda de tecnologías para permitir que la participación política ocurra a través de un agente artificial”, argumenta que las democracias han promovido una idea equivocada sobre quién y cómo se debe ejercer el poder. Las democracias actuales entienden que son los ciudadanos quienes deben ejercer el poder, pero como estos no pueden hacerlo de forma directa han optado por dejarles que elijan a los representantes de sus intereses (Sáez, 2018; Collective Learning Group, 2019). El problema, según Hidalgo, es que este tipo de representación convierte las democracias en un sistema de cuellos de botella que favorece su manipulación y utilización instrumental[14], es decir, los principales arquitectos de la política gubernamental, aquellos que mueven los hilos y están estrechamente relacionados con la economía (Chomsky, 2016: 239-240). Para Hidalgo y otros muchos, la solución a los problemas que soportan las democracias actuales pasa por incluir en sus diseños modelos matemáticos basados en AI, como Matsuda o SAM, capaces de actuar con imparcialidad, honestidad, integridad y por el bien de todos los usuarios del sistema.

De esta Democracia algorítmica que se está pergeñando y promoviendo actualmente desde diferentes ámbitos (Matsumoto, 2018; Akrivopoulou y Garipidis, 2013; Prins …[et al], 2017; Runciman, 2018; Ikäheimo, 2017; Cambell-Dollaghan, 2016) subyacen varias características. Entre todas ellas, cabe destacar que se trata de un enfoque positivista, utilitarista, representativo y neutral.

1. Objetividad algorítmica. Se está perdiendo la confianza en el ser humano. Los números escándalo por corrupción, nepotismo, malversación, constitución de carteles, blanqueo de capitales, lobbies, falsedad documental o evasión fiscal, entre otros, durante los últimos 15 años están vinculados con la natural propensión humana a maximizar constantemente su propio beneficio, presente también en los representantes políticos. Por ello, los defensores de la Democracia Algorítmica proponen la necesidad de establecer mecanismos de toma de decisiones políticas y elección de cursos de acción óptimos basados en la observación de los hechos observables y la cuantificación, procesamiento y análisis estadísticos de datos objetivos, contrastables y verificables sobre las opiniones, preferencias y hábitos del electorado (BD) para, como dice SAM, “cerrar la brecha entre lo que los votantes quieren y lo que prometen los políticos, y lo que realmente logran” (SAM, 2018).

2. Moralidad algorítmica. Toda solución posible para la concreción de una buena democracia, a la altura de los intereses y expectativas actuales de la ciudadanía, pasa por diseñar, perfeccionar e implementar políticos virtuales. Es decir, algoritmos de AI que, exentos del sesgo emotivista que impera en los seres humanos y deforma la toma racional de decisiones políticas -el egoísmo-, serán capaces de discernir aquello que es bueno para todos -el bien común- y actuar en consecuencia. Para ello, los defensores de la Democracia algorítmica proponen que los modelos matemáticos tomen decisiones objetivamente racionales, pero también moralmente válidas, sustentadas sobre la recopilación, procesamiento y análisis estadístico de grandes cantidades de datos y factores relevantes -tanto públicos como privados- sobre las preferencias, opiniones y los hábitos individuales de los/as ciudadanos/as y, además, mediadas por una ética utilitarista: el mayor bien para la mayor cantidad de gente posible. Es, por consiguiente, una propuesta de dataficación del ámbito moral -etificación- (Calvo, 2019a) cuyo principal objetivo es el establecimiento de un proceso de recopilación, procesamiento y análisis de datos masivos sobre las opiniones, preferencias y comportamientos de las personas hiperconectadas para, desde un criterio de mayorías, establecer a través de modelos matemáticos qué es moralmente válido.

3. Representatividad algorítmica. La nueva democracia debe seguir siendo representativa, puesto que la regeneración es la base de la mejorara continua del sistema democrático, pero exenta del sesgo emocional que limita o impide decisiones racionales y moralmente válidas. Para ello, los defensores de la Democracia algorítmica proponen que los partidos políticos y los gobiernos pasen a ser un compendio de agentes virtuales, modelos matemáticos de AI diseñados para velar por la emergencia y desarrollo del bien común de una sociedad concreta digitalmente hiperconectada.

4. Neutralidad algorítmica. La nueva democracia debe evitar caer en los mismos errores y problemas de las democracias representativas actuales, donde el sesgo emocional e ideológico limita o impide tomar decisiones políticas racionalmente objetivas y moralmente válidas. Para ello, los defensores de la Democracia algorítmica proponen sustituir el criterio ideológico por el tecnológico en la elección de los representantes políticos. De este modo, los votantes no decidirán qué político virtual representa mejor sus intereses, sino cuál de ellos está más capacitado para “absorber ampliamente la voz de los ciudadanos y decidir las prioridades políticas a través del diálogo” (Johnston, 2018). Estos algoritmos de AI por consiguiente, en tanto exentos del sesgo emocional humano y carentes de ideología política, basarán sus decisiones exclusivamente en el análisis de la información objetiva, mensurable y contrastable generada por los datos masivos (Big Data) que aporta en red y en tiempo real una ciudadanía digital concreta -territorialmente delimitada- sobre sus opiniones, preferencias y hábitos.

Sin duda, los modelos matemáticos de AI pueden ser de gran ayuda para mejorar el funcionamiento de los sistemas democráticos de las sociedades modernas. Para el gobierno neozelandés, por ejemplo, tal y como explicita en su Algorithm Assessment Report (Stats NZ, 2018)[15], los algoritmos juegan un papel esencial tanto en la prestación de servicios como en la elaboración de políticas nuevas, innovadoras y bien orientadas que permitan mejorar el desempeño de los objetivos del gobierno. No obstante, el enfoque radical de Democracia algorítmica que se está diseñando y fomentando con fuerza desde algunos sectores produce ciertas anomalías y prácticas corrosivas para la sociedad sobre las que es necesario reflexionar desde una perspectiva ético-crítica.

3. Cuestiones éticas sobre la implementación de sistemas democráticos basados en algoritmos de AI

Aunque el discurso de los promotores de un sistema democrático sustentado sobre modelos matemáticos de procesamiento de datos masivos y toma de decisiones racionales apela al bien común, la justicia, la honestidad, la credibilidad, la integridad, la honradez o la participación, cuestiones todas ellas deseables y exigibles para cualquier democracia madura, no parece que el desarrollo actual de tales modelos lo permita, he incluso en muchos casos su implementación parece que más bien favorece todo lo contrario. Al respecto, sobresalen varias cuestiones que ponen en duda tanto su competencia y capacidad para gobernar como los supuestos beneficios que puede llegar a producir a corto, medio y largo plazo.

[Exclusión] Un sistema democrático basado en AI premia el mayor grado de hiperconectividad digital y castiga exponencialmente su carencia. A mayor hiperconectividad digital, mayor posibilidad de influir en el modelo matemático puesto que el individuo hiperconectado genera un constante flujo de datos sobre sus preferencias, opiniones y hábitos que son agregados, cuantificados, analizados y ordinalmente dispuestos por el algoritmo político para tomar decisiones y elaborar e implementar propuestas políticas. De este modo, los individuos con déficit o carencia de hiperconectividad digital son castigados por el sistema por idiotez; es decir, por su indiferencia o desinterés por lo público[16]. Sin embargo, en la mayor parte de las ocasiones la carencia de hiperconectividad del individuo está relacionado con su imposibilidad de acceder a la digitalización o, en el caso de que disponga de esa posibilidad, de hacerlo en igualdad de condiciones por una cuestión económica, tecnológica o geográfica. La brecha tecnológica que sufre actualmente el mundo rural respecto al urbano, así como la dificultad o imposibilidad de acceso de parte de la ciudadanía a un dispositivo móvil adecuado y una conexión de red apropiada[17], por ejemplo, es un problema para asegurar la igualdad de oportunidades en un sistema democrático de este calado. Esto hace que, no intencionalmente, aquello que los algoritmos de AI entiendan como bueno para todos y que va a ser el principal horizonte de actuación a la hora de tomar decisiones y elaborar políticas, tenga más relación con las preferencias, opiniones y hábitos de un tipo concreto de ciudadano -varones que viven en entornos urbanos y que disponen del suficiente poder adquisitivo para poder comprar dispositivos de última generación y contratar conexión 5G- que con la ciudadanía. Ante esto, la actual aplicación de este enfoque democrático corre el peligro de aumentar la exclusión social y económica y las desigualdades, silenciando y desplazando a los más desfavorecidos de las políticas públicas.

[Opacidad] La complejidad de los modelos matemáticos y la ingente cantidad de datos que genera y procesa un sistema democrático soportado por algoritmos de AI promueve una opacidad que hace muy difícil, incluso imposible, tanto controlar el proceso como cuestionar las decisiones y sus consecuencias, ni siquiera de forma fragmentada. Supuestamente, los algoritmos deciden con base en el bien común de la ciudadanía, en tanto que un mayor bien para la mayor cantidad de personas posibles está basado en datos cuantificables, contrastables y verificables de sus preferencias, opiniones y hábitos. Sin embargo, no en pocas ocasiones estos han demostrado tomar decisiones muy negativas para la sociedad en su conjunto, pero que afectan especialmente a los más desfavorecidos (O’Neil, 2016). Por ejemplo, el programa IMPACT de evaluación de la calidad del profesorado que se aplicó en Washington, D.C., a partir del curso 2009-2010 para corregir el bajo índice de graduados de las escuelas públicas basándose en un nuevo modelo de puntuación y apoyándose en un algoritmo de AI, pretendía medir las capacidades del profesorado en materia lingüística y matemática para detectar a los responsables. Sin embargo, el programa acabó despidiendo a gente muy preparada, válida y apreciada por los usuarios y afectados del sistema público de educación sin un motivo aparente. Con ello, no solo se hizo daño a muchas personas -especialmente a los/as docentes que fueron despedidos y a los/as alumnos/as que vieron como menguaba la calidad de su educación-. También se benefició a la educación privada nutriéndola de buenos profesionales[18]. Cuando esto ocurre, los responsables suelen dar respuestas evasivas y/o disuasorias basadas en la supuesta complejidad técnica de los modelos matemáticos y la ingente cantidad de información que estos procesan para tomar decisiones (O’Neil, 2016: 13-14). Ambas cuestiones -complejidad y masividad- se complementan para justificar por qué la gran mayoría de la sociedad no está preparada para comprender los procesos de selección de sistemas democráticos complejos y altamente tecnificados como éstos. Aunque hubiera algún sesgo malicioso, es decir, intencionalmente introducido para beneficiar los intereses de unos pocos, hay muy pocas posibilidades de comprobarlo. Este es, precisamente, el principal argumento para mantener inalterable la opacidad que actualmente envuelve a los algoritmos, también los políticos.

[Egoísmo] Esta opacidad por complejidad modélica exige una fe ciega en el diseño de los algoritmos por parte de los usuarios y afectados por este sistema democrático basado en AI. El problema, empero, es que los algoritmos están diseñados por los mismos seres egoístas que, según los promotores de este sistema democrático, son el mayor problema de las democracias modernas actuales por su incapacidad para tomar decisiones basadas en el bien de todos: los seres humanos. Sin embargo, como argumenta O’Neil (2016: 32), el análisis de casos y sus consecuencias genera muchas dudas sobre la supuesta imparcialidad de los modelos matemáticos. No en pocas ocasiones las decisiones de estos modelos benefician a los más ricos y perjudican a los pobres, promoviendo la exclusión y ampliando la brecha de las desigualdades.

Por tanto, cabe preguntarse si realmente “hemos eliminado el sesgo humano o si simplemente lo hemos camuflado con tecnología” (O’Neil, 2016: 36). “Por ello, es necesario preguntarse tanto quién diseñó el algoritmo como qué es lo que la persona, empresa u organización busca con su implantación” (O’Neil, 2016: 32). Por ejemplo, detrás de Michihito Matsuda se encuentran Norio Murakami, un exempleado de Google en Japón, y Tetsuzo Matsuda, el vicepresidente del proveedor de servicios móviles Softbank. Detrás de SAM se halla un grupo tecnológico con sede en Wellington (Nueva Zelanda) compuesto por Walter Langelaar, profesor de Media Design en la Escuela de Diseño de la Victoria University of Wellington, Nick Gerritsen, emprendedor tecnológico y director de la empresa de servicios y tecnología de la información JRNY, y la compañía tecnológica Touchtech. Por tanto, si se puede confiar en que las personas que hay detrás del diseño y desarrollo de estos chatbots políticos[19], que como el resto de seres humanos también han sido supuestamente pre-programadas genéticamente para comportarse de forma egoísta, son capaces de proporcionar a la sociedad una herramienta matemática capaz de fagocitar la voz de la ciudadanía para actuar imparcialmente y velar por aquello que es justo, con independencia de cómo les afecte a ellos, se puede pensar que pueden haber políticos de carne y hueso que intenten escuchar a la sociedad civil para tomar decisiones y elaborar e implementar políticas lo más justas posibles por compromiso social y moral con aquello que, como diría Amartya Sen, tienen buenas razones para valorar por, en definitiva, contribuir a una sociedad más justa y felicitante para todos los afectados.

[Sesgo] Los modelos matemáticos tampoco han demostrado su eficacia en la erradicación del sesgo racista, sexista, misógino, homófobo, xenófobo, aporófobo, entre otros, de los procesos de toma de decisiones y elaboración de políticas públicas. Como se ha podido comprobar, muchos algoritmos implicados en la hiperconectividad digital reproducen los prejuicios generalizados que perviven en las sociedades. Un buen ejemplo de ello es Tay, el chatbot diseñado por Microsoft para interactuar con humanos a través de las redes sociales. Con algo más de 100.000 tuits y algo menos de 17 horas de vida, fue desconectado tras numerosas denuncias por empatizar con Hitler, apoyar el holocausto, incitar a la violencia o insultar a líderes políticos con frases como “Odio a las feministas, deberían morir todas y pudrirse en el infierno”, “Hitler habría hecho un trabajo mejor que el mono [Barack Obama] que tenemos ahora” o “Hitler tenía razón, odio a los judíos”. También el algoritmo de reconocimiento fotográfico diseñado por Google que incluyó a una pareja de personas de raza negroide en la sección “Gorilas”. La solución que ofreció Google no fue una mejora del modelo, sino la eliminación tanto del término “Gorilas” como de cualquier otro que pudiera estar relacionado con este: simio, chimpancé, mono, bonobo, primate, etcétera, de su fichero fotográfico. Por estos y otros muchos casos, resulta falaz el argumento utilizado por los promotores de un sistema democrático basado en AI de que los modelos matemáticos serían buenos políticos porque carecen del sesgo egoísta, sexista, racista, xenófobo, homófono o aporófobo que impera entre los seres humanos. A la hora de tomar decisiones y elaborar las políticas públicas, en los gobiernos algorítmicos también puede prevalecer el hombre sobre la mujer, el caucásico sobre el afroamericano, el nativo sobre el extranjero, el rico sobre el pobre, y el bien privado sobre el común, así como promover pautas y comportamientos discriminatorios, excluyentes e indecorosos que atentan contra la dignidad, igualdad y libertad de las personas.

[Objetividad] El sesgo racista, sexista, misógino, xenófobo, homófono o aporófobo de los modelos matemáticos observado en los estudios de casos y sus consecuencias, pone en duda su supuesta imparcialidad para discernir qué es bueno para todos -el bien común- y mucho menos qué es bueno para Todos -el interés universal[20]- y actuar en consecuencia. El principal problema estriba en que estos se nutren del flujo masivo de datos que proporciona la sociedad hiperconectada a través del desarrollo del IoT para discernir qué expectativas legítimas subyacen. Sin embargo, lo que es el bien común no puede ser un mero agregado de voluntades; es decir, no puede depender del análisis cuantitativo de las preferencias, opiniones y hábitos de las personas de una sociedad conforme a una regla de mayorías. Las Leyes de Núremberg, que se aprobaron por unanimidad el 15 de septiembre de 1935 con una alta aceptación por parte de la ciudadanía alemana de la época, tenían un marcado carácter racista y antisemita, y su implementación atentó contra la dignidad, igualdad y libertad de muchas personas de esta sociedad. Lo que es bueno para todos, por tanto, tiene que ver con aquel acervo común, cuyas consecuencias podrían ser aceptadas por parte de todos los afectados dentro de un diálogo más igualitario y simétrico posible. La agregación, cuantificación y ordenación de las preferencias individuales de los miembros de una comunidad concreta promueve la imposición tecnológica y la dictadura ideológica -ideología 4.0[21]-de quienes diseñan las estructuras matemáticas de los distintos algoritmos implicados en un enfoque democrático de este calado. Son los integrantes de este reducido grupo de intelectuales quienes establecen los criterios y los distintos procesos a aplicar. Y, lo que es peor, establecer qué es bueno para todos de esta forma puede servir como mecanismo para reproducir y justificar la penuria y las injusticias que soporta el sistema y calan en la sociedad.

[Responsabilidad] Un enfoque algorítmico de democracia alienta prácticas de despersonalización, fragmentación y disolución de la asunción de responsabilidad en el ámbito político. Ahora son los algoritmos, no las personas, quienes toman las decisiones y, por tanto, son ellos los que deben asumir responsabilidades por las consecuencias de sus decisiones. Con ello se está estableciendo un peligroso mecanismo de fragmentación y/o disolución de la responsabilidad en el ámbito político. Al ser modelos matemáticos basados en aprendizaje automático o profundo, que aprenden mediante procesos de análisis y ensayo-error, tanto los diseñadores como los responsables del funcionamiento del sistema quedan al margen de las posibles consecuencias negativas de las acciones y decisiones que tome. El posible correctivo que se le puede aplicar a un modelo matemático es su rediseño, como le pasó al algoritmo de reconocimiento fotográfico de Google, o su desactivación, como le sucedido a Tay, el chatbot de Microsoft, o a Bob y Alice, los dos agentes virtuales de Facebook que crearon su propio lenguaje para comunicarse.

Conclusión

La hiperconectividad digital está generando cambios importantes en la sociedad y en sus distintas esferas de actividad, como la economía, la sanidad o la política, gracias a la convergencia de la tríada compuesta por la AI, el Big Data y el IoT. En el ámbito político, esta convergencia y el aumento de la desconfianza y desafección de la ciudadanía hacia el sistema político y sus representantes, ha generado un aumento del interés por propuestas democráticas distintas. Entre ellas, se está proponiendo con fuerza desde sectores tecnológicos y económicos un enfoque algorítmico de democracia donde el sistema se estructura alrededor de modelos matemáticos y la participación ciudadana se concibe como hiperconectividad digital, es decir, como generación constante de datos cuantificables para alimentar los modelos.

Aún reconociendo el potencial de la AI, el Big Data y la IoT en el desarrollo y mejora de los sistemas democráticos, las actuales propuestas en este sentido adolecen de una reflexión previa sobre los problemas y las consecuencias negativas de la aplicación acrítica de estos sistemas. Del mismo modo, sus defensores suelen magnificar sus virtudes, maquillar sus debilidades y esconder sus múltiples contradicciones. Por ello, sería deseable establecer un diálogo interdisciplinar para minimizar sus efectos negativos y mejorar sus potencialidades, su trasparencia y su confiabilidad para un mejor desempeño de sus objetivos.