Inteligencia Artificial en la administración pública: ambigüedad y elección de sistemas de IA y desafíos de gobernanza digital

.1 La reencarnación de la Pitia: calificar nuevas predicciones y sopesar los resultados

En el proceso de transformación digital, la adopción de sistemas de inteligencia artificial significa que la administración pública ahora aprende de las máquinas. Los sistemas de IA juegan un papel fundamental como las nuevas Pitias en la administración pública: predicen alternativas de políticas y resuelven problemas. Por ejemplo, la red interconectada de dispositivos de recolección de datos proporciona una herramienta fundamental para mejorar las políticas y los servicios públicos (Greengard, 2015; Danaher …[et al], 2017). Las administraciones públicas tienen como objetivo automatizar la prestación de servicios y hacer uso de algoritmos y datos distribuidos masivamente para anticipar demandas futuras (Williamson, 2014; Chen y Hsieh, 2014). De esta manera, los algoritmos pueden predecir comportamientos individuales y utilizar la capacidad predictiva para cambiar las expectativas, introducir incentivos e influenciar a los usuarios del servicio (Dunleavy, 2016; Kosters y Van der Heijden, 2015). El uso de sistemas de inteligencia artificial en la administración pública tiene el potencial de reducir la burocracia, a la vez que es más responsable y eficaz con el potencial de autoservicio por parte de los usuarios.

Por su capacidad predictiva, los sistemas de IA cambian varios aspectos de la administración pública y el orden social en áreas como educación, salud, justicia penal o políticas sociales (Gillingham, 2015; Danaher, 2016). También pueden afectar la cultura, modificar el conocimiento y construir realidades (Just y Latzer, 2017; Napoli, 2014). Pueden reemplazar a los burócratas de la calle y participar en actividades con discreción para implementar políticas y servicios (Jeffares, 2021; Alkhatib y Bernstein, 2019). De manera única, pueden representar y realizar soluciones de diseño sin interacción humana. Sin embargo, los sistemas de IA no deben verse solo dentro del proceso de gobernanza, sino que además ejercen una autoridad tecnocrática que tiene consecuencias políticas. En la toma de decisiones, los algoritmos primero deciden sobre un sesgo epistémico. Como tecnología de poder, los algoritmos de IA deciden técnicamente entre los gobiernos y los gobernados (Janssen y Kuk, 2016; Danaher, 2016). De esta forma, las decisiones importantes quedan a criterio de los algoritmos (Andrews, 2018).

Con eso en mente, ¿hasta qué punto se puede decir que estas decisiones tomadas por los sistemas de IA reemplazan a la administración pública? Si bien existe una fuerte esperanza de que los sistemas de IA puedan cumplir varias tareas y cambiar la administración pública en la dirección de una mayor personalización de los servicios públicos para los ciudadanos, simultáneamente existe una cuadrícula de engaños que trae problemas relacionados con las soluciones tecnológicas, la confianza y la eficacia. Los beneficios de aplicar sistemas de IA son innegables. De hecho alteran la relación costo-beneficio, lo que implica una racionalidad consecuente para la adopción de sistemas de IA en la administración pública; y, por otro lado, representan un paso hacia el diseño de soluciones que buscan la decisión más racional y eficiente. Por lo tanto, los sistemas de IA coinciden con el índice de eficiencia en tecnología para la gobernanza y la gobernanza de la tecnología.

Sin embargo, si hasta hace poco tiempo la adopción de sistemas de IA en la administración pública representaba una esperanza, actualmente se está acumulando una ola de críticas y problemas en torno a los resultados de su aplicación. Estas dificultades en la gobernanza de la inteligencia artificial plantean una serie de desafíos relacionados con el funcionamiento de la tecnología del poder, especialmente respecto a cómo la tecnología puede ejercer decisiones discrecionales que afectan la vida de los ciudadanos. Los problemas raciales, por ejemplo, implican cuestiones de derechos y valores que no siempre se reproducen en la sociedad. Cuando los sistemas de inteligencia artificial aprenden emulando el pensamiento humano, esto puede llevar a una discriminación racial repetida a gran escala y, aunque esto puede no comprometer la eficiencia del algoritmo, sí compromete su efectividad en el cumplimiento de importantes funciones sociales (Benjamin, 2019). Los criterios de eficiencia pueden suplantar los criterios de validez, creando dificultades para aceptar la legitimidad de las decisiones de los sistemas de IA.

Los gobiernos tienden a adoptar sistemas de inteligencia artificial como un proceso para tratar a los ciudadanos regularmente como objetos programables, usando nudging y creando personalización. Por una lógica consecuencialista, los sistemas de IA crean dilemas sociales que reducen la capacidad de cooperación y refuerzan problemas como la tragedia de los comunes (Frischmann y Selinger, 2018; Almeida, Filgueiras y Gaetani, 2020). Los sistemas de IA buscan decisiones más eficientes, pero estas no son necesariamente las decisiones más correctas. En situaciones de conflicto social pueden reforzar los dilemas sociales, creando situaciones en las que una menor cooperación y equilibrio conducen a políticas con ganadores y perdedores. Los dilemas sociales creados por los sistemas de IA surgen de una racionalidad que los organiza mirando al pasado para predecir el futuro.

Como las nuevas Pitias en la administración pública, los sistemas de IA predicen ambiguamente decisiones que buscan ser eficientes, pero no necesariamente correctas. Este es un problema recurrente en su diseño: que las soluciones indicadas no siempre serán suficientes para constituir certezas. Si se parte de la definición de IA como la emulación del pensamiento humano, se debe considerar el papel de la ambigüedad relacionada con la interpretación del pensamiento. Las decisiones tomadas por los sistemas de IA son naturalmente ambiguas y dependen de la interpretación de las alternativas predichas.

2.1 Avance y capacidad predictiva

El avance en la aplicación de los sistemas de IA es innegable, la revolución del big data ha llevado su uso en la administración pública a otro nivel. Sin embargo, la ilusión hacia el uso de sistemas de IA está aumentando (Smith, 2018). El avance de los sistemas actuales se centra en emular el pensamiento humano y actualizar los niveles de la mecánica cuántica para expandir la capacidad computacional (Simon, 1979). Sin embargo, los diseñadores también deben tener en cuenta que el pensamiento humano y la arquitectura de decisiones ocurren en contextos de incertidumbre y ambigüedad (March, 1991).

La capacidad predictiva de los sistemas de IA presupone un trabajo racional de toma de decisiones, utilizando la lógica consecuencialista. A menudo, los diseñadores basan la solución predictiva para aplicar sistemas de inteligencia artificial en la lógica de costo y beneficio. El supuesto es que la IA puede ayudar a los responsables políticos a tomar mejores decisiones (O’Malley, 2014) y mejorar la eficiencia y la eficacia del gobierno (Milakovich, 2012). Los sistemas de IA tienen el potencial de construir decisiones más racionales, incluso en contextos políticos complejos, porque optimizan la información, produciendo una cadena de decisiones entre el analista de datos y el tomador de decisiones (Van der Voot ...[et al], 2019).

Lo que sigue siendo un desafío, sin embargo, es comprender que múltiples actores participan en las decisiones de la administración pública y cómo (Scharpf, 1988). Una característica esencial es que las decisiones en las organizaciones son ambiguas y la arquitectura de decisión no es un proceso propiamente racional y consecuente (Cohen, March y Olsen, 1972; March y Olsen, 1976). Las ambigüedades e incertidumbres comprenden características importantes de la teoría institucional en las ciencias sociales. Para esta teoría, los individuos no son atomistas, sino que están integrados en una serie compleja de relaciones con otros individuos y con colectividades (Peters, 2019). La toma de decisiones no depende del recuento de preferencias de los individuos atomísticos, sino de la colección de normas, reglas, entendimientos y rutinas que definen las acciones apropiadas en términos de relación entre roles y situaciones. Las decisiones de la administración pública no siempre siguen una lógica racional dirigida a las consecuencias. La mayoría de las veces buscan la decisión más adecuada, apuntando a valores que definirán el motivador de la acción institucional (March y Olsen, 2009). Estos valores que definen una lógica de adecuación de las decisiones públicas se basan en valores éticos, ideologías o valor público, que informan cuándo una decisión será legítima en términos públicos.

Las decisiones en la administración pública se toman en contextos de racionalidad limitada (Simon, 1957), siempre que los problemas sean perversos y las soluciones dependan de una comprensión limitada de la situación de acción. Esta es una premisa importante de la teoría institucional que debería participar en la comprensión de la adopción de sistemas de IA en la administración pública[1]. Las decisiones a menudo se toman mirando al pasado para acumular aprendizaje, comprender el presente y predecir el futuro. En este proceso, el aprendizaje comprende incertidumbres y las ambigüedades dominan el escenario de decisión (March y Olsen, 1975). Las tecnologías no son claras y los contextos de las decisiones dependen de un proceso fluido de participación de los tomadores de decisiones. El encuentro entre problemas y soluciones no es un proceso racional ni lineal (Cohen, March y Olsen, 1972).

Por el contrario, los sistemas de IA pueden representar soluciones en busca de problemas. En este caso la definición del problema se vuelve fundamental para que los sistemas de IA se puedan implementar en una administración pública. En este contexto, es necesario reflexionar sobre cómo las ambigüedades se expanden y desafían la aplicación de la IA en la administración pública. Esto es válido tanto en la lógica de formulación de problemas, que deben ser interpretados, como en la lógica de los resultados obtenidos con los algoritmos de decisión autónomos.

Es necesario entender que los sistemas de IA están ocupando paulatinamente un lugar institucional en la administración pública. En otras palabras, los sistemas de IA emulan la inteligencia humana para tomar decisiones y crear aplicación con normas, reglas, rutinas y valores apropiados que apoyen el aparato institucional del Estado. Por ejemplo, cuando un sistema de IA asigna recursos a políticas sociales, calculando volúmenes masivos de datos para especificar quién es elegible para recibir el beneficio, define quién, dónde, cuándo y cómo tiene acceso a un derecho. Otro ejemplo es cuando se aplica un sistema de IA a la selección de personas, este establecerá cuáles son las expectativas con relación al perfil que se debe seleccionar y calculará entre varios datos quien mejor se ajusta al perfil deseado. En teoría, esta puede ser una forma de decisión más racional, libre de pasiones. Sin embargo, siempre será una decisión ambigua, porque depende de valores que se pusieron previamente en el diseño del sistema. Por ejemplo, ¿el algoritmo consideró cuestiones raciales o de género? Al decir que las decisiones del sistema de IA reproducen ambigüedades, se considera que los efectos de la decisión que toma un sistema autónomo pueden tener varios flujos diferentes, dependiendo de cómo los actores -los afectados por la decisión- entienden y valoran el resultado de aplicar el sistema de IA. Este es un gran desafío para la implementación de soluciones de IA en la administración pública, porque a medida que se toman las decisiones, estas pueden presentar múltiples flujos y reproducir incertidumbres (Cohen, March y Olsen, 1972; Kingdon, 1995).

Ahora bien, si se considera que los problemas públicos suelen ser perversos, mal formulados, inestables, no definitivos y vinculados a otros problemas (Peters, 2018), estos problemas crearon una situación de “demasiados cocineros estropean el caldo”. Los problemas mal formulados impactan directamente en la formulación de soluciones de IA (Simon, 1973). Considerando una lógica consecuencialista, los problemas mal formulados conducirán a soluciones de IA mal insertadas en contextos de ambigüedades e incertidumbres. Estos problemas surgen de incertidumbres previas (March y Olsen, 1975) y en el futuro se acumulan como problemas de memoria y aprendizaje (Simon, 1973). Por lo tanto, el diseño de las soluciones de los sistemas de inteligencia artificial podría no coincidir con el diseño de las soluciones de los problemas de la administración pública. Esto se debe a una comunicación asimétrica entre los analistas de datos y los tomadores de decisiones, que no tienen los mismos antecedentes y conocimientos. La administración pública no tiene un canal establecido para lidiar con el diseño de sistemas de inteligencia artificial, lo que genera dificultades para comunicar las demandas entre los tomadores de decisiones y los diseñadores de sistemas (Margetts y Dorobantu, 2019).

Además, las decisiones en la administración pública no ocurren solo en una lógica consecuencialista. Las decisiones que implican el comportamiento de los actores ocurren de una manera basada en reglas, requiriendo interpretaciones de la acción en contexto. Muchas acciones de formulación de políticas están impulsadas por reglas de comportamiento apropiado, organizadas en instituciones. La lógica de la adecuación implica que se espera que los actores se comporten de acuerdo con las normas y reglas de la sociedad (March y Olsen, 2009) y, por lo tanto, que los sistemas de IA deben observar reglas y situaciones que se insertan en el comportamiento adecuado, como sentimientos, valores éticos, obligaciones y virtudes. A diferencia de una lógica consecuencialista, en la que las soluciones de IA pueden predecir e influir en el comportamiento, la lógica de la adecuación exige términos opacos, en los que su poder prescriptivo depende del análisis de conjuntos de situaciones que varían en precisión y claridad (March y Olsen, 2009).

La adopción de sistemas de IA en la administración pública se da en dos dimensiones. En primer lugar, al formular problemas de políticas donde se produce en una lógica consecuencialista, con el objetivo de reformar la administración pública a través de tecnologías digitales. Las presiones fiscales de los gobiernos explican las decisiones de los administradores públicos para los procesos de transformación digital, porque mejoran la relación entre costos y beneficios (Dunleavy y Margetts, 2013). Sin embargo, la adopción de sistemas de IA en la administración pública no se limita únicamente a la reducción de costes, sino que expande las capacidades de la administración pública (Veale y Brass, 2019) y tiene el potencial de expandir también el control, la conveniencia y la conexión con los ciudadanos (Jeffares, 2021). En cualquiera de estas situaciones, la lógica de la transformación digital con la adopción de sistemas de IA se moviliza por una lógica consecuencialista, reflejando los beneficios potenciales de la solución cuando se inserta en el proceso de toma de decisiones en la administración pública. El problema que se señala en este trabajo, siguiendo la teoría institucional, es que el proceso de toma de decisiones en la administración pública no solo sigue una lógica consecuencialista, sino también una lógica de adecuación incrustada en la ética, las rutinas, los roles y los valores. La formulación de problemas no siempre ocurrirá debido a la necesidad real de servicio o política pública, sino a una lógica consecuencialista motivada por una relación entre costo y beneficio. En la segunda dimensión, hay una evaluación de los resultados de los sistemas de IA motivada por una lógica de adecuación. La adopción de sistemas de IA en la administración pública incurre en una serie de críticas motivadas por criterios de equidad, género, raza, efectividad y valores éticos (O’Neil, 2016; Noble, 2018; Benjamin, 2019; Wachter, Mittelstadt y Russell, 2020).

El resultado de este proceso es un aumento de las ambigüedades de la presencia de los sistemas de IA en la administración pública. Motivado por la lógica consecuencialista, la adopción de sistemas de inteligencia artificial en la administración pública se vuelve irreconciliable con una lógica de adecuación. Si bien la transformación digital de la administración pública requiere cálculos de utilidad, constituye una tensión con hábitos, emociones y valores que impulsan la lógica de adecuación. Esto requiere estructuras de gobernanza que impliquen equilibrar esta tensión entre diferentes lógicas de acción, lo que implica ambigüedades e incertidumbres tanto en el proceso de adopción de sistemas de IA, como en los resultados y seguimiento de dichos sistemas.

2.2 Interpretando y modificando las nuevas Pitias: construyendo caminos de la ambigüedad a la reconciliación

Como las nuevas Pitias en la administración pública, los sistemas de IA ofrecen mensajes ambiguos que requieren la interpretación de reglas y principios internalizados en un contexto institucional. Sin considerar una reconciliación entre una lógica consecuencialista y una lógica de adecuación, pueden convertirse en una panacea para los problemas de la administración pública. Los períodos de crisis y cambios radicales en la administración pública, que de alguna manera se anticipan como parte del proceso de adopción de los sistemas de inteligencia artificial, hacen que las reglas y los arreglos institucionales sean irrelevantes o inaceptables. En este contexto de cambio, sin embargo, es innegable el llamado al diseño de instituciones que sean resilientes y robustas para reconciliar una lógica consecuencialista con una lógica de adecuación. La interacción de estas lógicas implica la necesidad de soluciones de IA más robustas que estén orientadas hacia los valores de la sociedad.

Conciliar las lógicas de adecuación y consecuencialista de los sistemas de IA significa explorar diferentes lógicas de acción que están formal e informalmente prescritas, autorizadas y permitidas, y cómo definen, a su vez, lo que está prohibido e ilegítimo para diferentes actores en diferentes circunstancias (March y Olsen, 2009). Así como Timón fue un intérprete de la predicción hecha por la Pitia en el Oráculo de Delfos, los sistemas de IA dependen de una actividad de interpretación crítica que requiere, a su vez, una gramática institucional guiada por normas que dan sentido a la acción (Crawford y Ostrom, 1995). Es decir, el mayor desafío para los sistemas de IA en la administración pública es que su aplicación ocurre dentro de arreglos de gobernanza que son capaces de crear una interpretación correcta del proceso de decisión autónomo.

3.1 Toma de decisiones sobre la adopción de sistemas de IA

Con estos valores en mente, es esencial crear estructuras de gobierno colaborativas, basadas en la participación de diferentes partes interesadas en el diseño de sistemas de IA. Una perspectiva de gobernanza colaborativa implica la construcción de un foro común en el que diferentes partes interesadas participan en la toma de decisiones orientada al consenso (Ansell y Gash, 2008). La colaboración apoya procesos de toma de decisiones más abiertos, basados en el consenso entre los actores. Asimismo, genera confianza entre los participantes y una comprensión compartida de los problemas, las reglas y los resultados previstos. El liderazgo político, en este sentido, juega un papel esencial en la creación de adhesión y participación de la sociedad.

Además de la gobernanza colaborativa, la coproducción de la adopción de sistemas de IA también puede afectar el diseño de los sistemas que se inserta en disputas comerciales, de justicia, éticas, multijurisdiccionales e internacionales. La adopción de la gobernanza colaborativa para el diseño de sistemas tiene el potencial de reducir disputas y conflictos sobre los procedimientos y técnicas que se adoptarán, con el fin de ampliar la rendición de cuentas y un mayor aprendizaje para enfrentar acciones preventivas contra sesgos, injusticias y vigilancia de sistemas (Amsler, Martínez y Smith, 2020).

3.2 Transparencia algorítmica y responsabilidad

Los sistemas de IA utilizan diferentes tipos de algoritmos, impactando directamente en la vida cotidiana de la sociedad. En consecuencia, la transparencia algorítmica y la responsabilidad son requisitos esenciales y desafiantes para la gobernanza de la IA. Al simular el pensamiento humano, los sistemas de inteligencia artificial utilizan datos previos y el historial de decisiones para producir una nueva decisión. Como el pasado es ambiguo y las decisiones se toman en el contexto de incertidumbres (March y Olsen, 1975), los algoritmos pueden reforzar los sesgos sociales constituyendo injusticias (Noble, 2018; Benjamin, 2019), distribuyendo los recursos de manera desigual (Eubanks, 2018) y reforzando el carácter tecnocrático de la administración pública (Janssen y Kuk, 2016). En el contexto de ambigüedades, donde los sistemas de IA ejercen funciones discrecionales en la administración pública, es necesario establecer mecanismos institucionales para promover la transparencia y la rendición de cuentas. Los algoritmos son “cajas negras” y pueden obstaculizar la confianza de la sociedad, generando la reproducción de problemas de gobernanza sin tecnologías digitales (Shull, 2019). La transparencia algorítmica es el elemento mediante el cual los ciudadanos pueden conocer cómo los sistemas de decisión autónomos toman decisiones que impactan en sus vidas (Diakopoulos, 2016; Hildebrandt, 2012).

La transparencia algorítmica es un desafío e implica diferentes condiciones cognitivas entre los diseñadores de sistemas y los usuarios que se ven afectados por estos sistemas (Fine Licht y Fine Licht, 2020). Tiene límites en las posibilidades del secreto, tanto en los gobiernos como en las empresas, y en las capacidades cognitivas de los ciudadanos para crear comprensión (Crain, 2018; Ananny y Crawford, 2018). Estos problemas cognitivos crean dificultades e implican desafíos para la transparencia algorítmica, requiriendo que no se “abra la caja negra” completa, sino que existan procesos de justificación de decisiones en la adopción de la IA, generando una percepción de legitimidad por parte de los usuarios y afectados por las acciones de los sistemas (Fine Licht y Fine Licht, 2020). Para ampliar el potencial de la transparencia algorítmica, los intermediarios del conocimiento pueden jugar un papel fundamental como intermediarios entre los diseñadores de sistemas y los gestores públicos y los ciudadanos (Xu, Ramanathan y Ramnath, 2014).

La transparencia es esencial para generar un sentido de responsabilidad. Además del derecho a saber, los sistemas de inteligencia artificial requieren estructuras de responsabilidad institucional. Debido a que afectan el proceso de toma de decisiones e influyen en la vida de los ciudadanos, estos deben asumir la responsabilidad y el juicio sobre las decisiones tomadas por los sistemas de IA que perjudican el interés público. Los funcionarios administrativos insertan sistemas de inteligencia artificial en cuestiones normativas y de cumplimiento con reglas y legitimidad de las decisiones, o incluso sobre las decisiones de los gerentes con respecto a la gobernanza de datos (Binns, 2018). Debido a que estos sistemas ejercen una función discrecional o tecnocrática en la administración pública, necesitan brindar retroalimentación, aprendiendo de la experiencia de la administración y con el consentimiento informado de los ciudadanos (Olsen, 2017). La rendición de cuentas se inserta en un complejo proceso de justificación y juicio de los actores ante un foro (Bovens, 2007). En este contexto, los sistemas de IA representan actores con poder de decisión, pero no representan a una persona que pueda ser considerada responsable o justificada en el foro. La principal limitación de la responsabilidad algorítmica es el hecho de que es posible que el foro no siempre pueda juzgar las acciones del agente. Como ya se ha dicho para las preocupaciones relacionadas con la transparencia algorítmica, los algoritmos son dinámicos y están compuestos por varias capas de sistemas basados ​​en un orden técnico. La responsabilidad algorítmica es un asunto de expertos y este trabajo implica reducir el alcance del foro en el proceso de promover la responsabilidad del algoritmo junto con sus diseñadores y desarrolladores. La responsabilidad aplicada a los algoritmos está sujeta a controversias y escrutinio sobre los valores y principios involucrados; requiere permanentemente la justificación de su uso para el bien público (Binns, 2018).

3.3 Gobernanza de Datos

Los sistemas de IA dependen de grandes volúmenes de datos para poder ampliar su capacidad predictiva (Domingos, 2015). Esto implica que la adopción de sistemas de IA en una administración pública depende de la capacidad de un gobierno para recopilar, almacenar, procesar y compartir datos entre las diferentes organizaciones que lo componen (Salvador y Ramió, 2020). Esta capacidad requiere, a su vez, una autoridad relacionada con la gobernanza de datos con el fin de proteger la privacidad de los ciudadanos, garantizar el uso seguro y, simultáneamente, proporcionar recursos para que los sistemas de IA puedan funcionar (Plotkin, 2013; Benfeldt, Persson y Madsen, 2020).

La gobernanza de datos es un recurso esencial para mejorar la construcción de soluciones de IA confiables, reduciendo los sesgos sistémicos, decisiones ilegales, crisis políticas y exposiciones financieras de los ciudadanos (Janssen ...[et al], 2020). Requiere estructuras institucionales sólidas para establecer una forma segura y confiable de administrar datos, un aspecto fundamental de la gobernanza, y que sean responsables de garantizar su calidad, validez y seguridad, administrar los riesgos y hacer que las organizaciones públicas manejen la información con cuidado e integridad (Dawes, 2010).

La gobernanza de datos requiere también que los administradores públicos sean cada vez más cuidadosos con la gestión del conocimiento (Aguilar, 2020), posibilitando no solo la expansión del big data, sino también la calificación de soluciones de inteligencia artificial que informan un nuevo estándar de la administración pública (Ramió, 2018 y 2019).

3.4 Validez y carácter explicable de los sistemas de IA

El principal desafío para la constitución de sistemas de IA es establecer su validez como instrumento de toma de decisiones y que sus procedimientos sean explicables. Se trata de cuestiones técnicas que convergen en el mismo problema de asimetría entre diseñadores de sistemas, formuladores de políticas y usuarios. Establecer la validez de los sistemas de IA significa pensar en múltiples cuestiones técnicas: 1) ¿se ha formulado correctamente el objetivo?; 2) ¿el sistema de IA está libre de errores de software?; 3) ¿el sistema de IA se basa en datos adecuadamente representativos?; 4) ¿puede el sistema de IA hacer frente a anomalías y fallas de datos inevitables?; y 5) ¿es el sistema de inteligencia artificial lo suficientemente preciso? (Hand y Khan, 2020). Las cuestiones técnicas son importantes cuando se trata de la validez de la herramienta digital, buscando la evaluación y análisis continuo de riesgos y cumplimiento (Freeman, 2020). Sin embargo, como los sistemas de IA en la administración pública representan tecnologías de poder, es fundamental cuestionar no solo su carácter técnico, sino también la legitimidad de la herramienta para resolver los problemas que afectan a la sociedad. Este proceso involucra entonces no solo las cuestiones técnicas, sino también políticas.

Cuestionar una solución de IA significa movilizar criterios hacia una lógica de adecuación, en términos democráticos. El desafío es encajar diferentes motivaciones y lógicas de acción en un proceso de coproducción de sistemas de IA para que estos encuentren reglas y normas, formales e informales, que permitan evaluar la experiencia y los resultados obtenidos. El proceso de coproducción debe observar la pluralidad de valores y resultados obtenidos en términos de las interpretaciones de las partes interesadas (Osborne, Strokosch y Radnor, 2018). La validez de los sistemas de IA depende de una motivación compleja que permite realizar pruebas basadas en valores plurales insertados en el proceso de interpretación de los resultados para anticipar cualquier problema en la adopción de tecnologías.

La gobernanza de la IA depende de un diseño de instituciones que consideren establecer normas para conciliar la lógica consecuencialista con una lógica de adecuación y producir tecnologías inmersas en normas y reglas democráticas, basadas en valores de cooperación. No se limita al aspecto regulatorio. La regulación es esencial para abordar cuestiones relacionadas con la privacidad de los ciudadanos, el control de los mecanismos de vigilancia y los incentivos para el uso adecuado de los datos. Pero la gobernanza de la IA también forma parte de las relaciones de poder, ya que los sistemas de IA toman decisiones discrecionales que afectan la vida de los ciudadanos, por lo que requiere de un diseño institucional complejo donde conviven diferentes estilos de políticas, mecanismos de mando y control regulatorios convergentes con la participación de redes, mecanismos de autogobierno y formas interactivas con la sociedad (Filgueiras y Almeida, 2020).

3.5 Gobernanza algorítmica

Los algoritmos son secuencias de instrucciones o pasos para resolver un problema o tarea en particular. Los seres humanos los han puesto a trabajar en todo tipo de procesos de toma de decisiones durante siglos. El uso de algoritmos en la gobernanza no es nuevo (por ejemplo, conjuntos predeterminados de reglas para la resolución de problemas y rutinas preestablecidas para la toma de decisiones del gobierno). Desde el advenimiento de la “analítica de big data”, se ha implementado un amplio espectro de algoritmos para guiar el análisis de datos y los resultados de gobernanza en la sociedad, que van desde rutinas que están completamente programadas por seres humanos hasta sistemas de inteligencia artificial que aprenden de big data y toman decisiones de gobernanza de forma autónoma.

En 1959, Arthur Samuel definió el aprendizaje automático como un “campo de estudio que brinda a las computadoras la capacidad de aprender sin estar programadas explícitamente”. Los algoritmos de aprendizaje automático son programas que “aprenden de la experiencia” y la exposición a los datos (Samuel, 1959), y que logran buenos resultados cuando son “supervisados” o “entrenados” en un conjunto de datos predefinido que incorpora ejemplos de entrenamiento. Además, los algoritmos de aprendizaje automático “no supervisados” pueden encontrar patrones y relaciones en conjuntos de datos relacionados con un problema específico sin estar capacitados. Con conjuntos de datos “más grandes” e incluso más “generalizados”, el aprendizaje automático se vuelve menos dependiente de los algoritmos codificados por humanos que dirigen los resultados y avanza hacia el objetivo de la inteligencia artificial general. El término inteligencia artificial, según la definición de Herbert Simon, se refiere en particular a los fenómenos que aparecen cuando las computadoras realizan tareas que, si las realizaran personas, requieren un pensamiento inteligente (Simon, 1969). Los algoritmos de aprendizaje automático son un subcampo de la IA.

Por ejemplo, la aplicación del rastreo de teléfonos móviles durante la pandemia de SARS-COV2 en China buscó formas de monitorear y vigilar el desapego social para prevenir un contagio rápido y aplanar la curva de contaminación. Tales medidas pueden cometer injusticias y crear zonas de exclusión. Los resultados de acciones gubernamentales como esta dependen de toda la cadena de comandos, basada en los datos de entrada, para constituir la solución al problema propuesto (Servick, 2020). Una preocupación aquí es cuán imparcial es realmente esta lógica programada y si respeta los derechos humanos y la calidad de los datos de entrada para que pueda tener soluciones efectivas y reales. De repente, los algoritmos son fundamentales para el proceso de políticas. Asimismo, en toda transformación digital, los algoritmos son fundamentales para la gobernanza. Los algoritmos hacen que las soluciones sean reales, incluso si son parciales o con fallas de gobierno.

Los gobiernos pueden utilizar sistemas algorítmicos de decisión en las políticas públicas en diferentes áreas, como educación, salud, sistemas de justicia penal y políticas sociales (Gillingham, 2015). Las herramientas digitales pueden cambiar el orden social mediante el análisis de los incentivos otorgados a varios actores políticos, que pueden predecirse mediante algoritmos, cumpliendo importantes funciones políticas (Danaher, 2016). Los algoritmos pueden filtrar y dirigir información para cambiar las percepciones de los ciudadanos, creando un contexto de mayor o menor confianza en el funcionamiento de las instituciones. Los algoritmos afectan la cultura, modifican el conocimiento y construyen realidades (Just y Latzer, 2017; Napoli, 2014).

La tendencia hacia la gobernanza algorítmica plantea muchos desafíos con respecto al sector privado y la toma de decisiones pública. La gobernanza del algoritmo es un componente del proceso digital, puede variar desde los puntos de vista estrictamente legales y regulatorios hasta un punto de vista puramente técnico. La opacidad inherente y la falta de transparencia en la gobernanza algorítmica pueden tener consecuencias significativas para la agencia humana y la responsabilidad. Lo esencial es que la gobernanza algorítmica pueda ser capaz de inculcar en el diseño de sistemas de inteligencia artificial, especialmente para la administración pública, valores que conduzcan al desarrollo de sistemas autónomos de decisión basados ​​en derechos humanos (Donahoe y Metzger, 2019), en parámetros éticos que orientan la práctica profesional de los analistas de datos (IEEE, 2019) y a los gestores públicos sobre los riesgos, problemas y desafíos que rodean la adopción de la inteligencia artificial en el sector público (Filgueiras y Almeida, 2020).