La Nación: el Estado no debe delegar su conciencia en la IA

¿Puede un algoritmo formular políticas públicas?

26.000 personas quedaron afectadas en Países Bajos por un sistema de perfiles de riesgo que acusó por error a miles de familias de fraude con subsidios. Ese episodio es el punto de partida de una columna publicada en La Nación que plantea una pregunta incómoda para cualquiera que venda tecnología al sector público: ¿puede un algoritmo participar en la formulación de políticas públicas o su papel debe limitarse a mejorar su implementación?

La respuesta del texto se apoya en una distinción que conviene tener a mano: una cosa es automatizar operaciones y otra muy distinta es transferir autoridad. Automatizar agiliza trámites, reduce errores y mejora tiempos de respuesta. Transferir autoridad implica decidir quién recibe un beneficio, qué riesgos son aceptables, qué derechos prevalecen y cómo se distribuyen los recursos públicos. Eso no es una decisión técnica: es política.

El debate tampoco es nuevo. La columna recupera la discusión que Charles Lindblom, Aaron Wildavsky y Yehezkel Dror mantuvieron en la segunda mitad del siglo XX sobre si los gobiernos podían planificar racionalmente sus decisiones o si las políticas surgen de la negociación, el conflicto y el aprendizaje. La IA cambia las condiciones tecnológicas de esa discusión, pero no elimina su núcleo político.

El Estado orquestador: la metáfora que ordena el debate

El texto propone dejar de imaginar un Estado automatizado y empezar a pensar en un Estado orquestador. La imagen es la de una orquesta: reunir músicos excelentes no produce una obra; hacen falta una partitura, una dirección y una escucha permanente. Los agentes de IA pueden ejecutar tareas especializadas —buscar información, clasificar casos, detectar inconsistencias, proponer cursos de acción—, pero corresponde al Estado definir el mandato, fijar las reglas de interacción y corregir desvíos cuando los resultados contradicen el interés público.

El ejemplo que usa la columna es cotidiano y clarifica el límite. El nacimiento de un niño podría activar automáticamente la inscripción registral, la cobertura sanitaria y las prestaciones sociales, sin que la familia recorra oficinas ni presente la misma documentación dos veces. La interoperabilidad resuelve el trámite. Lo que no resuelve son las preguntas de fondo: qué prestaciones corresponden, qué datos alcanzan para acreditarlas, qué excepciones se contemplan y cómo impugna una persona una decisión equivocada. La tecnología acelera el procedimiento; no define los criterios que lo justifican.

¿Por qué la eficiencia no equivale a legitimidad?

Toda optimización presupone que alguien definió antes qué significa mejorar. Reducir tiempos de espera, maximizar cobertura o bajar costos son objetivos cuantificables. Lo que ningún sistema puede decidir es cuál de esos objetivos tiene prioridad cuando entran en conflicto.

La columna lo formula con una idea que vale guardar: los datos describen regularidades, mientras que la política crea horizontes. Un modelo entrenado con información histórica tiende a reproducir los patrones existentes y a perfeccionar soluciones conocidas. Las democracias, en cambio, avanzan cuando cuestionan esas regularidades: ampliando derechos, corrigiendo desigualdades o redefiniendo prioridades colectivas.

Por eso el texto considera insuficiente la fórmula conocida como human-in-the-loop, donde una persona supervisa la decisión automatizada. Un funcionario que solo convalida la recomendación del sistema se convierte en un intermediario burocrático. La propuesta es una democracy-in-the-loop: que la deliberación, la autorización y el control democrático existan desde el diseño y no como una capa añadida al final. Antes de desplegar un algoritmo deberían discutirse públicamente sus objetivos, las categorías que usará, los datos que podrá consultar, su grado de autonomía y las vías de impugnación disponibles para cualquier ciudadano.

El caso Países Bajos: cuando el algoritmo agrava la injusticia

La advertencia no es teórica. Según Digital Journal, el escándalo de los subsidios infantiles en Países Bajos derivó en la dimisión del gobierno de Mark Rutte, después de que una investigación parlamentaria concluyera que funcionarios cortaron beneficios a miles de familias acusadas por error de fraude entre 2013 y 2019. Medios neerlandeses cifraron en unas 26.000 las personas afectadas, y se reveló que las autoridades fiscales hicieron perfilado racial sobre 11.000 personas a partir de su doble nacionalidad. El gobierno anunció una compensación de al menos 30.000 euros por cada progenitor acusado injustamente.

La lección, según la columna, no es que la IA sea incompatible con el Estado de derecho, sino que la eficiencia tecnológica puede agravar las injusticias cuando faltan transparencia, revisión efectiva y mecanismos de reparación.

Singapur: simular escenarios no es elegir fines

En el otro extremo está Singapur. Según el Observatorio de Innovación del Sector Público de la OCDE, la autoridad de tierras del país desarrolló Virtual Singapore, el primer gemelo digital de un país, construido con escaneo láser aéreo y terrestre. La plataforma permite simular escenarios urbanos —riesgo de inundación, flujos de transporte, respuesta ante desastres— antes de ejecutar proyectos reales.

La diferencia con el caso neerlandés es de diseño, no de tecnología. En Singapur la IA mejora la información disponible para quienes deciden; no sustituye la decisión. Un sistema puede ayudar a comprender mejor las consecuencias de una política, pero no puede establecer cuáles de esas consecuencias son socialmente deseables.

¿Qué exige la regulación a la IA que decide sobre personas?

El marco legal ya se movió en esa dirección. Según TechTimes, las obligaciones de transparencia del artículo 50 del reglamento europeo de IA son exigibles desde el 2 de agosto de 2026, mientras que las evaluaciones de conformidad para sistemas de alto riesgo del Anexo III se postergaron al 2 de diciembre de 2027 para sistemas independientes y al 2 de agosto de 2028 para los embebidos en productos regulados.

El Anexo III cubre, entre otras categorías, selección de personal, scoring crediticio, orden público, control migratorio y administración de justicia. Las entidades públicas que despliegan IA en contextos laborales deben conservar registros de interacción durante al menos seis meses y realizar evaluaciones de impacto sobre derechos fundamentales. Las multas por incumplir el artículo 50 llegan a 15 millones de euros o el 3% de la facturación global, y las prácticas prohibidas alcanzan los 35 millones de euros o el 7%.

La infraestructura de control, sin embargo, es desigual. El mismo medio señala que España, a través de su agencia AESIA, publicó dieciséis guías prácticas de cumplimiento, mientras que otros Estados miembros ni siquiera habían designado autoridad competente. Y una encuesta de Vision Compliance citada por TechTimes encontró que, hacia abril de 2026, el 78% de las organizaciones no había dado pasos concretos de cumplimiento, el 74% no tenía un responsable interno asignado y el 61% carecía de procesos para generar la documentación técnica exigida.

Fuera de Europa el panorama es fragmentado. The Straits Times resume que Estados Unidos no tiene una ley federal integral —Colorado aprobó una norma en 2024 que luego fue derogada y reemplazada por una versión más acotada—, que China exige registrar los servicios de IA que considera capaces de moldear la opinión pública y que Singapur apuesta por marcos voluntarios y reglas sectoriales.

¿Qué significa esto para tu startup?

Si vendes software al sector público o construyes sistemas que deciden sobre personas, este debate ya tiene consecuencias comerciales. Tres movimientos concretos:

• Clasifica tu producto antes de venderlo. Si tu sistema interviene en selección de personal, acceso a crédito, elegibilidad de beneficios sociales, migración o justicia, estás en territorio de alto riesgo en la Unión Europea. La fecha límite de diciembre de 2027 no es una pausa: la documentación técnica, el sistema de gestión de calidad y el diseño de supervisión humana llevan meses de trabajo.
• Separa automatización de autoridad en la arquitectura. Deja un punto de decisión humana documentado y una vía de impugnación visible para el usuario final. Si tu producto opera en contexto laboral para un organismo público, prepara el registro de interacciones con al menos seis meses de retención.
• Convierte la orquestación en propuesta de valor. La idea del Estado orquestador abre un mercado concreto: plataformas que coordinan agentes especializados bajo un mandato definido por la institución, con trazabilidad y auditoría. Vender automatización total a un gobierno hoy es vender un riesgo reputacional.

Para founders en LATAM y España, la ventaja competitiva está en diseñar explicabilidad e impugnación desde el primer sprint. El caso neerlandés muestra que el costo de no hacerlo no se paga solo en multas: se paga en la caída de un gobierno.

Conclusión

La columna de La Nación deja una distinción que ordena todo lo demás: la implementación puede automatizarse parcialmente; la legitimidad política, no. Un Estado orquestador no reemplaza su juicio por una constelación de agentes inteligentes: usa esas capacidades para ejecutar mejor sus políticas y conserva la obligación de justificar las reglas que las orientan y de responder públicamente por sus consecuencias. La eficiencia en la articulación de los medios puede ser un atributo de los algoritmos; la inteligencia social aplicada a la elección de los fines sigue siendo una responsabilidad indelegable de la democracia.

Fuentes

• La Nación (fuente original)
• Digital Journal
• TechTimes
• OCDE - Observatorio de Innovación del Sector Público
• The Straits Times