STJ: 116 casos de comandos ocultos y alerta por agentes IA

¿Qué encontró el STJ en los documentos judiciales?

El Superior Tribunal de Justicia (STJ) de Brasil escaneó casi 6 millones de piezas procesales con un sistema de monitoreo y detectó 116 casos sospechosos de comandos ocultos. Tras análisis humano, 40 se confirmaron: un caso por cada 150.000 piezas. El balance lo presentó el ministro Luis Felipe Salomão, presidente del STJ, en un evento el miércoles 11.

El problema ya había llegado antes a los tribunales. Un reportaje de Fantástico emitido el 1 de noviembre mostró cómo abogados insertaron instrucciones escondidas en documentos para intentar influir en herramientas de IA usadas por jueces. Se identificaron 83 episodios y la práctica ya derivó en multas en el STJ y en el Supremo Tribunal Federal (STF).

La técnica se conoce como prompt injection o inyección de comandos: instrucciones ocultas dentro de contenido que una IA va a leer, casi imperceptibles para una persona. Pueden estar en letras blancas sobre fondo blanco, en fuentes diminutas o en códigos embebidos en los archivos.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Qué es el prompt injection y por qué los agentes de IA lo agravan?

La vulnerabilidad existe porque la herramienta no distingue con certeza si lo que procesa es la orden del juez o una orientación oculta de otra persona, como el abogado de una de las partes. El especialista en ciberseguridad Matheus Vasconcelos explica que estos ataques explotan la dificultad de los sistemas para diferenciar el contenido que deben analizar de las instrucciones que deben ejecutar: «existen mecanismos para diferenciar esas orígenes, pero pueden fallar, especialmente cuando el comando malicioso se presenta como una orientación oficial o una etapa necesaria del trabajo».

Hasta aquí, el riesgo tiene un freno humano. En el uso más común, la persona escribe un pedido y decide qué hacer con la respuesta. Un agente de IA va más allá: se configura para cumplir una tarea y recibe permisos para actuar en nombre del usuario —abrir archivos, navegar en internet, completar formularios, leer y enviar correos o ejecutar programas— y encadena esas acciones solo hasta terminar el trabajo, sin que nadie apruebe cada paso.

Según Marmelstein, secretario general de la Enfam e integrante del grupo de trabajo que elaboró la regulación del CNJ sobre IA, ahí está el salto de riesgo: los agentes aprietan botones, ejecutan códigos y crean documentos, y al hacerlo pueden ser inducidos a correr un código malicioso capaz de tomar credenciales o datos. El ejemplo hipotético es concreto: un agente encargado de organizar las piezas de un proceso encuentra, escondida en letras blancas sobre fondo blanco, la instrucción de enviar la lista de procesos bajo secreto de justicia del despacho a una dirección externa. Puede ejecutarla sin que el juez lo sepa. El magistrado afirma que el CNJ ya estudia posibles vulnerabilidades de los sistemas de la Justicia vinculadas a estos agentes.

¿Qué está haciendo el Poder Judicial brasileño?

En mayo, el Comité Nacional de Inteligencia Artificial del Poder Judicial aprobó el PROSEG-IA, un programa de seguridad adversarial para sistemas de IA del Poder Judicial que crea un frente permanente contra riesgos de manipulación. En junio de este año, el CNJ aprobó orientaciones para reducir el riesgo de comandos ocultos, que complementan la regulación de 2025: supervisión humana obligatoria, mecanismos de seguridad y gobernanza.

Las reglas permiten usar IA para resumir documentos, organizar pruebas, investigar decisiones anteriores y preparar un borrador de decisión. No permiten delegarle las etapas centrales del juicio, como la valoración de pruebas o la decisión de fondo. En un proceso penal, eso incluye decidir si el reo es condenado y qué pena cumple.

La adopción, mientras tanto, ya es masiva. Un relevamiento del CNJ referido a 2024 identificó 178 proyectos de IA en los tribunales, y 45,8% de los tribunales y consejos participantes ya usaban IA generativa. Entre los servidores consultados, ChatGPT era usado por 96% de los magistrados y 94% del resto de los empleados. Y 83% dijo no informar cuándo usaba la tecnología en el trabajo.

El cuello de botella es la fiscalización. Un informe de FGV Direito SP publicado en 2026 señala que el movimiento es prometedor pero todavía insuficiente: faltan detalle técnico, estándares mínimos de auditoría, mecanismos de fiscalización y coordinación normativa. La resolución de 2025 no obliga a los magistrados a informar cuándo usaron IA en una decisión ni cómo, aunque exige registro interno cuando la tecnología ayuda a redactar el acto judicial.

¿Cuánto está en juego para las empresas?

El problema no es exclusivo del sector legal. En los últimos cinco meses, Google y otras cuatro organizaciones reconocieron vulnerabilidades que aprovechan un agente dentro de una red para propagar instrucciones dañinas a otros agentes internos, según Ars Technica. El investigador independiente Syed Anas Mohiuddin probó agentes de organizaciones como Google, JP Morgan Chase, Weaviate, Rapid7, la dirección digital interministerial del gobierno francés y el gobierno federal de Estados Unidos, explotando fallas de confianza en MCP (Model Context Protocol), el protocolo con el que las aplicaciones y agentes de IA se comunican dentro de una red interna.

El mercado lo refleja. El mercado global de seguridad de modelos de IA estaba valuado en USD 1.100 millones en 2025 y se estima en USD 1.680 millones en 2026, con proyección de USD 17.350 millones para 2036 y un CAGR de 26,2%, según el informe de ResearchAndMarkets difundido el 5 de noviembre. El mismo informe cita que IBM reportó en julio de 2025 que 13% de las organizaciones había sufrido brechas relacionadas con modelos o aplicaciones de IA, y que el prompt injection encabeza el OWASP Top 10 para aplicaciones de LLM.

En América Latina el contexto es igual de exigente: las empresas colombianas reciben en promedio 4.090 ciberataques por semana, la segunda cifra más alta de la región, según Check Point Research citado por ITSitio.

¿Qué significa esto para tu startup?

Si tu equipo ya conectó un agente a correo, Drive, CRM o un repositorio de código, tienes el mismo problema que el CNJ está tratando de resolver, solo que sin un comité nacional mirándolo. Tres acciones concretas para esta semana:

Aplica mínimo privilegio por tarea. Matheus Vasconcelos lo plantea sin vueltas: un agente que resume un proceso debería recibir solo los documentos de esa tarea, no acceso a otros procesos ni permiso para enviar mensajes o alterar registros. El experto en seguridad Sergey Chubarov mostró el caso extremo en una simulación: un agente que revisaba una factura de USD 125 fue manipulado para registrar un pago de USD 999 a un destinatario controlado por el atacante, porque la herramienta aceptaba la propuesta con las credenciales válidas del agente. La tarea autorizaba revisar, no pagar.
Separa datos de instrucciones y exige aprobación humana proporcional al riesgo. El experto Jordi García Castillón, director de CibraLAB, recomienda tratar todo documento externo como contenido no confiable, registrar la actividad de cada agente y hacer pruebas específicas de inyección de instrucciones antes de conectarlo a sistemas críticos. La supervisión debe escalar según la sensibilidad de los datos, no aplicarse igual a todo.
Mantén un registro de agentes con dueño, ciclo de vida y permisos. Chubarov sugiere empezar por una sola acción sensible —un pago, un reembolso, un cambio de privilegios—, mapear cómo un agente puede iniciarla y poner el control en el punto de ejecución, no en la identidad del agente. Un token válido no equivale a permiso para esa acción, y una aprobación humana deja de servir si el monto o el destinatario cambian después.

El dato que debería preocupar a cualquier founder: según el índice de confianza cibernética de WatchGuard, solo 32% de los empleados verifica siempre la información generada por IA antes de actuar. Si la revisión humana ya es inconsistente en el uso básico, no hay razón para asumir que cada acción de un agente pasará por un control exhaustivo.

Conclusión

La Justicia brasileña está midiendo en tiempo real lo que muchas startups todavía no midieron: cuántas instrucciones ocultas entran a sus sistemas y cuántos permisos tienen sus agentes. El prompt injection dejó de ser un riesgo teórico de laboratorio y ya generó multas en el STJ y el STF. La lección para un founder es de secuencia, no de tecnología: define qué puede hacer cada agente antes de darle acceso, no después. Un agente que solo puede leer no puede filtrar lo que no debería enviar.