Amazon: human-in-the-loop AI falla por inconsistencia humana

¿Por qué Amazon cuestiona el human-in-the-loop como estándar de oro?

Eric Brandwine, VP y distinguished engineer de Amazon Security, declaró el 20 de junio de 2026 que el modelo de supervisión humana constante en sistemas de IA «no es necesariamente el gold standard» que las empresas creen. Su afirmación desafía uno de los principios más aceptados en gobernanza de IA empresarial.

«Los humanos no son terriblemente consistentes», dijo Brandwine en una entrevista con The Register. «Si pones a un humano dentro de este bucle estrecho y le pides que tome decisiones de aprobación para herramientas agenticas repetidamente, lo hará bien al principio. Luego lo hará más o menos bien. Y muy rápido estará haciendo un trabajo pobre».

Esta declaración llega en un momento crítico: después de que un agente de IA de Amazon causara interrupciones en sitios de retail en marzo de 2026 al seguir consejos internos desactualizados, la compañía reforzó sus salvaguardas de despliegue. El incidente expuso las limitaciones de depender exclusivamente de revisiones humanas manuales en sistemas de alta velocidad.

👥 ¿Quieres ir más allá de la noticia?

En nuestra comunidad discutimos las tendencias, compartimos oportunidades y nos ayudamos entre emprendedores. Sin humo, solo acción.

👥 Unirme a la comunidad

¿Qué es la «normalización de la desviación» y por qué importa?

Brandwine ilustró su punto con el concepto de «normalización de deviance» (normalización de la desviación), un término de seguridad operacional que describe cómo los operadores humanos gradualmente aceptan atajos inseguros cuando están expuestos repetidamente a situaciones de riesgo sin consecuencias inmediatas.

El ejecutivo comparó la no-determinística humana con la no-determinística de los sistemas modernos basados en LLM. Ambos exhiben variabilidad en su comportamiento según el contexto, la fatiga y las condiciones operativas. «Literalmente, la vida de alguien está en juego, y las personas aún luchan por mantener la disciplina», dijo Brandwine. «Esa es la condición humana».

Este fenómeno está documentado en literatura de seguridad, especialmente en análisis de eventos como la fatiga de alarmas en entornos clínicos, donde profesionales de la salud dejan de responder a alertas después de exposiciones repetidas a falsos positivos.

¿Qué alternativas técnicas propone Amazon en lugar de supervisión humana constante?

En lugar de depender de aprobaciones humanas para cada acción, Amazon implementa un enfoque de «defensa en profundidad» con múltiples capas de control técnico:

Identidades independientes para agentes de IA: Cada agente recibe credenciales propias y trazables, no comparte permisos con usuarios humanos.

Permisos scoped (delimitados): Las políticas de acceso se ajustan dinámicamente según la tarea específica del agente. Un agente que genera código no tiene los mismos privilegios que uno que despliega infraestructura.

Límites estáticos para acciones destructivas: Guardrails técnicos que impiden físicamente que un agente elimine servidores completos o realice operaciones irreversibles, independientemente del prompt que reciba.

Logging y análisis automatizado: Cada acción del agente se registra y se analiza en tiempo real para detectar anomalías antes de que escalen.

Revisión humana solo en puntos de excepción: Los humanos intervienen cuando se superan umbrales de riesgo predefinidos, no en cada decisión rutinaria.

Automated Reasoning Checks: Amazon lleva más de una década desarrollando capacidades de razonamiento automatizado que usan lógica formal para verificar respuestas con hasta 99% de precisión, combinando la flexibilidad de LLMs con la confiabilidad de pruebas matemáticas.

Brandwine enfatizó que esto no significa eliminar completamente la supervisión humana: «Es algo que debes usar juiciosamente, donde absolutamente lo necesitas. Pero no es algo que puedas hacer a alta velocidad. No obtendrás los resultados que quieres obtener».

¿Cómo reacciona la industria tech ante este debate?

La postura de Amazon no es aislada. Google Cloud ha expresado una visión similar, aunque con matices distintos. Francis deSouza, COO de Google Cloud, declaró en abril de 2026 durante Google Cloud Next: «Es muy claro que hemos pasado de una estrategia de defensa liderada por humanos, a una estrategia de defensa con humanos en el bucle, a una estrategia de defensa liderada por IA que es supervisada por humanos».

DeSouza añadió: «Nuestro modelo para el futuro es una flota agentica que hace mucho del trabajo rutinario de ciberseguridad a velocidad de máquina y luego es supervisada por humanos». Esta posición es compatible con la de Amazon, aunque Google no ha sido tan explícito en su escepticismo sobre el human-in-the-loop tradicional.

La cobertura mediática ha interpretado los comentarios de Brandwine como parte de un cambio más amplio hacia controles técnicos en capas en lugar de simples bucles de aprobación humana. The Register presentó las declaraciones como notables porque desafían un eslogan de gobernanza ampliamente usado en seguridad de IA.

¿Qué significa esto para tu startup?

Si estás implementando agentes de IA en tu startup o evaluando herramientas de automatización, las declaraciones de Amazon Security ofrecen lecciones prácticas que puedes aplicar inmediatamente, independientemente del tamaño de tu operación.

Primero, entiende que la supervisión humana constante no escala. Si tu equipo está revisando manualmente cada output de IA antes de publicarlo o ejecutarlo, estás creando un cuello de botella que se volverá insostenible a medida que aumentes el volumen. Además, la calidad de esas revisiones degradará con el tiempo debido a la fatiga decisional.

Segundo, implementa guardrails técnicos antes de depender de procesos humanos. En lugar de pedirle a un empleado que verifique que un agente no elimine datos críticos, configura permisos que imposibiliten físicamente esa acción. Usa identidades separadas para tus agentes, limita sus privilegios al mínimo necesario para cada tarea, y habilita logging detallado.

Tercero, diseña puntos de escalación inteligentes. Define umbrales de riesgo claros que disparen revisión humana. Por ejemplo: revisiones automáticas para cambios en producción que afecten a más del 10% de usuarios, o aprobaciones manuales obligatorias para cualquier operación que involucre datos sensibles o pagos.

Acciones concretas que puedes implementar esta semana:

Audita los permisos de tus herramientas de IA: Identifica qué agentes o integraciones tienen acceso amplio y reduce sus privilegios al mínimo necesario. Si usas GitHub Copilot, Cursor o similares, revisa qué repositorios pueden acceder y qué acciones pueden ejecutar automáticamente.
Establece políticas de excepción documentadas: Crea un documento simple que defina cuándo un humano debe intervenir (ej. despliegues a producción, cambios en pricing, acceso a datos de clientes) y cuándo la automatización puede proceder sin aprobación. Comparte esto con todo tu equipo técnico.
Implementa logging básico si no lo tienes: Usa herramientas gratuitas o de bajo costo como CloudWatch (AWS), Stackdriver (Google Cloud) o soluciones open-source para registrar acciones de tus agentes de IA. Esto te permitirá investigar incidentes y detectar patrones problemáticos antes de que escalen.
Considera razonamiento automatizado para casos críticos: Si tu startup opera en sectores regulados (fintech, healthtech), evalúa herramientas que usen verificación formal o pruebas automatizadas para validar outputs de IA antes de ejecutarlos.

La lección central es clara: la gobernanza efectiva de IA no se trata de elegir entre humanos o máquinas, sino de diseñar sistemas donde los humanos intervengan en los momentos correctos, respaldados por controles técnicos que hagan difícil o imposible cometer errores catastróficos.