Box: el CTO advierte que solo el 14% frena un agente IA

Qué dijo el CTO de Box sobre los agentes de IA

Solo el 14% de las empresas podría apagar un agente de IA descontrolado en cuestión de minutos, según la encuesta de septiembre de VentureBeat que citó Ben Kus, CTO de Box, durante una entrevista con ese medio. Para un founder que está desplegando agentes sobre datos de clientes, esa cifra no es un dato de color: es la diferencia entre un incidente contenido y una brecha que se lleva por delante la confianza de tus usuarios.

Ben Kus pasó años en BigFix (adquirida por IBM) parchando vulnerabilidades a escala empresarial. Ahora lidera la tecnología de una compañía donde, según dijo en la entrevista, el 95% del código y del trabajo se dedica a permisos, seguridad y compliance. Ese detalle explica su tesis: en un mundo donde los agentes ejecutan tareas, la ventaja de un SaaS no está en el modelo, sino en el sistema de registro que lo alimenta.

El punto de partida de Kus es incómodo. Durante años, el hacking de élite fue un recurso caro y escaso, reservado a grupos patrocinados por Estados o por el crimen organizado. Con agentes de IA, ese mismo nivel de capacidad se volvió barato y replicable: en lugar de un atacante, se despliega un enjambre. 'La idea del hacking de élite es ahora un recurso mucho más disponible', dijo.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

La trifecta letal: la regla que deberías aplicar hoy

Kus resume el riesgo en una fórmula que en la industria se conoce como la trifecta letal: un agente con input no confiable, acceso a datos sensibles y capacidad de comunicarse con el exterior es un problema. No importa cuán bueno sea el modelo; importa la combinación.

Su receta es reforzar los salvaguardas alrededor de al menos uno de los tres vértices. En Box, que almacena datos críticos de sus clientes, la decisión fue limitar severamente la capacidad del agente de comunicarse hacia afuera. La compañía implementó lo que llama action guardrails: el agente vive en un entorno aislado y, aun si se desalinea, el daño queda contenido dentro de ese sandbox.

Hay una buena noticia en el frente de los modelos. Kus señaló que los modelos más recientes de Anthropic bajaron la tasa de éxito de los ataques de prompt injection del 60% a cerca del 2%. Un análisis de Help Net Security sobre Claude Haiku 5.5 confirma esa dirección: la compañía lo describe como su modelo Haiku más resistente a la inyección de prompts hasta la fecha, con tasas de rechazo de pedidos maliciosos que subieron del 66,6% al 84,3% en pruebas sobre Claude Code.

Aun así, Kus es explícito: la resistencia del modelo es un piso, no un techo. La limpieza del input y los controles de acción siguen siendo responsabilidad de quien despliega.

El problema de las credenciales compartidas

Un dato que debería encender alarmas: el 44% de las empresas encuestadas por VentureBeat dijo que la mayoría de sus agentes comparten credenciales o corren con las de una persona. Kus distingue dos escenarios. Darle a un agente las credenciales propias tiene sentido cuando es tu asistente, lo monitoreas y sabes qué está haciendo. El problema aparece con los agentes que corren en segundo plano: les das un trabajo, no una instrucción, y siguen operando sin supervisión.

Su recomendación práctica es darle identidad propia al agente. 'Voy a esforzarme por darle su propia identidad', dijo, para interactuar con él como con un asistente que no tiene acceso a su correo. La alternativa —un agente autónomo con tu identidad y acceso a tu bandeja de entrada— es, en sus palabras, bastante aterradora.

Por qué el RAG tradicional se rompe en la empresa

La segunda mitad de la conversación se fue a la recuperación de contexto, y aquí hay material directo para cualquier equipo que esté construyendo sobre documentos. Kus desarmó el RAG clásico con tres fallas concretas:

Permisos: si metes todos los datos en el mismo índice vectorial, cualquiera que consulte accede a todo. Construir una capa de permisos que funcione a escala es, dijo, 'extrañamente difícil'.
Degradación del espacio vectorial: cuanto más contenido agregas, más probable es que devuelva resultados raros, porque la distancia entre significados se acorta.
Búsqueda léxica pobre: los vectores no distinguen bien entre cosas parecidas. Pedir el podcast de una persona y recibir el de otra es el síntoma típico.

El sistema de recuperación de contexto de Box combina embeddings híbridos, reciprocal rank fusion y búsqueda agéntica. Según Kus, entrega una reducción del 90% en el costo de tokens y una mejora de 4 a 5 veces en velocidad frente a la recuperación ingenua que ofrecen los proveedores de modelos.

Vale el contexto: en una empresa, apenas el 10% de los datos está estructurado en bases de datos. El otro 90% son archivos, contratos y documentos que nadie indexó bien. Ahí está la oportunidad —y el problema— de la próxima generación de SaaS.

El harness, no el modelo: la advertencia para quien cambia de LLM

Uno de los datos más útiles de la entrevista: el 59% de las empresas que cambiaron de modelo en producción vieron caer su rendimiento. Kus atribuye la caída al harness —la capa de código que envuelve al modelo: prompts, herramientas, recuperación y guardrails— y no al modelo en sí.

Traducido a la práctica: si tu producto funciona bien con un modelo y decides migrar porque apareció uno más barato o más potente, el riesgo no está en el benchmark. Está en todo lo que construiste alrededor y que ahora hay que reajustar.

Qué significa esto para tu startup

Si estás desplegando agentes sobre datos de clientes, la conversación de Kus se traduce en decisiones concretas:

Audita la trifecta letal de cada agente. Haz una lista: ¿recibe input que no controlas? ¿Toca datos sensibles? ¿Puede enviar información al exterior? Si las tres respuestas son sí, aísla al menos una. La forma más barata suele ser cortar la salida: sin canal de comunicación, la exfiltración se vuelve mucho más difícil.
Mide tu tiempo de apagado. La encuesta de VentureBeat mostró que solo el 14% de las empresas puede detener un agente descontrolado en minutos. Prueba tu propio kill switch antes de que lo necesites: si tardas horas en apagarlo, tienes un problema de arquitectura, no de suerte.
Deja de compartir credenciales humanas. Da a cada agente su propia identidad con permisos acotados y auditables. Es más trabajo al principio y te ahorra el peor escenario: un agente comprometido operando con los accesos de una persona.
Prueba el harness antes de migrar de modelo. Antes de cambiar de LLM en producción, corre tus evaluaciones con el modelo nuevo y con el viejo sobre el mismo harness. Si el rendimiento cae, el problema probablemente no sea el modelo.

La tesis de fondo: el sistema de registro no desaparece

Kus rechaza la idea de que los agentes generales vayan a comerse a los SaaS. Su argumento: Claude, ChatGPT o Gemini no van a almacenar un petabyte de datos empresariales ni a gestionar los permisos, el compliance y la retención de diez millones de archivos. En TechTarget, Kus lo planteó así: la mejor práctica es que cada SaaS construya sus agentes para hacer lo que mejor sabe hacer en su propia plataforma, y que los agentes generales toquen a la puerta de los sistemas de registro y deleguen.

Ese mismo medio reportó que Box lanzó Box Agent para suscriptores premium, con capacidad de buscar en datos empresariales, analizar contratos y generar archivos en formatos de Microsoft 365 y PDF, además de un constructor de agentes en Box AI Studio. La apuesta es clara: no competir en orquestación, sino ser el sistema de registro al que los agentes de otros acuden.

Para un founder, la lectura es doble. Si tu producto es un sistema de registro, tu foso defensivo es la seguridad, los permisos y la gobernanza, no la interfaz. Si tu producto es una capa de productividad, tu riesgo es quedar como un conector reemplazable si no te vuelves dueño de algún dato o proceso crítico.

Conclusión

La entrevista de Kus deja una idea que aplica a cualquier startup, tenga o no un CTO con veinte años en seguridad: la seguridad dejó de ser un requisito de compliance y se volvió una decisión de arquitectura de producto. Los agentes amplifican lo que ya tenías —si tus permisos eran un desastre, ahora el desastre se ejecuta solo y a velocidad de máquina.

La buena noticia es que las piezas están disponibles: modelos más resistentes a la inyección de prompts, patrones como la trifecta letal y sistemas de recuperación de contexto que reducen costos de forma medible. La mala es que, según los propios números que se discutieron en la entrevista, la mayoría de las empresas todavía no puede apagar un agente en minutos. Ese es el hueco donde se gana o se pierde la confianza del cliente.