OpenAI: Codex diagnostica 600 regresiones de ChatGPT

Qué es Performance Factory y por qué OpenAI lo construyó

Más de 1.700 investigaciones rastreadas y más de 600 causas raíz identificadas en poco más de tres meses. Ese es el resultado que OpenAI reporta de Performance Factory, un sistema interno de IA impulsado por Codex que automatiza la investigación y la mitigación de regresiones de rendimiento, y que la empresa ya usa para mantener ChatGPT rápido, según un informe de ingeniería compartido en exclusiva con VentureBeat.

El promedio resultante es de 17 investigaciones automatizadas por día. Para un founder, la lectura es directa: el cuello de botella del desarrollo se movió. Ya no está en escribir código, sino en verificar que lo que se escribió no rompió nada.

El problema que resuelve es concreto. Cuando una actualización de software ralentiza una aplicación, los ingenieros deben inspeccionar métricas, trazar peticiones entre servicios, identificar el código responsable y probar soluciones. Con agentes de IA asumiendo la mayor parte de la escritura y modificación de código, esa revisión manual se convierte en uno de los principales cuellos de botella del ciclo de desarrollo.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Vale aclarar qué separa a un agente de un chatbot, porque de eso depende todo lo demás. Según un paper de OpenAI con investigadores de Columbia Business School y Wharton reportado por TechTimes, el 60,3% de las sesiones de Codex invocó al menos una herramienta externa en la semana previa al 11 de junio, frente al 21,9% de las sesiones de ChatGPT. Un agente no responde: ejecuta, evalúa y vuelve a decidir.

De 30 herramientas propias a un flujo con agentes

El equipo de performance de OpenAI empezó con investigación manual: logs, trazas, cambios de código y depuración en sistemas en vivo. Para ordenar ese trabajo construyó más de 30 herramientas especializadas.

Codex cambió el punto de partida. Los ingenieros podían preguntarle por qué un servicio se había vuelto más lento y el agente investigaba logs y usaba herramientas para responder. Pero seguían siendo ellos quienes dirigían el proceso.

El salto vino con perf-forensics, una skill reutilizable de Codex que captura los procedimientos de investigación del equipo para que el agente los reproduzca. Después de probarla y refinarla, OpenAI pudo darle a Codex una alerta de rendimiento y recibir un diagnóstico en una sola ejecución.

En ese punto los ingenieros eran intermediarios: copiaban alertas en Codex y pegaban los hallazgos en Slack. La conexión natural fue enlazar las alertas directamente con sesiones de Codex en la nube. Como las investigaciones terminaban en un diagnóstico que igual requería revisión e implementación humana, el equipo construyó primero un sistema de seguimiento de regresiones y luego se dio cuenta de que cada regresión podía convertirse en una tarea que Codex investigara y avanzara por etapas.

Cómo funciona: cuatro componentes y un revisor adversarial

Performance Factory organiza el trabajo en tareas que avanzan por flujos predefinidos: alerta, investigación, causa raíz, cambio de código, revisión y verificación. Cada tarea guarda su estado y sus hallazgos por separado, para que distintos agentes trabajen sobre el mismo problema en etapas diferentes.

Los cuatro componentes son:

  • Servicio de tareas: almacena las tareas y su progreso. Los ingenieros definen los flujos en archivos de configuración y aportan prompts en markdown que determinan qué debe hacer el agente en cada etapa.
  • Bucle de despacho: revisa periódicamente las tareas y, cuando una está lista para avanzar, abre una sesión de Codex y se la asigna. El agente registra sus hallazgos y actualiza la tarea al terminar.
  • API interna para ejecutar Codex en la nube: los agentes operan en entornos con acceso a los repositorios de código y a la infraestructura de observabilidad de OpenAI, con permisos controlados y registro de acciones.
  • Suscripciones: conectan tareas con eventos externos. Si un agente abre un pull request y necesita revisión, la tarea se pausa hasta recibir el feedback del ingeniero en GitHub.

La pieza más interesante es la revisión adversarial. OpenAI detectó que los agentes a veces se detenían en la primera explicación plausible aunque la evidencia no la respaldara del todo. La solución fue una segunda sesión de Codex, con contexto limpio, instruida explícitamente para buscar huecos en el diagnóstico, verificar la evidencia de soporte y probar explicaciones alternativas.

En un caso, un agente atribuyó conversaciones fallidas de ChatGPT a errores en la descarga de imágenes. El revisor notó que el servicio interno encargado de localizar archivos ya se había recuperado mientras las peticiones de imágenes seguían fallando, y reabrió la investigación porque el diagnóstico original no explicaba las fallas persistentes. Hoy la revisión adversarial devuelve alrededor del 25% de los diagnósticos para más trabajo, un porcentaje que bajó a medida que el equipo mejoró las instrucciones del investigador original.

Los números: mucha detección, pocos fixes automáticos

Acá está el dato que más debería interesar a un equipo de producto. De las más de 600 investigaciones que llegaron a una causa raíz, alrededor de 400 avanzaron a una propuesta de solución. Unos 50 fixes que finalmente se enviaron fueron influidos por sugerencias del agente o coincidieron con ellas, y alrededor de 15 fixes enviados fueron los pull requests exactos escritos por Codex.

OpenAI reconoce que esos resultados están por debajo de sus ambiciones de remediación automatizada. El equipo encontró que Codex rinde mejor cuando la causa es clara y el arreglo está acotado. Por ejemplo, un cambio que hace que la aplicación serialice la misma conversación varias veces al procesar una petición: el agente detecta el trabajo redundante y propone serializar una sola vez y reutilizar el resultado.

Los cambios complejos siguen siendo difíciles. Cuando una función nueva agrega latencia y exige modificaciones de arquitectura, los agentes a veces proponen arreglos demasiado complicados o introducen problemas nuevos: agregar una caché puede mejorar los tiempos de respuesta pero generar datos obsoletos. Por eso OpenAI también aplicó revisión adversarial a las soluciones propuestas.

Qué significa esto para tu startup

Tres ideas que puedes aplicar aunque no tengas el equipo de OpenAI.

1. Convierte tus procedimientos en skills reutilizables. El salto de Performance Factory no vino de un modelo mejor, sino de escribir en un archivo cómo investiga tu equipo. Si tienes un runbook para incidentes, ese documento es la materia prima de un agente. Empieza por el flujo que más veces repites a la semana.

2. Haz que el agente pase hallazgos, no contexto crudo. Las tareas de Performance Factory guardan métricas, consultas y hallazgos de alto nivel que el siguiente agente puede volver a ejecutar, en lugar de volcar grandes volúmenes de telemetría. Ese patrón evita que los costos de tokens se disparen y que el agente se pierda en ruido. Es la misma advertencia que aparece en el Splunk State of Observability 2026 de Cisco: el 57% de los 2.050 profesionales de ITOps e ingeniería encuestados en 10 países dijo que sus costos de telemetría ya superaban el costo de la infraestructura monitoreada.

3. Pon un revisor adversarial antes de confiar en un diagnóstico. Un segundo agente con contexto limpio y la instrucción explícita de buscar fallas cuesta poco y filtra conclusiones apresuradas. Si no tienes dos agentes, al menos separa la sesión de revisión de la de investigación.

Y un dato para calibrar expectativas: según TechCrunch, un estudio respaldado por OpenAI encontró que en junio el 98% de los empleados de OpenAI usaba Codex, pero solo el 17% de los suscriptores organizacionales y menos del 1% de los suscriptores individuales usaban la herramienta de código agéntica. La brecha entre adopción interna y externa es enorme, y ahí está la oportunidad para quien llegue antes.

El siguiente paso: de reaccionar a prevenir

Performance Factory hoy responde a alertas configuradas, pero OpenAI planea expandirlo hacia la optimización proactiva. El equipo explora que los agentes comparen perfiles de CPU, datos de memoria y trazas de peticiones entre versiones para descubrir ralentizaciones que las alertas de monitoreo podrían pasar por alto. También desarrolla flujos para tareas como el rightsizing de servicios, donde los agentes identifican configuraciones de autoescalado ineficientes.

OpenAI investiga además si los agentes podrían desplegar algunos arreglos de bajo riesgo sin aprobación humana. Y hay una lección transversal: automatizar la investigación de regresiones liberó a los ingenieros para trabajar en mejoras de rendimiento de largo plazo en lugar de responder incidentes todo el día.

Ese es el verdadero retorno. No se trata de reemplazar al ingeniero, sino de devolverle el tiempo que se iba en triaje.

Conclusión

Performance Factory es un caso poco común: una empresa mostrando su infraestructura interna de agentes con números, incluidos los que no le favorecen. El mensaje para cualquier equipo que ya usa agentes para escribir código es directo: el valor no está en el agente que resuelve una tarea, sino en el flujo que coordina varios agentes y humanos por etapas, con evidencia verificable y revisión independiente.

Si tu equipo ya siente que revisar cambios generados por IA consume más tiempo que escribirlos, ese es exactamente el problema que OpenAI decidió automatizar. Y el primer paso no requiere infraestructura nueva: requiere escribir lo que tu equipo ya sabe hacer.

Fuentes

¿te gustó o sirvió lo que leíste?, Por favor, comparte.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Daily Shot: Tu ventaja táctica

Lo que pasó en las últimas 24 horas, resumido para que tú no tengas que filtrarlo.

Suscríbete para recibir cada mañana la curaduría definitiva del ecosistema startup e inversionista. Sin ruido ni rodeos, solo la información estratégica que necesitas para avanzar:

  • Venture Capital & Inversiones: Rondas, fondos y movimientos de capital.
  • IA & Tecnología: Tendencias, Web3 y herramientas de automatización.
  • Modelos de Negocio: Actualidad en SaaS, Fintech y Cripto.
  • Propósito: Erradicar el estancamiento informativo dándote claridad desde tu primer café.

📡 El Daily Shot Startupero

Noticias del ecosistema startup en 2 minutos. Gratis, todos los días.

Share to...