Por qué «valor por hora de atención humana» no es un objetivo
El CTO de Octopus abre su análisis con una pregunta incómoda: ¿la IA realmente nos está haciendo mejores construyendo software? Y con una crítica directa a las dos respuestas habituales. Un bando cuenta actividad: líneas de código generadas, tokens consumidos, porcentaje de código escrito por agentes. El otro salta directo al destino y declara que lo único que vale medir es el valor.
El anuncio de Release Autopilot de LaunchDarkly es el ejemplo más claro del segundo bando. Su objetivo declarado es maximizar el software valioso que llega a los clientes por cada hora de atención humana invertida. Para el CTO de Octopus, eso no es un objetivo: es una aspiración. El valor aparece semanas o meses después de que un cambio se publica, y es el producto de decisiones tomadas en producto, diseño, ingeniería y ventas. Y contar «horas de atención humana» es el camino más corto a las planillas de horas.
Lo revelador es que la evidencia que acompaña a ese anuncio mide otra cosa. Con aproximadamente la misma cantidad de ingenieros, los pull requests fusionados por mes se más que duplicaron y el tiempo dedicado a incidentes mayores y críticos cayó cerca del 70%. Son medidas de throughput y estabilidad, y están mucho más cerca de un conteo de PRs que del valor.
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →Los tres bloques de los engineering vitals
Octopus está reiniciando sus engineering vitals, las métricas con las que un líder técnico sabe si su organización está entregando, y las organizó en tres áreas con dueños distintos.
- Objetivos de delivery: miden la efectividad del pipeline y de los bucles de feedback. Se miden por sistema, y el equipo dueño del sistema define su SLO.
- Objetivos de calidad: miden la calidad de lo que se publica y la experiencia de desarrollo. Se miden a nivel de toda la organización, y el SLO lo firma el CTO.
- Tendencias: se miden a nivel organizacional y a propósito no tienen SLO. Se capturan porque dan contexto, sobre todo cuando se leen junto a los objetivos.
| Área | Medida | Qué responde |
|---|---|---|
| Delivery | Lead time de despliegue | Tiempo desde el primer commit de un PR hasta que el cambio corre en el 100% de producción |
| Delivery | Churn, cycle time y latencia de revisión de PRs | Dónde se frenan los cambios entre que se abren y se fusionan |
| Delivery | Tiempo de recuperación | Desde que un defecto se fusiona hasta que el fix llega a los clientes, dividido en detección, resolución y despliegue |
| Delivery | Tiempo y estabilidad de build | Promedios móviles de 7 días para builds de rama y de main |
| Delivery | Tamaño de lote y delta de despliegue | Cuánto se atrasa lo desplegado respecto de la punta de main, en commits y en tiempo |
| Quality | Conteo de defectos Sev 0-2 | Cuántos defectos de alta severidad llegaron a clientes en el mes |
| Quality | NPS de I+D | Si las plataformas y la experiencia de desarrollo mejoran en la opinión de quienes las usan |
| Tendencia | Volumen de pull requests | PRs fusionados en el tiempo, agregados |
Si conoces las métricas DORA, casi todo esto te resulta familiar. Hay una diferencia deliberada, y es la parte más interesante del planteo.
Por qué Octopus dejó de medir la tasa de fallos
Octopus no mide change failure rate. Durante mucho tiempo su tasa se mantuvo por debajo del 2%, un número sano bajo cualquier benchmark. Aun así, las fallas que ocurrían a veces tenían un impacto significativo en clientes. La señal decía que todo estaba bien; la experiencia real de los clientes decía lo contrario.
La IA empeora ese problema. Una tasa tiene denominador, y el denominador es justamente lo que se espera que explote. Si duplicas los cambios fusionados y mantienes la tasa de fallos estable, duplicaste los defectos que llegan a clientes y el dashboard no se movió ni un punto.
Por eso Octopus cuenta en lugar de calcular porcentajes: cada mes mira el número absoluto de defectos Sev 0-2 que llegaron a clientes y los líderes revisan los casos concretos detrás del número. La tasa se puede derivar después, si hace falta. Y esto solo funciona si todo el trabajo queda registrado: si un defecto se fusionó a main y se desplegó, se registra con severidad, lo haya encontrado un cliente o el propio equipo.
Qué dicen los datos de DORA, Atlassian y el Pragmatic Engineer
El planteo de Octopus no es una opinión aislada. El equipo de DORA de Google, en su informe State of AI-assisted Software Development, encontró que la adopción de IA entre desarrolladores pasó del 76% en 2024 al 90% en 2025, con más del 80% de los encuestados reportando mejoras de productividad y 59% reportando mejoras en calidad de código, según el relevamiento de 5.000 respuestas que recoge TechTarget. En el estudio anterior, de 3.000 respuestas, DORA había medido una caída de 1,5% en throughput y de 7,2% en estabilidad por cada 25% de aumento en la adopción de IA. Nathen Harvey, responsable de DORA, resume el hallazgo central: la IA es un amplificador de lo que ya existe en la organización.
Los números de Atlassian sobre datos de DX en más de 500 empresas apuntan en la misma dirección: el throughput mediano de pull requests se duplicó, el tamaño de los PRs creció 122% en cuatro trimestres, la confianza de los ingenieros en sus propios cambios cayó, y la porción de capacidad dedicada a nuevo valor para el cliente se movió un solo punto porcentual. Es exactamente el volumen abrumador de cambio llegando sin el valor.
The Pragmatic Engineer, de Gergely Orosz, junto a Laura Tacho, revisó cómo 18 empresas tecnológicas, entre ellas Google, GitHub, Microsoft, Dropbox y Monzo, miden el impacto de la IA. Dos conclusiones: la mayoría de las medidas son las mismas que antes de la IA, y las empresas que obtienen respuestas claras son las que ya habían invertido en entender su performance de ingeniería. Casi todas emparejan una medida de velocidad con una de calidad, para que se controlen mutuamente.
¿Qué significa esto para tu startup?
Si tu equipo tiene más de un puñado de ingenieros y estás gastando dinero real en tokens y tooling, necesitas datos, no intuición. Tres cosas concretas para empezar esta semana:
- Mide el ciclo completo, no la generación de código. El lead time de despliegue (del primer commit al 100% de producción) y el tiempo de recuperación son las dos métricas que más rápido exponen dónde se atasca tu equipo. Si el código se genera en horas pero la validación tarda diez días, tu cuello de botella no es la IA.
- Empareja siempre velocidad con calidad. Nunca mires el volumen de PRs solo. Si el volumen sube y los defectos graves que llegan a clientes también, no mejoraste: moviste el problema. Cuenta defectos absolutos, no solo porcentajes, porque el denominador se va a multiplicar.
- Trata las tendencias como tendencias. El volumen de PRs es un termómetro, no un objetivo. Como recuerda la ley de Goodhart, cuando una medida se convierte en meta deja de ser una buena medida. Ponle metas a los habilitadores, por ejemplo el porcentaje de PRs que se publican sin intervención humana, y deja que el volumen se mueva como consecuencia.
Hay una pregunta que vale más que cualquier dashboard: ¿estás empezando trabajo que antes no se hacía? Los datos que cita Atlassian muestran a Dropbox dirigiendo su capacidad liberada a mantenimiento postergado, como migraciones de lenguaje y actualizaciones de dependencias. Eso es valor real, aunque no aparezca en la facturación del trimestre.
Conclusión
La IA no cambió qué hace efectiva a una organización de ingeniería. Cambió cuánto fluye a través de ella y con qué velocidad se expone una debilidad. Medir el valor por hora de atención humana es un buen norte, pero el valor es una señal que llega tarde y que tiene muchos dueños: no se puede pilotear una organización con eso semana a semana. Empieza midiendo lo que sí puedes dirigir, cuánto tardas en poner un cambio en manos de clientes, cuánto tardas en recuperarte cuando algo sale mal y cuántos defectos graves llegaron este mes. Cuando puedas responder eso a demanda, recién ahí levanta la vista hacia el valor.
Fuentes
- Engineering Vitals in the Age of AI (fuente original)
- Google DORA: Software delivery caught up to AI coding tools
- AI-Assisted Software Development: Team Profiles and Capabilities for Putting Research into Action
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →













