El cálculo de FLOPs que dice nueve horas y termina al día siguiente
Un cálculo de FLOPs hecho al vuelo puede estimar nueve horas para un entrenamiento que termina a la tarde siguiente. No es un caso raro: es el promedio. Dharma-AI, el equipo de I+D que publica en el blog de Hugging Face, midió cuánto se equivoca esa cuenta sobre 272 trabajos reales de fine-tuning supervisado (SFT) ejecutados en GPUs NVIDIA H200 —unos 7.382 GPU-horas en total— y el resultado es incómodo para cualquiera que planifique capacidad.
La estimación analítica clásica explica apenas el 31% de la variación observada (R² = 0.31) y se equivoca en promedio 12,41 horas por trabajo. Un modelo de gradient boosting entrenado solo con información disponible antes de despachar el job —CatBoost— llega a un R² de 0.98, con un error absoluto medio de 1,71 horas y una mediana de 0,51 horas en validación cruzada de 5 folds.
Para un founder que paga GPU por hora, la distancia entre esas dos cifras es la distancia entre planificar y apostar.
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →Por qué la fórmula de FLOPs no alcanza
La cuenta estándar para un Transformer denso es 6·P·D operaciones en punto flotante, donde P es el número de parámetros y D la cantidad de tokens de entrenamiento. Dividido por lo que entregan las GPUs, da el tiempo teórico del bucle de entrenamiento:
T = (6 · P · D) / (NGPU · FLOPSpeak · MFU)
El problema está en el último término. La MFU (Model FLOPs Utilization) es la fracción del pico teórico que el entrenamiento realmente alcanza, y en la práctica se mueve entre el 30% y el 60%, sin que nadie sepa de antemano cuál es el valor correcto para un job concreto. Dharma-AI barrió MFU entre 0,25 y 0,65: el mejor ajuste, 30%, igual deja un error medio por encima de las 12 horas en trabajos que duran 23 horas en promedio.
The Next Web enmarca esta métrica en un concepto más amplio: el goodput, la fracción de capacidad teórica que se convierte en progreso útil de entrenamiento, que Google introdujo como medida de productividad para sistemas de entrenamiento end-to-end.
Y hay algo más de fondo: un job es más que su bucle de optimización. Antes del primer paso hay setup de entorno, descarga y carga del modelo, y tokenización. Durante el entrenamiento hay evaluaciones periódicas y subidas de checkpoints. Al final, el modelo va a almacenamiento de objetos. En un clúster multi-tenant, todo eso compite por red y I/O con otros trabajos.
Dharma-AI también probó un modelo analítico más detallado, Calculon (Isaev et al., SC ’23), que construye un grafo explícito de capas y contabiliza cómputo, tráfico de memoria y comunicación entre dispositivos. Sus estimaciones corresponden a una mediana de apenas el 11% del tiempo real observado. Eso no descalifica a Calculon como herramienta de nivel de paso, que es para lo que fue diseñado: muestra cuánto de un job de producción ocurre fuera del paso de optimización.
Qué mira el modelo que sí acierta
El predictor se entrenó como un problema de regresión supervisada con una restricción de diseño clave: todas las variables están disponibles antes de despachar el job. Nada de logs en tiempo real ni de progreso parcial. Eso es lo que lo vuelve útil para un scheduler.
El modelo final usa 24 features, y las más importantes no son las que uno esperaría. La primera es num_eval_data, el total de muestras procesadas en evaluación a lo largo de la vida del job. Le siguen num_trainable_params, batch_eval_size_percent, num_all_params, la interacción entre GPUs y porcentaje de batch de entrenamiento, y num_params_saved (el I/O de checkpoints).
Los valores SHAP cuentan la misma historia: un volumen alto de evaluación empuja la predicción hacia arriba de forma consistente, y el número de parámetros entrenables tiene un efecto no lineal que solo se vuelve grande en los modelos más grandes. La importancia de una variable no es una afirmación causal, pero el patrón coincide con cómo se gasta realmente un job: cuántas veces evalúas, qué tan grande es el set de evaluación y cuántos checkpoints persistas moldean el tiempo de reloj tanto como la escala del modelo y del dataset. Y esas son decisiones que la mayoría toma por costumbre al escribir el config.
El dataset: 272 corridas SFT de logs operativos de un entorno corporativo de producción, con familias de modelos de hasta 15.000 millones de parámetros, tanto LoRA como fine-tuning completo. Los jobs corrieron en 1, 2 o 4 GPUs tomadas de un pool de 8 a 32 H200 repartidas en 1 a 4 nodos, junto a otras cargas de entrenamiento e inferencia. Las duraciones van de 1,6 a 172,4 horas, con media de 23,43 h y mediana de 15,29 h. El stack: Hugging Face Transformers y Unsloth, modelado como variable categórica.
Dónde falla y dónde no
Sobre las 272 predicciones out-of-fold, la mediana del error absoluto es 0,51 horas. El 80% de las predicciones cae dentro de 2,20 h y el 90% dentro de 4,31 h. Desglosado por duración:
- 1,56 a 5 h (60 corridas): mediana de error 0,30 h, P90 de 1,55 h
- 5 a 10 h (63 corridas): 0,18 h y 1,27 h
- 10 a 30 h (69 corridas): 0,73 h y 4,17 h
- 30 a 60 h (67 corridas): 1,06 h y 5,50 h
- 60 a 175 h (13 corridas): 5,19 h y 18,51 h
Hasta las 60 horas la mediana del error se mantiene en torno a una hora o menos. La cola larga es donde el modelo sufre, y con solo 13 corridas por encima de 60 horas los autores lo leen como una limitación de datos, no del método.
Las limitaciones que los propios autores declaran: solo SFT (nada de RLHF, DPO o RLVR), un único tipo de GPU (H200, así que el modelo ajustado no debería transferirse numéricamente a otras generaciones sin reentrenar) y pocas corridas muy largas.
¿Qué significa esto para tu startup?
Primero, tu estimación de capacidad probablemente está sesgada a la baja en horas y al alza en optimismo. Si planificas un clúster compartido con la fórmula de FLOPs, un error medio de 12 horas sobre jobs de 23 horas promedio significa que estás reservando GPUs que van a quedar ociosas o, peor, encolando trabajo detrás de un job que se corre. El costo no es abstracto: según The Next Platform, un clúster de 3.000 GPUs a 2 dólares la hora por chip cuesta 6.000 dólares por hora de operación, así que dos horas de parada agregan 12.000 dólares a la factura.
Segundo, los checkpoints y las evaluaciones son una palanca de tiempo que casi nadie mide. The Next Platform lo cuantifica: con una cadencia típica de checkpoint cada tres horas, pausas de apenas cinco minutos suman unos 40 minutos perdidos en un día. Y la recuperación manual tras una falla toma en promedio una hora, contra varios minutos con recuperación automatizada. Antes de comprar más GPUs, revisa tu cadencia de evaluación y de guardado.
Tercero, el método es replicable aunque el modelo no lo sea. Lo que transfiere, dicen los autores, son las features que exponen los overheads, la selección de variables consciente de la multicolinealidad y el protocolo de comparación. El paper completo —que llegará a arXiv— va a reportar las fórmulas de las features, el procedimiento de selección y los hiperparámetros finales para que el pipeline se pueda reconstruir sobre cualquier dataset de logs de ejecución con estructura similar.
Acciones concretas para tu equipo
- Instrumenta antes de optimizar. Registra, por cada job, el número total de muestras de evaluación, cuántos checkpoints guardas y cuántos parámetros se persisten. Son las variables que más pesan en la predicción y las que hoy casi nadie loguea.
- Mide tu MFU real, no la de la hoja de especificaciones. La MFU se mueve entre el 30% y el 60% y el valor correcto no se conoce de antemano. Calcula el tuyo sobre estado estable, excluyendo warmup, evaluación y pausas de checkpoint.
- Empieza por un modelo simple. Ridge baja el error medio a 7,23 h frente a las 12,41 h del baseline de FLOPs, y con XGBoost o CatBoost el salto es a 1,95 h y 1,71 h respectivamente. No necesitas infraestructura exótica: necesitas datos de tus propias corridas.
- Si usas Kubernetes, revisa el scheduling. La CNCF publicó Kubernetes v1.37 el 26 de agosto con gang scheduling en beta —evita que un job distribuido quede a medio colocar consumiendo recursos—, aunque desactivado por defecto. Su director ejecutivo, Jonathan Bryce, señaló que el 66% de las organizaciones ya usa Kubernetes como sistema operativo para IA.
- Ojo con la cola larga. Si tus jobs pasan de 60 horas, el error mediano sube a 5,19 h. Para esos casos, planifica con holgura y no con la predicción puntual.
Conclusión
La lección del paper de Dharma-AI no es que el machine learning sea mejor que la aritmética. Es que la mayor parte del tiempo de un job de fine-tuning no está en el cómputo del modelo, y por eso ninguna fórmula que solo mire FLOPs va a acertar. Evaluación, checkpoints, setup y contención de I/O en un clúster compartido son la diferencia entre una estimación de nueve horas y una entrega al día siguiente.
Para un equipo pequeño, la implicancia es liberadora: no necesitas un clúster enorme para empezar a planificar mejor. Necesitas registrar lo que ya pasa en tus corridas y usar esas variables para predecir la siguiente.
Fuentes
- Why your fine-tuning job takes longer than the FLOPs say (fuente original)
- Stop Measuring AI Training Costs In GPU Hours (The Next Platform)
- Kubernetes 1.37 Lands Gang Scheduling Beta, Cuts GPU Idle Costs by Default (Tech Times)
- AI training efficiency: From Throughput to Goodput (The Next Web)
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →













