Hugging Face: adaptadores RL suben 16 puntos a Qwen3.8-27B

Entrenar el modelo dentro de su propio agente sube 16 puntos el codigo

Hugging Face demostro que congelar los pesos de Qwen3.8-27B y entrenar un adaptador LoRA con reinforcement learning (RL) dentro del harness del agente sube el pass@1 en Terminal-Bench 2.1 de 39% a 55% bajo pi, y baja el consumo promedio de 2.9K a 1.5K tokens por tarea. Para un equipo que paga cada token de su pipeline de codigo, esa diferencia no es un detalle de benchmark: es la factura del mes.

Un harness es el andamiaje que envuelve al modelo: como lee archivos, que herramientas puede llamar y como encadena pasos. Pi, OpenCode y Hermes Agent son tres de esos harnesses, y el trabajo del equipo de Hugging Face se probo justamente sobre esos tres.

Por que el modelo base deja rendimiento sobre la mesa?

Un modelo se entrena para rendir en general, no para el harness y las tareas que tu usas. Al combinarlos, quedan rendimiento y eficiencia sin aprovechar. La propuesta es cerrar esa brecha con RL sobre tu propia distribucion de tareas, dentro de tu propio harness.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Lo tecnico importa por una razon concreta: la mayoria de los frameworks de RL reimplementan el loop del agente contra su propia interfaz, como el AgentLoop de verl, los entornos de SkyRL-Gym, las clases de rLLM o las funciones de rollout de slime. Aca el harness corre tal como se distribuye y el trainer aprende de los tokens exactos que produjo, capturados por un proxy entre el harness y vLLM. Es la misma direccion en la que avanzan trabajos recientes como Agent Lightning v1.0 o la integracion de Harbor en SkyRL.

Los resultados: mas aciertos y menos llamadas a herramientas

El blog reporta, con un solo intento por tarea y sin ajustar la configuracion por defecto de cada harness:

  • pi en SWE-bench Pro (hard 51): de 40.0% a 64.0% de pass@1, con 60% menos llamadas a herramientas por tarea.
  • hermes: de 29.4% a 43.1%, con 56% menos llamadas.
  • opencode: de 35.3% a 51.0%, con 72% menos llamadas.
  • En Terminal-Bench 2.1: pi pasa de 40.0% a 56.5%, hermes de 44.7% a 58.8% y opencode de 47.6% a 52.4%.

MarkTechPost reporto que el adaptador para pi se publico como Qwen3.8-27B-pi-adapted bajo licencia Apache-2.0, con un salto en SWE-bench Pro hard-51 de 39.2% a 64.7% y en Terminal-Bench 2.1 de 39.5% a 55.8%.

Los tres adaptadores tambien se fusionan en un unico super adaptador que corre sin cambios bajo los tres harnesses. La fusion funciona porque las actualizaciones de pesos de cada adaptador son casi ortogonales: la similitud coseno entre dos cualesquiera es de 0.01 a 0.02. El mejor peso resulto ser 1/2, que promedia 52.5% en Terminal-Bench 2.1 contra 43.3% del modelo base y baja de 49.2 a 25.9 llamadas por tarea.

Con el modo thinking apagado, el super adaptador mejora en las seis combinaciones harness-benchmark (pass@1 medio de 39.5% a 49.0%). Con thinking encendido, aunque nunca se entreno asi, gana en cinco de seis y empata la sexta (media de 55.5% a 63.5%). En las tareas que ambos resuelven, hace entre 53% y 73% menos llamadas y genera entre 44% y 60% menos tokens.

El dataset es el trabajo real

La parte reutilizable de la receta es el pipeline de datos, y ahi estan los numeros que un equipo deberia copiar:

  • Punto de partida: 1,127 tareas candidatas. Tras la validacion semantica quedaron 858 aprobadas.
  • De 442 tareas evaluadas con el modelo base, 151 se resolvian siempre y 120 nunca. Solo 171 se resolvian a veces: ese es el conjunto que da senal de aprendizaje a GRPO.
  • El dataset final, harness-hub/agentic-coding-envs, reune 871 tareas de 35 repositorios: 717 de SWE-smith (bugs inyectados en Python y Go), 130 de SWE-Gym empaquetadas en TaskTrove (issues reales de GitHub) y 24 generadas con Tasksmith a partir de pull requests mergeados.
  • El entrenamiento acumulo 598 pasos, 78,114 muestras y 167 millones de tokens. Cada adaptador corrio en NVIDIA 2xB200.

Un filtro que vale la pena replicar: si el modelo acierta todos los intentos o falla todos, la tarea no ensena nada. GRPO compara los intentos entre si, asi que sin varianza no hay gradiente. La busqueda amplia en el Hub devolvio unas 59,000 tareas, pero incluian duplicados, sets de evaluacion y tareas marcadas como no aptas para entrenamiento.

Tambien entrenaron con el plugin safeagents, que bloqueo 647 llamadas a herramientas sobre 1.3 millones revisadas durante el entrenamiento.

Que significa esto para tu startup?

  • Corre la comparacion pareada antes de cambiar de modelo. Si tu equipo ya usa un harness fijo, evaluar el modelo base y el adaptado con el mismo presupuesto de tokens te dice si el cuello de botella es el modelo o el andamiaje. El propio blog advierte que los resultados no se comparan entre harnesses: Pi no conserva turnos de razonamiento previos y OpenCode y Hermes si.
  • Empieza por el dataset, no por el entrenamiento. La receta completa esta publicada, con TRL, OpenEnv y Harbor, e imagenes Docker con Pi 1.5.2, OpenCode 2.2.7 y Hermes Agent v0.22.6 ya preinstalados. Lo dificil no es el codigo: es tener tareas que tu modelo resuelva a veces.
  • Presupuesta el ahorro de tokens como parte del retorno. Un recorte de 44% a 60% en tokens generados por tarea cambia el costo unitario de un agente de codigo. Antes de saltar a un modelo mas grande, vale medir si un adaptador propio sobre el modelo actual llega al mismo resultado con menos llamadas.
  • Si usas varios harnesses, un solo super adaptador puede bastar. Pero el costo se concentra: con thinking apagado, pi es el harness que menos conserva de su ganancia cuando el adaptador se comparte.

Lo que todavia no esta resuelto

  • Fuera de distribucion: 300 tareas de AutomationBench con su propio loop de agente. Base 23.0%, pi 27.0%, opencode 25.3%, merged 23.7% y hermes 17.7%. Las diferencias estan dentro del ruido: el RL dentro del harness ni transfiere claramente a ese escenario ni rompe el modelo.
  • Fuga de razonamiento: en modo no-thinking el modelo aprende a generar texto corto antes de llamar a una herramienta, una suerte de escape hacia su version pensante.
  • El peso 1/2 se eligio sobre Terminal-Bench 2.1, asi que esos numeros son levemente optimistas.

La industria ya evalua modelo y harness juntos

Artificial Analysis publico la version 2.1 de su Coding Agent Index, que puntua combinaciones de modelo y harness en aproximadamente 290 tareas repartidas entre FrontierCode v1.1, Terminal-Bench 4.0 y SWE-Atlas-QnA-AA. En el tope quedaron Claude Fable 5.2 y Claude Opus 5.5 empatados con 58 puntos, segun CryptoBriefing. Que un indice independiente mida el par modelo mas harness, y no el modelo solo, respalda la tesis del blog: el andamiaje es parte del resultado.

En paralelo aparecen enfoques vecinos. Hermit, de Infini-AI-Lab, entrena una capa externa de instrucciones, skills, memoria y herramientas desde el feedback de la tarea, sin tocar el modelo ni el harness.

Conclusion

El resultado central es facil de pasar por alto: no hay modelo nuevo ni benchmark nuevo, hay un cambio de lugar en el entrenamiento. Entrenar dentro del harness convierte tu configuracion de agente en parte del modelo, y eso se traduce en mas tareas resueltas al primer intento con menos tokens. La receta, los adaptadores, las tareas de RL y el plugin de safeagents estan publicados abiertamente, asi que la barrera de entrada ya no es el metodo: es tener un dataset de tareas que valga la pena.

Fuentes

¿te gustó o sirvió lo que leíste?, Por favor, comparte.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Daily Shot: Tu ventaja táctica

Lo que pasó en las últimas 24 horas, resumido para que tú no tengas que filtrarlo.

Suscríbete para recibir cada mañana la curaduría definitiva del ecosistema startup e inversionista. Sin ruido ni rodeos, solo la información estratégica que necesitas para avanzar:

  • Venture Capital & Inversiones: Rondas, fondos y movimientos de capital.
  • IA & Tecnología: Tendencias, Web3 y herramientas de automatización.
  • Modelos de Negocio: Actualidad en SaaS, Fintech y Cripto.
  • Propósito: Erradicar el estancamiento informativo dándote claridad desde tu primer café.

📡 El Daily Shot Startupero

Noticias del ecosistema startup en 2 minutos. Gratis, todos los días.

Share to...