VocabX: vocabulario a medida que corta 77% el coste IA

Dharma AI midio algo que casi nadie mide: el precio del vocabulario de su propio modelo. La empresa reconstruyo el tokenizer de un grader de ensayos en portugues montado sobre Qwen3-4B y bajo el coste de inferencia 77% sin cambiar el modelo base, la data ni la receta de entrenamiento. La respuesta del modelo paso de 350 a 101 tokens en promedio y la calidad, medida con su bench score, subio de 0.703 a 0.810. Para cualquier startup que paga por token generado, la leccion es incomoda: hay una capa de coste que se decide antes de entrenar y que casi nadie revisa.

Que es VocabX y por que el tokenizer era el gasto invisible

Un modelo especializado en un dominio hereda el vocabulario del modelo general del que nace. El grader de Dharma AI trabaja con un solo idioma (portugues) y un solo formato de respuesta (un JSON con nota y comentario por competencia), pero su tokenizer seguia siendo el original de Qwen3-4B, con 151.669 entradas construidas para muchos idiomas y muchos tipos de texto.

De ahi salen dos desperdicios a la vez. El primero es la fragmentacion: la secuencia que el dominio mas repite, el sobre JSON, los nombres de competencias, las frases de evaluacion, se parte en muchos tokens donde bastaria uno. El segundo es el exceso: el modelo puntua 151.669 entradas en cada token que genera, incluidas decenas de miles que ese dominio nunca usa.

En un modelo de 4.000 millones de parametros eso pesa mas de lo que parece: la capa final, el LM head, concentra cerca del 10% de los parametros. Y no se lee una sola vez, se lee entera en cada token generado, porque esa capa multiplica toda la matriz para producir el score de cada candidato. Con VocabX, la capa de salida paso de unos 152.000 a unos 65.000 registros.

Por que generar un token cuesta mas que leerlo

La inferencia tiene dos fases. En el prefill el modelo procesa toda la entrada de una pasada y el limite es el computo. En el decode genera token a token, cada lectura de pesos se reutiliza pocas veces y la GPU pasa buena parte del tiempo esperando datos: el limite es el ancho de banda de memoria. Por eso, en el caso que midio Dharma AI, un token generado cuesta 7,4 veces un token leido, una proporcion que varia con el hardware, el batch, la longitud de contexto y otros factores, y que puede ser mayor.

La consecuencia practica es directa: un metodo que comprime entrada y salida por igual se pierde la mayor parte del ahorro. VocabX pondera cada token eliminado por el precio del campo donde aparece (system prompt, mensaje del usuario o respuesta del modelo), asi que un token ahorrado en la respuesta vale 7,4 veces uno ahorrado en la entrada.

Los tres problemas que resolvio VocabX

Adaptar vocabularios no es nuevo. Metodos de referencia como el fast vocabulary transfer, el multi-word tokenization y la expansion de tokenizer in-place de Liquid AI ya reducen la fragmentacion. El articulo de Dharma AI sostiene que tienen dos limites: eligen tokens por frecuencia y no por coste, y trabajan sobre una sola capa, o ajustan como se cortan las palabras o fusionan frases enteras, pero no ambas cosas bajo el mismo criterio.

VocabX ataca los dos frentes a la vez, cada uno con su propio presupuesto. Reconstruye el corte sub-palabra y, en paralelo, busca tramos completos que se repiten, desde expresiones cortas hasta lineas enteras y sobres JSON, para convertirlos en un unico token al que llaman macro token. Para encontrarlos usa cinco mineros especializados en palabras largas, lineas completas, expresiones, oraciones y estructuras con puntuacion como JSON y etiquetas. Promediado sobre ocho corpus, el ultimo fue el que mas aporto y en codigo represento 17,5 puntos por si solo. Sin los cinco, la reduccion de tokens en el grader caeria 55,6 puntos.

El tercer problema es de medicion. Elegir por coste obliga a estimar cuanto ahorra cada candidato despues de los ya elegidos, y medirlo sobre una muestra deja fuera a los raros: una expresion que aparece 37 veces en 50.000 documentos solo se ve en una muestra de 400 documentos alrededor del 26% de las veces, y en un corpus de contratos apenas el 16,6% de los candidatos aparece en esa muestra. Dharma AI separa la parte contable de la parte estimable y usa una estimacion estadistica en lugar de cero. Ese solo cambio subio la reduccion de tokens en contratos de 44,7% a 52,8%.

El error que dejo la leccion mas valiosa

La primera version del vocabulario fusionaba la nota de cada competencia con el JSON que la rodea en un unico macro token. Era la opcion mas compacta y bajo la calidad: bench score 0.689, por debajo del 0.703 del grader en produccion. Con la nota atrapada dentro del macro, cada combinacion de nota y estructura se volvia una variante distinta del mismo token y el modelo elegia ambas cosas en un solo paso.

Darle a la nota su token propio costo 2 tokens extra por respuesta, elevo el score a 0.810 y, en la medicion, salio incluso mas barato: 77,0% de reduccion frente al 73,3% de la version fusionada. La leccion, dicen los autores, aplica mas alla del grader: comprimir tiene un costo cuando el tramo comprimido carga justamente la decision que el modelo existe para tomar.

Funciona fuera de ese caso concreto

Para descartar que el ahorro fuera un artefacto de su propio sistema, Dharma AI comparo VocabX con los tres metodos de referencia en cinco dominios publicos (contratos, papers medicos, papers cientificos, noticias y codigo Python) y tres familias de modelos: Qwen3, Llama-3.1 y Gemma-3.

VocabX comprimio mas que el mejor metodo de referencia en las 15 combinaciones, por 1,2 a 9,3 puntos. En coste de inferencia estimado tambien lidero en las 15, con margenes promedio de 10,2 puntos en Qwen3, 7,5 en Llama-3.1 y 13,6 en Gemma-3. En contratos, la version podada alcanzo 62,6% de reduccion de tokens con 113.426 entradas, contra 61,8% del mejor in-place BPE, que usa 207.803.

Que significa esto para tu startup

El mensaje no es que tengas que entrenar tu propio tokenizer. Es que el coste de inferencia se reparte en tres capas y la mayoria de los equipos solo mira dos. Los precios de referencia que publica TechTarget lo dejan claro: los modelos economicos para tareas simples cuestan entre US$0,14 y US$1 por millon de tokens, los de gama media entre US$2 y US$15, y los de gama alta para razonamiento y codigo entre US$20 y US$75. A US$5 por millon, consumir 20 millones de tokens al dia son unos US$100 diarios antes de contar los tokens de salida.

La misma guia de TechTarget senala que la compresion de contexto recorta entre 50% y 70% de los tokens de entrada y que enrutar cada consulta al modelo adecuado puede reducir el coste de inferencia a la mitad. A escala de laboratorio frontera el fenomeno es el mismo: TechTimes reporto que OpenAI logro en junio de 2026 una optimizacion solo de software que recorta mas de la mitad del coste de sus modelos, en un contexto donde la utilizacion de computo en cargas de lote pequeno puede caer hasta 0,13% de la capacidad teorica de la GPU. El interes no es aislado: un estudio publicado en la revista AI+ en 2026 revisa poda, cuantizacion y destilacion como rutas para llevar modelos pequenos a hardware local o de borde.

Acciones concretas que puedes aplicar esta semana:

• Mide el ratio salida/entrada de tu workload antes de optimizar nada. Si tu producto escribe mucho texto estructurado (JSON, informes, plantillas), el token caro es el de salida y ahi esta tu ahorro.
• Audita cuantos tokens de tu respuesta tipica se van en estructura repetida. Sobres JSON, nombres de campos y frases fijas son exactamente lo que un macro token elimina.
• Si tu dominio es estrecho y el volumen alto, dimensiona el vocabulario. En el caso medido la capa de salida bajo de unos 152.000 a unos 65.000 registros, y en contratos el metodo supero al mejor in-place BPE usando casi la mitad de entradas.
• No comprimas la decision. Si tu salida lleva un campo critico (una nota, una categoria, un precio), dale su token propio: en el grader costo 2 tokens extra y elevo el score de 0.689 a 0.810.

Lo que todavia no esta confirmado

El paper de VocabX sigue en revision y los propios autores advierten que los numeros pueden cambiar antes de publicarse. La medicion del 77% de ahorro corresponde a un unico sistema en produccion, el grader de ensayos en portugues, sobre una sola GPU RTX 5090 con el servidor vLLM, y el ratio de 7,4x entre token generado y leido depende del hardware, el batch y la longitud de contexto. Los resultados en los otros quince escenarios son de compresion de tokens y de coste estimado, no de despliegues medidos en produccion. Si vas a llevar la idea a tu stack, validala con tus propios numeros.

Conclusion

La especializacion suele empezar por los datos y por los pesos. VocabX propone empezar una capa antes, en el vocabulario, y el argumento es dificil de ignorar: es una decision que se toma antes de cualquier paso de entrenamiento, no exige cambiar el modelo base y, en el caso medido, movio mas la aguja que cualquier ajuste posterior. Para una startup que sirve un modelo pequeno con lotes moderados, el escenario donde el decode duele mas, revisar cuanto paga por tokens que no necesita escribir es una de las optimizaciones mas baratas que quedan sobre la mesa.

Fuentes

• VocabX: How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% (Dharma AI en Hugging Face) (fuente original)
• AI inference cost optimization: An enterprise guide (TechTarget)
• OpenAI Halves Inference Costs With Software Alone (TechTimes)
• Small Language Models: opportunities and obstacles (EurekAlert)