ttok 1.0 cambia el tokenizer por defecto a GPT-5 y GPT-6

ttok 1.0 ya cuenta tokens con el tokenizer de GPT-5 y GPT-6

Simon Willison —co-creador de Django y una de las voces más seguidas del blogging técnico sobre IA— publicó el 9 de octubre de 2026 la versión 1.0 de ttok, su utilidad de línea de comandos en Python para contar y truncar texto según tokens. La novedad no es una función nueva: es un cambio de defaults. Hasta la versión 0.4, ttok usaba el tokenizer de GPT-4; a partir de 1.0, el predeterminado es el de la familia GPT-5/GPT-6.

Willison lo explica con su tono habitual: actualizó ttok 0.4, ejecutó uv tool upgrade ttok, pasó un archivo a la nueva versión y se dio cuenta de que seguía contando con el tokenizer de GPT-4, algo que ya no encaja en un ecosistema dominado por la nueva generación de modelos de OpenAI.

Por qué importa: OpenAI aún no confirmó oficialmente que GPT-6 use el mismo tokenizer que GPT-5

El detalle incómodo es que OpenAI no ha publicado una confirmación oficial de que GPT-6 comparta tokenizer con la familia GPT-5. Existe un hilo abierto en el repositorio de tiktoken (issue #608) donde desarrolladores presionan a la compañía para que lo aclare. Mientras tanto, Willison recoge en su publicación el trabajo del desarrollador William Liu, que ejecutó un experimento público sobre 31 fixtures de texto y comprobó que las siete variantes de las que habla la cobertura reciente (GPT-5.5, GPT-5.6 Sol, Terra, Luna y GPT-6 Astra, Sol, Luna) reportan exactamente 44.794 tokens sobre el mismo corpus. La conclusión literal de Liu: "GPT-6 introduce no input-count change on this corpus".

A falta de confirmación oficial, el experimento de Liu es la mejor evidencia disponible para que una herramienta de producción como ttok pueda dar el salto sin riesgo de desfasar los recuentos respecto a la factura de la API.

Qué cambió exactamente entre ttok 0.4 y ttok 1.0

El salto a 1.0 no es solo un cambio de versión: Willison lo justifica por un cambio de comportamiento que merece etiqueta mayor.

• Default de tokenizer: pasa de cl100k_base (GPT-4) al tokenizer de la familia GPT-5.
• Mismo CLI: sigue contando, truncando y troceando texto con la misma interfaz (ttok count archivo.txt, ttok truncate ...).
• Misma distribución: el paquete se sigue publicando como ttok y se actualiza con uv tool upgrade ttok.

Para un equipo que hoy usa ttok para dimensionar prompts o presupuestos, el cambio de default significa que los conteos de ttok 1.0 se alinean con la factura real de la API de OpenAI en los modelos actuales sin tocar una línea del pipeline.

El contexto: la familia GPT-6 de OpenAI y su nuevo escalado de precios

El movimiento de ttok llega en plena reorganización de la oferta de OpenAI. Según Yahoo Finance, el 22 de septiembre de 2026 OpenAI lanzó GPT-6 Sol y GPT-6 Luna con precios permanentes un 50% por debajo de la serie GPT-5.6:

• GPT-6 Sol: US$2 por millón de tokens de entrada y US$10 por millón de salida.
• GPT-6 Luna: US$0,10 por millón de entrada y US$0,50 por millón de salida.
• GPT-6 Astra: US$10 por millón de entrada y US$50 por millón de salida, según la cobertura de Notebookcheck.

En la comparativa que cita Yahoo Finance, Sol iguala el precio de entrada de Grok 4.7 de xAI y llega un día después de que esa compañía desatara la actual guerra de precios. También queda por debajo de Claude Opus 5.5 de Anthropic, presentado 90 minutos antes a US$4/US$20. Sobre los benchmarks, Sol anota 33,2% en AutomationBench a US$0,27 por tarea frente a 26,9% de Opus 5 a cerca de US$3 por tarea: una ventaja de 11x en coste por tarea medida. En DeepSWE v1.1, el benchmark de código agéntico, Sol alcanza 68,8% y Luna 66,6%. Eso sí, Sol retrocedió en OSWorld 2.0 (60,5% vs 65,7% de GPT-5.6 Sol), señal de que OpenAI está optimizando coste por tarea por encima de techo de capacidad.

Y hay un dato de seguridad que pesa: según Notebookcheck, GPT-6 Astra se convirtió el 3 de septiembre de 2026 en el primer modelo de OpenAI en alcanzar el umbral Critical de ciberseguridad dentro de su propio preparedness framework. Por eso su despliegue inicial quedó limitado a las superficies Work y Codex de ChatGPT, y no a la ventana de chat estándar, con una disculpa pública de Sam Altman por un rollout que calificó de "messy".

Qué significa esto para tu startup

Si tu producto depende de contar tokens para cobrar al cliente, dimensionar prompts o controlar costes de API, el cambio de default de ttok te afecta directamente.

• Re-corre tus pipelines de facturación: si seguías con ttok 0.4 y modelos GPT-5/6, estás contando con el tokenizer viejo. Migrar a 1.0 alinea tus conteos con la factura real de OpenAI sin reescribir una línea de tu integración.
• Recalcula tu coste por usuario activo con la familia GPT-6: con GPT-6 Luna a US$0,10/US$0,50 por millón de tokens, los casos de alto volumen (resúmenes, clasificación, RAG barato) cambian de economics. Haz el ejercicio antes de renovar cualquier compromiso anual con tu proveedor de inferencia.
• No asumas que GPT-6 rompió el tokenizer: el experimento de William Liu sobre 31 fixtures muestra paridad total con GPT-5. Mientras OpenAI no diga lo contrario, puedes tratar a GPT-6 como misma familia de tokens que GPT-5 a efectos de presupuesto, exactamente lo que acaba de hacer ttok 1.0.

Fuentes

• ttok 1.0 — Simon Willison (fuente original)
• ttok 1.0 release en GitHub
• OpenAI's GPT-6 Sol and Luna Cut Prices 50% — Yahoo Finance
• GPT-6 Astra is on ChatGPT Plus, but only in Work and Codex — Notebookcheck