STROT: compilador de decisiones de IA a US$0 por registro

STROT: compilar la intención una vez y decidir para siempre

STROT promete llevar el costo marginal de decidir con IA a US$0 por registro y sostener 92,5% de precisión en routing sobre 398 registros, según los benchmarks que publica en su propio repositorio. La propuesta es fácil de enunciar y difícil de ejecutar: usar un LLM una sola vez, en tiempo de compilación, para traducir tu intención a un artefacto de código congelado que después decide en tu hardware, sin llamar a ningún modelo.

El proyecto se presenta como un Show HN y está publicado en GitHub bajo licencia MIT, con instalación vía pip install strot-ai. Es un proyecto abierto y temprano —el repositorio registra 1 estrella y 0 forks al momento de esta nota—, no una startup con ronda ni un producto comercial cerrado. Eso importa para calibrar expectativas: lo que hay es una arquitectura y unos benchmarks reproducibles, no un SLA ni un equipo de soporte detrás.

¿Cómo funciona un compilador de decisiones con IA?

La idea central es separar dos momentos que hoy se mezclan en casi todas las apps de IA: compilar y ejecutar.

En la fase de compilación, el LLM interviene una única vez. Tomas tu intención (por ejemplo, "clasifica tickets de soporte en el flujo correcto") más un registro de acciones, y el sistema sintetiza un artefacto de Python autocontenido. En el camino hay una golden gate: el artefacto debe acertar tus respuestas conocidas antes de quedar habilitado para servir tráfico. Después se etiqueta una muestra con el modelo grande y se calibra el umbral de confianza.

En la fase de ejecución no hay LLM. Cada registro pasa por una proyección compilada, un modelo de decisión local (Julia-1, 144M parámetros, corriendo en CPU) y una compuerta de confianza. La salida es JSON tipado con probabilidades y nivel de confianza. Si el registro no supera el umbral, se abstiene en lugar de adivinar.

Ese último punto es el más interesante para un founder. La mayoría de los pipelines de IA fallan en silencio: devuelven algo plausible con total seguridad. STROT invierte el default y hace que el sistema diga "no sé" cuando no está calibrado para responder.

¿Qué dicen los benchmarks de STROT?

Los números que publica el repositorio, medidos con un modelo real y contenedores Docker limpios:

• Routing con grounding (398 registros): 92,5% compilado contra 74,8% naive. El compilador aporta +18 puntos porcentuales sobre el mismo modelo.
• Texto semántico (AG News, etiquetas no vistas): 86,7% compilado contra 72,7% naive, +14 puntos.
• Decisiones tipadas: resultados casi idénticos a los del ejemplo de la API de decisión hosted líder (sentimiento 1,79 contra 1,8).
• Latencia, costo marginal y llamadas al LLM por registro: ~60 ms, US$0 y 0.

El repositorio incluye la carpeta de benchmarks para reproducir todo, y publica también las pérdidas. Ese detalle —mostrar dónde falla— es poco común en lanzamientos de herramientas y es una señal razonable de rigor.

Hay dos superficies de uso. run() enruta cada registro a una acción y ejecuta el handler compilado. decide() responde preguntas tipadas por registro: booleanas, de puntaje en un rango o de elección entre opciones, siempre con probabilidad y confianza.

¿Qué significa esto para tu startup?

El problema que STROT ataca es real y caro. En un análisis publicado por OpenSourceForU en octubre de 2026, un equipo de ingeniería en Pune vio su gasto en IA pasar de 42.000 rupias en febrero a 1,1 millones a mediados de abril, sin que nadie supiera qué servicio lo generaba. La causa era un agente que iteraba sin techo de reintentos. El mismo artículo señala que clasificación, extracción, routing y reformateo corren bien en un modelo abierto de 7B u 8B self-hosted a costo fijo, reservando el tier caro para razonamiento difícil, y que un router decente "routinariamente reduce la factura a la mitad".

STROT lleva esa lógica un paso más allá: en lugar de enrutar a un modelo más barato, elimina la llamada al modelo en producción. Para volúmenes altos y decisiones repetitivas —triage de tickets, scoring de leads, clasificación de documentos— el ahorro no es un porcentaje, es la desaparición de la línea de costo variable.

El contexto competitivo se está moviendo en la dirección opuesta. MarkTechPost reportó el 8 de octubre de 2026 que Architect Financial Technologies lanzó Liquid Inference, un router que subasta cada request de LLM entre proveedores y fija un precio máximo antes del primer token. Es una solución de mercado para el mismo problema: abaratar la inferencia. La diferencia de enfoque es total. Liquid Inference optimiza el precio por token; STROT apuesta a que la mayoría de las decisiones de producción no necesitan un token en absoluto.

Cómo evaluarlo en tu propio stack

Antes de reescribir nada, mide. Estas dos acciones son concretas y de bajo riesgo:

• Instrumenta primero el costo por decisión, no el costo mensual. El caso de Pune tardó treinta días en hacerse visible porque nadie medía por unidad de trabajo. Si no sabes cuánto cuesta clasificar un ticket hoy, no puedes comparar contra una alternativa local. Empieza por etiquetar cada llamada con servicio, equipo y entorno.
• Aísla un caso de uso acotado y con respuestas conocidas. STROT exige una golden gate: necesitas un set de registros con la respuesta correcta ya validada. Si tienes ese set, el experimento es barato; si no lo tienes, ese es el trabajo previo que te falta de todos modos.

Dos advertencias honestas. Primero, el proyecto es nuevo y con tracción mínima: 1 estrella y 0 forks significa que no hay una comunidad que haya encontrado los casos borde por ti. Segundo, el modelo de decisión por defecto es un modelo de 144M parámetros —suficiente para routing y clasificación, no para razonamiento abierto—. Si tu caso necesita generar texto o resolver ambigüedad real, esta arquitectura no es la herramienta.

Conclusión

STROT propone un cambio de marco útil más allá de su implementación: tratar la decisión como código compilado y no como una conversación infinita con un modelo. Los benchmarks que publica —+18 puntos en routing, ~60 ms, US$0 por registro— son lo bastante específicos como para verificarlos, y el repositorio incluye el material para hacerlo.

Para un founder con un pipeline de clasificación de alto volumen, la pregunta que deja esta nota no es si adoptar STROT, sino cuántas de tus llamadas al LLM en producción son en realidad decisiones repetitivas que podrías congelar una vez y ejecutar para siempre.

Fuentes

• Project STROT (repositorio original)
• Platform Engineering For LLM Applications (OpenSourceForU)
• Architect Launches Liquid Inference (MarkTechPost)