Granite Switch 4.1: chat, decisiones y voz en un solo modelo

Granite Switch 4.1: chat, decisiones y voz en un solo modelo

IBM Research presentó Granite Switch 4.1, una familia de modelos que reúne chat, toma de decisiones y reconocimiento de voz en un único despliegue. La versión Granite-Switch-4.1-8B puede transcribir audio, generar resúmenes, filtrar contenido dañino y evaluar más de 15 flags genéricos en tiempo real desde un solo endpoint.

Para un founder que paga facturas de GPU, el dato relevante es otro: según IBM, los tres componentes ocupan aproximadamente la misma VRAM que el modelo base por sí solo. Es decir, más capacidades sin sumar hardware.

Qué trae exactamente Granite Switch 4.1

Los modelos Granite-Switch-4.1-8B y -30B se publican "con baterías incluidas": IBM los compiló con un conjunto predefinido de adaptadores. Entre ellos:

• Un nuevo Decision aLoRA para toma de decisiones de propósito general (v1/systemone).
• Un Guardian aLoRA especializado que, según IBM, supera en promedio a Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions y Clef-Flash en tareas de decisión relacionadas con seguridad.
• Granite-Speech-5.0-Turbo-CTC, que IBM describe como el modelo ASR más rápido del OpenASR Leaderboard, embebido para tareas de transcripción.

La clave de la arquitectura es que los adaptadores se construyeron como Activated LoRAs (aLoRA) eficientes en caché. El KV cache generado por una generación del modelo base se reutiliza para cualquier decisión posterior basada en adaptadores. Combinado con las contribuciones recientes del equipo a vLLM para acelerar la inferencia de adaptadores de bajo rango, y con un encoder ASR co-ubicado, los modelos pueden saltar entre una petición de chat, una de decisión y una de voz a alta velocidad.

La carrera de los modelos de decisión

Los modelos de decisión no son nuevos, pero 2026 los convirtió en categoría propia. TechCrunch reportó el 1 de octubre que Amazon Web Services lanzó Strands Decider 2B, un modelo abierto inspirado en el Jev de TypeSafe, la misma semana en que OpenAI anunció una oferta similar. El modelo de Amazon, construido sobre el "torso" de Qwen3.5-2B, entrega opciones calibradas en lugar de texto generado.

La lógica es simple: los agentes de IA toman miles de microdecisiones rutinarias —aprobar una transacción, clasificar un ticket— donde generar prosa token a token es un cuello de botella caro. Un modelo de decisión devuelve una etiqueta con un puntaje de confianza, sin tokens de salida.

El 14 de octubre, FLock.io lanzó THIS/THAT Model, un modelo de decisión abierto de 1.88B parámetros construido sobre Qwen3.5-2B, con inferencia local de aproximadamente 31,4 milisegundos. Según HackerNoon, procesó 2,5 millones de decisiones tres semanas después de salir en vivo y alcanzó 94,1% de precisión frente al 76,5% de Jev en 68 preguntas de geometría local.

En ese contexto, la apuesta de IBM es distinta: no competir con un modelo de decisión puro, sino componer especialistas dentro de un mismo checkpoint.

Cómo funciona la Activated LoRA y por qué abarata el despliegue

Con LoRA estándar, cada adaptador se entrena contra su propia distribución de KV, así que cambiar de adaptador en un flujo complejo obliga a descartar y recomputar el KV cache en cada paso. Los aLoRA se entrenan contra un KV cache normalizado común, de modo que conviven en un solo checkpoint y se activan bajo demanda sin contaminarse entre sí.

El repositorio de Granite Switch en GitHub muestra la diferencia en telemetría: aLoRA alcanzó 74% de tasa de acierto de KV cache frente a 29% de LoRA, con 5 de 16 tareas terminadas contra 1 de 16, sobre el mismo modelo y hardware.

Cada adaptador tiene un token de control dedicado (por ejemplo <guardian> o <query_rewrite>) que dispara su activación desde esa posición en adelante. Como los pesos se seleccionan por posición de token y no por request, el prefill de pasos anteriores se reutiliza en lugar de recalcularse.

IBM también publicó una comparación: en una "carrera" entre Granite-Switch-4.1-30B (base Granite congelado más 4 aLoRA especializados) y Jev-27B (base Qwen congelado más 1 LoRA genérico), el modelo de IBM completó un flujo RAG real de 5 pasos más rápido que su competidor.

¿Qué significa esto para tu startup?

Si estás construyendo un agente o un producto con IA, la decisión de arquitectura que importa no es "qué modelo es más inteligente", sino cuántos modelos necesitas servir.

Hoy la ruta habitual es encadenar servicios: un LLM para conversar, un clasificador aparte para moderación, una API de transcripción para el audio. Cada salto suma latencia, costo y un punto de falla. Granite Switch propone lo contrario: un solo endpoint con varios especialistas activables.

Hay tres implicaciones concretas:

• Costo de inferencia. Si los adaptadores comparten KV cache y VRAM con el base, el ahorro no viene de un modelo más barato sino de no levantar infraestructura separada para cada tarea.
• Latencia en flujos multi-paso. Reutilizar el prefill elimina el costo principal de cambiar de adaptador a mitad de un flujo. En agentes con muchas decisiones por minuto, eso se nota.
• Portabilidad. Los modelos se publican bajo licencia Apache-2.0 y se despliegan con vLLM para producción o HuggingFace para prototipado, sin paso de conversión.

Acciones concretas para tu equipo

• Mide cuántos modelos sirves hoy. Haz una lista de cada endpoint de IA en tu stack (chat, clasificación, moderación, transcripción) y su costo mensual. Si son más de dos, la composición de adaptadores es una alternativa a evaluar.
• Prueba el 8B antes del 30B. El Granite-Switch-4.1-8B cubre transcripción, resúmenes, filtrado de contenido y más de 15 flags genéricos. Para la mayoría de los casos de uso de una startup temprana, es el punto de partida razonable.
• Compon tu propio modelo. No estás obligado a usar la versión de IBM. El composer permite mezclar adaptadores de Granite Libraries con los tuyos. Requiere Python 3.11+ y PyTorch 2.11+.
• Experimenta con el caso extremo. IBM demostró un modelo Granite Switch de 3B parámetros jugando Doom, tomando decisiones en fracciones de segundo a 60-100 decisiones por segundo, frente a las 10 decisiones por segundo reportadas por Jev. Y a diferencia de Jev, ese modelo puede narrar y responder preguntas mientras juega.

Conclusión

Granite Switch 4.1 no es un modelo más potente que la frontera: es una apuesta por la composición como ventaja competitiva. En lugar de escalar parámetros, IBM empaqueta especialistas que comparten un mismo KV cache y los sirve desde un solo endpoint.

Para una startup hispanohablante con presupuesto de GPU limitado, la lección es directa: antes de sumar otro servicio de IA a tu arquitectura, pregúntate si puedes activar esa capacidad dentro del modelo que ya sirves. IBM planea liberar un Adapter SDK para entrenar adaptadores en Mellea, lo que abre la puerta a que terceros compongan sus propios modelos.

Fuentes

• Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint (fuente original)
• Amazon releases its own Jev clone as decision models flood the web
• FLock.io Launches Qwen-powered, Open-Source Decision Model for Local Edge Deployment
• Granite Switch — Build AI models like you build software