Mesh Applied: modelos Qwen3.8 a 255 tok/s en una 5090

¿Qué lanzó Mesh Applied?

255 tokens por segundo en una sola tarjeta gráfica de consumo. Ese es el número que Mesh Applied puso sobre la mesa con Goethe Qwen3.8-27B NVFP4 NInfer, un modelo denso de 27.000 millones de parámetros que, según la compañía, llega a ~686 tokens por segundo (tok/s) cuando atiende cuatro peticiones en paralelo. Para un founder que hoy paga por token en la nube, la pregunta deja de ser qué modelo es más inteligente y pasa a ser cuántas tareas por hora puede resolver con el hardware que ya tiene.

Mesh Applied publicó dos modelos de la familia Goethe, ambos construidos sobre Qwen3.8 y cuantizados en formato NVFP4. El primero, Goethe Qwen3.8-27B NVFP4 NInfer, es un modelo denso pensado para hardware de consumo: la compañía recomienda una tarjeta con 32 GB de VRAM —por ejemplo, una RTX 5090— y aclara que también corre en 24 GB. Las cifras se midieron sobre un set de evaluación de programación agéntica y una única GeForce RTX 5090 de 32 GB.

El segundo modelo, Goethe Qwen3.8-Flash-Next NVFP4, apunta a otra escala. Está diseñado para contextos largos y ejecuciones prolongadas, así que Mesh Applied recomienda un setup de 96 GB de VRAM —una RTX6000 PRO, por ejemplo—, aunque dos tarjetas de 48 GB también ofrecen un rendimiento aceptable. En decodificación reporta ~184 tok/s con una petición y ~334 tok/s con cuatro.

Un detalle importante: la compañía afirma que este segundo modelo supera levemente a Gemini 3.8-Flash y Claude Opus-4.6 en matemáticas y código. Es una comparación publicada por el propio fabricante, sin un benchmark independiente que la respalde, así que conviene leerla como una declaración de parte y no como un resultado auditado.

¿Por qué la velocidad pesa más que la capacidad?

La tesis de Mesh Applied es simple y le sirve a cualquier founder: los modelos abiertos ya son suficientemente buenos para cerca del 98% de las tareas que la gente realmente usa con IA —redacción, razonamiento tipo búsqueda, código de pegamento, clasificación, tutoría, agentes livianos—. Si eso es cierto, el cuello de botella deja de ser la inteligencia del modelo y pasa a ser la frecuencia y la velocidad con la que puedes ejecutarlo.

La empresa lo formula como una cadena de joule a predicción: convertir energía en predicciones que cambien la siguiente acción. Cuando el costo energético se diluye, lo que el usuario siente es el tiempo por tarea. Y ahí es donde un modelo denso cuantizado con un kernel propio le gana a un modelo enorme que tarda minutos.

Hay una razón técnica para elegir denso en lugar de mezcla de expertos (MoE): los modelos densos son más fáciles de comprimir porque cada peso se cuantiza. Con un buen algoritmo de compresión y un kernel hecho a medida, el tiempo por tarea baja de minutos a segundos. Ese es exactamente el trade-off que Mesh Applied está vendiendo, y el código del kernel está publicado en su repositorio de GitHub.

¿Cuánto cuesta servir tu propio modelo?

Aquí está el dato más accionable del anuncio. Para Goethe Qwen3.8-Flash-Next, Mesh Applied afirma que en un setup self-hosted el costo de servir 1 millón de tokens de salida queda por debajo de US$0,01. Para el modelo de 27B no publica estimaciones de costo, y lo justifica: no está pensado para carga sostenida.

Ese número importa porque el debate sobre self-hosting dejó de ser ideológico y se volvió contable. En una conferencia de Red Hat cubierta por TechTarget, BNP Paribas detalló que procesa alrededor de 1.500 millones de tokens de IA por día y que migró a infraestructura propia, con la soberanía digital y el control como motivadores centrales. El banco sostiene que su costo total de propiedad es menor que seguir en la nube, aunque admite que calcular el ahorro exacto es difícil.

La misma nota cita una encuesta de Omdia sobre 400 encuestados: casi la mitad ya usa modelos de IA de código abierto. Entre las técnicas para bajar costos operativos de IA generativa, las de eficiencia de modelo —incluida la cuantización— fueron mencionadas por el 21%, mientras que correr cargas en infraestructura propia en lugar de nube pública apareció con el 18%.

¿Qué hardware necesitas para replicarlo?

El piso de entrada bajó. El modelo de 27B corre en 24 GB de VRAM, lo que abre la puerta a tarjetas de gama media y a estaciones de trabajo que ya están sobre la mesa de muchos equipos.

XDA Developers lo documentó con un caso concreto: un modelo de 7B a precisión completa necesita 14 GB o más, pero en cuantización de 4 bits baja a unos 5 GB. El mismo artículo señala que la RTX 3090 sigue siendo la mejor relación precio-rendimiento para inferencia local, y que un mini PC de 50 W puede sostener un chatbot útil a unos 5 tokens por segundo, frente a los ~25 tok/s de un equipo con GPU dedicada que consume más de 400 W.

La conclusión práctica: no necesitas comprar 96 GB de VRAM para empezar. Necesitas decidir qué tareas toleran un modelo más chico y más rápido.

¿Qué significa esto para tu startup?

• Audita tus llamadas a la API por tipo de tarea. Separa lo que exige razonamiento profundo de lo que es recuperación de documentos, clasificación, redacción de borradores o código de pegamento. Ese segundo grupo es el candidato natural para un modelo denso local.
• Mide costo por tarea, no por token. Un modelo que genera el doble de tokens por segundo puede salir más barato aunque su calidad por token sea menor, si la tarea se resuelve igual de bien.
• Empieza con una GPU de 24-32 GB. Prueba un modelo denso cuantizado en tu propio hardware antes de comprometer presupuesto en un servidor de 96 GB.
• No muevas todo de una vez. Larry Carvalho, consultor principal de RobustCloud, advirtió en TechTarget que los modelos autogestionados brillan en tareas acotadas y bien definidas, pero pueden quedarse cortos en flujos agénticos complejos. Varun Raj, ejecutivo de ingeniería de IA, va en la misma línea: el valor de los modelos chicos está en costo, control, latencia y localidad de datos, no en igualar a los modelos de frontera en todas las dimensiones.
• Usa la soberanía de datos como argumento comercial. Si vendes a clientes regulados, que los datos no salgan de su infraestructura es una propuesta de valor que BNP Paribas ya validó a escala bancaria.

Conclusión

Mesh Applied no compite por el techo de capacidad, sino por el piso de tiempo y costo. Dos modelos densos, cuantizados y con kernel propio, con cifras concretas: 255 tok/s en una sola RTX 5090 y menos de US$0,01 por millón de tokens de salida en el modelo grande. Para un founder hispanohablante con presupuesto ajustado, la lección no es comprar hardware, sino medir cuánto de su factura de IA se va en tareas que un modelo local ya resuelve bien.

Fuentes

• meshapplied.com (fuente original)
• Goethe Qwen3.8-27B NVFP4 NInfer en Hugging Face
• Goethe Qwen3.8-Flash-Next NVFP4 en Hugging Face
• Repositorio de Goethe en GitHub
• TechTarget: IT orgs face tricky cost calculus for self-hosted AI inference
• XDA Developers: You don’t need an expensive GPU to run a local LLM that actually works

Artículos relacionados:

Elon Musk compra Mesh: $50M en hardware óptico para IA Redes WiFi mesh en 2026: 3 claves para elegir bien Mesh Optical levanta $50M: hardware IA sin China Starlink Mesh: red mesh avanzada para startups y hogares Applied Compute (ex-OpenAI) negocia US$350M a US$3.250M