MonsterHouse: el garaje con IA local de NVIDIA Nemotron

Un garaje que gruñe: la IA conversacional que NVIDIA llevó a Halloween

El MonsterHouse responde a un niño que pide dulces en 1,70 segundos de media, y en 0,72 segundos cuando la frase ya estaba cacheada. Ese es el número que separa a un disfraz de garaje de una experiencia que los visitantes recuerdan, y es también el dato que cualquier founder debería mirar antes de prometer un asistente de voz que se sienta "natural".

El proyecto es una proyección interactiva montada en la puerta de un garaje para Halloween. Escucha a los niños que llegan a pedir dulces, responde con la voz de un viejo barco pirata gruñón y se ablanda cuando el visitante recuerda decir "por favor". Detrás no hay un guion cerrado: hay un pipeline de voz completo corriendo en una sola estación de trabajo. El autor del experimento es ingeniero de NVIDIA, según relata en el blog donde documentó el build.

Qué es MonsterHouse y cómo funciona por dentro

La idea de partida era que la casa "estuviera a cargo" y repartiera los dulces, pero más gruñona que aterradora. La solución fue darle una boca a la puerta del garaje y enseñarle a quejarse. El stack tiene cinco capas que se ejecutan en cadena:

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Escuchar: Nemotron Speech ASR convierte el habla del visitante en texto.
Pensar: Nemotron 3.5 Bolt E4B 4GB, un modelo de lenguaje pequeño y abierto para agentes conversacionales, redacta cada respuesta. Un adaptador LoRA le aporta la personalidad.
Hablar: Magpie TTS Zeroshot genera la voz a partir de una muestra corta de referencia del personaje.
Animar: Audio2Face-3D convierte el habla limpia en animación de boca dentro de Unreal Engine 5.
Ver: Nemotron 3 Nano Omni describe los disfraces, mientras YOLO y ByteTrack cuentan y siguen a los visitantes.

Todo corre en una estación con una RTX PRO 6000 Blackwell Max-Q y una RTX PRO 4000 Blackwell. El autor reparte el trabajo entre las dos GPU por una razón concreta: la memoria no era el problema, el cómputo sí. Quería mantener la animación a una tasa de cuadros estable sin importar lo que estuviera procesando el pipeline del agente.

¿Por qué un modelo de 4GB y no uno más grande?

El autor probó más de una docena de modelos antes de quedarse con Bolt E4B. Buscaba un sistema autónomo, sin depender de la nube, con presupuesto acotado de memoria y cómputo. Según su propio relato, Bolt E4B tiene un footprint menor que otros candidatos que evaluó, como Qwen3 30B-A3B y Qwen 3.6 35B-A3B.

Los números del modelo los publicó Marktechpost: Bolt E4B tiene 8.000 millones de parámetros totales y 4.000 millones efectivos, con una ventana de contexto de 64K. El build Q4KM consumió entre 3,1 y 4,3 GB de VRAM en las pruebas de NVIDIA. El "4GB" del nombre describe un objetivo de memoria, no el tamaño del archivo: el GGUF publicado en Hugging Face pesa 6,18 GB.

En benchmarks medidos por NVIDIA, Bolt lideró 15 de 21 pruebas frente a Gemma 4 E4B, Qwen3.5-4B y Nemotron 3 Nano 4B. Su mejor marca fue IHEval con 84,8, contra 67,0 de Gemma 4 E4B y 60,6 de Qwen3.5-4B. Su punto débil es Tau2-Bench, con 55,1, unos 20 puntos por detrás de Qwen3.5-4B (75,1). Según ShiftDelete, NVIDIA reporta además una mejora del 40% en la tasa de éxito conversacional frente a la iteración Nano anterior, y el modelo soporta 35 idiomas.

Vale la pena leer esos benchmarks con la advertencia que el propio medio agrega: son mediciones del fabricante, y las cifras de terceros pueden diferir.

¿Cuánto tarda en responder y por qué eso define la experiencia?

Un monstruo pierde autoridad si tarda demasiado en quejarse. El pipeline libera texto pronunciable antes de que la respuesta completa esté terminada, así que la casa empieza a hablar mientras el resto de la frase sigue en camino. Los saludos preparados y los chistes de caramelos cubren los encuentros habituales: el banco de texto ahorra trabajo del modelo de lenguaje y las grabaciones cacheadas ahorran síntesis de voz.

El resultado se ve en los tiempos medianos de fin-de-habla a audio:

Con Bolt Q4 y TTS en vivo: 1,70 segundos.
Con respuestas cacheadas: 0,72 segundos.

La detección de fin de habla espera 300 ms de silencio antes de cortar el turno. Y hay un ajuste de 100 ms que compensa el buffering de Audio2Face-3D para que voz, animación y efectos aterricen juntos.

Ese contraste entre 1,70 y 0,72 segundos es el hallazgo más transferible del proyecto: la latencia percibida no se resuelve solo con un modelo más rápido, se resuelve cacheando lo previsible. El autor lo dice sin rodeos: si estás limitado por cómputo, puedes tener una versión en vivo que use solo Nemotron Speech ASR, un router de conversación en Python y todo el audio cacheado, generando cientos de respuestas offline con el pipeline de Bolt y Magpie.

¿Cómo se le da personalidad a un agente sin que suene a robot?

La casa necesitaba más que un prompt que dijera "sé gruñón". Tenía que seguir un flujo maestro de conversación, reaccionar a lo que el visitante realmente decía y llevar registro del estado del encuentro. El autor entrenó un adaptador LoRA sobre un dataset de más de 5.000 conversaciones multiturno, con algunos entrenamientos que tomaron alrededor de una hora y otros un par. Un agente local corrió todo y comparó resultados, mientras un modelo grande creaba y juzgaba el dataset de base.

El detalle de diseño que más se repite en el blog es dónde vive el estado: el seguimiento de quién ya dijo "por favor" va en la aplicación, no en el modelo. Ese es el tipo de decisión que separa un demo que funciona tres turnos de un agente que sostiene una conversación.

La voz también se trabajó aparte. El personaje tiene siete estados de ánimo, de gruñón y amenazante a divertido y encantado, y cada emoción requiere una muestra de voz distinta de 3 a 10 segundos. El autor grabó sus propias muestras en su mejor voz de pirata feliz o enojado.

Qué significa esto para tu startup

El valor de MonsterHouse no está en el garaje: está en que demuestra que un agente conversacional con voz, cara y visión puede correr en hardware local, sin nube y sin un equipo de investigación detrás. Para un founder hispanohablante con presupuesto ajustado, eso cambia el cálculo.

Acciones concretas que puedes implementar:

Empieza por el pipeline de voz, no por el modelo. Clona el Nemotron Voice Agent y corre el ejemplo Generic Assistant. Obtienes la cadena completa (ASR, LLM y TTS) con detección de actividad de voz y manejo de fin de turno, que es justo la parte que más tiempo consume cuando se arma desde cero.
Construye un banco de respuestas cacheadas antes de optimizar el modelo. Genera cientos de respuestas offline con Bolt y Magpie y sirve el audio guardado para las líneas más frecuentes. Es el salto de 1,70 a 0,72 segundos, y no requiere hardware nuevo.
Guarda el estado de la conversación en tu aplicación. No le pidas al modelo que recuerde si el usuario ya cumplió una condición: eso es lógica de negocio, no de lenguaje.
Entrena un LoRA solo cuando el prompt ya no alcance. NVIDIA publica una receta de LoRA para Bolt E4B dentro de NeMo AutoModel, y el autor llegó a esa etapa después de agotar el prompting.
Elige el hardware según tu latencia objetivo, no según el hype. Según Marktechpost, una RTX 5070 corre Bolt a 133 tokens por segundo, mientras que una Jetson Orin Nano de 8GB baja a 15,5 tokens por segundo. Si tu caso de uso tolera respuestas cacheadas, la placa pequeña alcanza.

El ángulo de privacidad es igual de relevante para el mercado hispanohablante. Un agente que procesa audio de clientes sin enviarlo a la nube simplifica el cumplimiento normativo en sectores regulados, y en regiones donde el ancho de banda o el costo de API son un freno, correr local deja de ser una curiosidad técnica y pasa a ser una ventaja operativa.

Conclusión

MonsterHouse es un experimento de Halloween, pero su arquitectura es un plano reutilizable: modelos pequeños abiertos, un pipeline de voz bien armado, caché agresivo y estado en la aplicación. El código del proyecto no está empaquetado para su distribución, aunque todos los modelos de NVIDIA que usa están disponibles hoy.

La lección para un founder es que la barrera de entrada a un agente conversacional con voz y cara bajó mucho. Lo que sigue siendo difícil no es el modelo: es el diseño de la conversación, la gestión del estado y la disciplina de latencia. Eso no se compra ni se descarga. Se piensa.