El PASS que no dice todo: el límite de 16 núcleos
El nuevo Space de Hugging Face sobre AWS Trainium solo valida modelos que caben en 4 dispositivos Trainium2, es decir 16 núcleos como máximo, y advierte de forma explícita que ese resultado no dice nada sobre throughput ni sobre generaciones más largas que las probadas.
Para un founder que evalúa mover inferencia a silicio propio de AWS, eso es la diferencia entre una señal útil y una promesa inflada. La buena noticia es que ahora esa señal existe, es pública y se puede consultar en segundos antes de gastar un solo dólar en instancias.
El contexto: el 19 de octubre de 2026, según CryptoBriefing, Amazon presentó TorchNeuron, un backend nativo de PyTorch construido por Annapurna Labs y liberado bajo licencia Apache 2.0, con beta pública abierta el 20 de octubre durante la PyTorch Conference en San José. SiliconANGLE reporta que la herramienta permite correr proyectos de PyTorch en Trainium sin cambios extensos de código: basta configurar qué chip debe usar la carga de trabajo.
Leíste lo que hace la IA. ¿Y en tu negocio?
En CAR, dueños de empresa arman en 7 días su primer sistema funcionando: que ningún cliente se les escape, o que el informe del lunes salga solo. Con otros emprendedores al lado.
👥 Probar 7 días¿Qué es el Space de torch-neuronx y qué responde?
El Space torch-neuronx model support responde una pregunta muy concreta: de los modelos más populares del Hub, ¿cuáles corren sin modificar en Trainium?
No es un ranking de rendimiento. Es una tabla de compatibilidad con datos de ejecución real. Cada fila indica el resultado, el número de núcleos Trainium sobre los que se repartió el modelo, el tiempo de pared de la corrida —compilación incluida— y el pico de memoria del dispositivo.
La vista Selected abre con una selección propia de modelos tomada entre los más descargados y los de mayor puntaje de tendencia del Hub. Para buscar un modelo puntual, el usuario cambia a Trending o Downloads y escribe parte del nombre. Esas vistas siguen los rankings del propio Hub, tarea por tarea, esté el modelo probado o no. Cuando un modelo quedó fuera a propósito, el Space explica el motivo: casi siempre falta de prioridad, a veces incompatibilidad real.
También se pueden elegir las versiones del compilador neuronx-cc y de Transformers que se quieren consultar. Ese detalle importa: la compatibilidad no es una propiedad fija del modelo, sino del modelo más su stack.
¿Qué modelos corren hoy en Trainium sin cambios?
El alcance actual es acotado y conviene tenerlo claro antes de planificar una migración:
- Solo se prueban modelos de Transformers.
- La selección se limita a text-generation e image-text-to-text.
- El equipo detrás del Space declara que planea expandirlo a diffusers, sentence transformers y otras tareas de Transformers.
Traducido a la práctica: si tu producto se apoya en un modelo de generación de texto o en un modelo multimodal de imagen a texto, hay muchas chances de que puedas consultar su estado hoy mismo. Si dependes de difusión de imágenes, embeddings o pipelines de audio, todavía no hay veredicto publicado.
¿Cómo se verifica cada modelo?
Entender la metodología es lo que permite decidir si el resultado te sirve o no.
Cada prueba carga el modelo en una instancia trn2 y lo reparte sobre el menor número de núcleos Trainium capaz de sostener sus pesos. La mayoría de los modelos se reparten con tensor parallelism. Los modelos de mezcla de expertos (MoE) que no tienen un plan de tensor parallelism usan únicamente expert parallelism.
Luego el test genera 32 tokens y los verifica. Si corrió en un solo núcleo, compara esos tokens contra los de una corrida en CPU del mismo checkpoint. Si el modelo estuvo repartido entre varios núcleos, un modelo juez pequeño comprueba que el texto sea inglés fluido.
Las limitaciones están declaradas por la propia fuente:
- Solo se prueban modelos que caben en 4 dispositivos Trainium2 (16 núcleos).
- Un PASS no dice nada sobre throughput.
- Un PASS no dice nada sobre generaciones más largas.
Todo lo que muestra el Space sale del dataset público aws-neuron/torch-neuronx-model-support, con un archivo Parquet por cada par de versiones de neuronx-cc y de la librería. Cada fila guarda el resultado, el error cuando falló, las versiones de todo el stack y el run.py que se ejecutó.
¿Cómo replicar el test en tu propia cuenta?
El Space no se queda en el veredicto: entrega la receta. El run.py sigue el patrón del anuncio de TorchNeuron: carga el modelo con from_pretrained, lo reparte cuando hace falta y luego genera con una caché estática y torch.compile(backend="neuron").
Sobre una instancia Trainium2 (trn2), por ejemplo dentro del AWS Neuron Deep Learning Container, el flujo es instalar los paquetes indicados y ejecutar:
python3 run.py
No hace falta torchrun: el script levanta sus propios rangos de torch.distributed cuando el modelo está repartido.
La primera corrida arranca compilando los grafos del modelo. Para saltear ese paso, se pueden copiar los grafos que el mismo compilador construyó durante la prueba, desde el bucket público de caché NEFF. El Space da el comando con la versión correcta del compilador:
hf buckets sync hf://buckets/aws-neuron/torch-neuronx-neff-cache/neuronxcc-<version> /tmp/neff_cache
Ese atajo es relevante para el bolsillo: la compilación consume tiempo de instancia, y evitarla en el primer test baja el costo de la prueba de concepto.
¿Qué significa esto para tu startup?
La barrera real para probar silicio alternativo nunca fue el hardware, sino el costo de reescribir código. CryptoBriefing señala que TorchNeuron es el intento de Amazon de reducir ese costo de cambio a casi cero, apuntando directo a la ventaja que Nvidia construyó alrededor de CUDA. La lógica para AWS es simple: cada carga de trabajo que migra a Trainium se queda dentro de AWS.
Los números que se están discutiendo en el mercado: SiliconANGLE reporta que TorchNeuron ya fue adoptado por clientes como Cartesia AI, una startup de agentes de voz que lo usa para inferencia. CryptoBriefing menciona a más de 30 clientes tempranos y AndroGuider recoge que AWS afirma que las instancias Trn2 basadas en Trainium2 ofrecen entre 30% y 40% mejor relación precio-rendimiento en entrenamiento frente a instancias EC2 con GPU, y que las instancias Inf2 recortan hasta 50% el costo de inferencia en LLMs de alto throughput. TechBooky, en cambio, recuerda que la etiqueta de beta importa: que exista un backend no garantiza compatibilidad amplia ni ahorros de costo total.
Acciones concretas para evaluar Trainium sin quemar presupuesto:
- Consulta primero, instala después. Antes de reservar una instancia, busca tu modelo exacto en las vistas Trending o Downloads del Space y anota con qué versión de neuronx-cc y de Transformers pasó. La compatibilidad depende del stack, no del nombre del modelo.
- Baja los grafos compilados desde el bucket NEFF. Copiar la caché con el comando que entrega el Space evita pagar la compilación en tu primer test.
- Mide lo que el PASS no mide. Arma tu propio benchmark de throughput y de generaciones largas con tu prompt real. El veredicto del Space solo cubre 32 tokens y no evalúa latencia ni costo por token en producción.
- Empieza por una sola carga de trabajo de inferencia. El propio dataset es consultable con pandas, así que puedes filtrar por modelo y revisar el error exacto cuando algo falló antes de comprometer una migración mayor.
Conclusión
La compatibilidad de modelos dejó de ser un dato que se descubre a los golpes en una instancia pagada. Hoy es una consulta pública con metodología declarada, versiones de stack y script reproducible. Para un equipo pequeño, eso reduce el riesgo de la prueba de concepto a unas pocas horas y a un gasto acotado.
El límite sigue estando en la letra chica: 16 núcleos, 32 tokens, solo Transformers, solo texto y multimodal de imagen a texto. Quien lea el PASS como una garantía de rendimiento en producción se va a llevar una sorpresa. Quien lo lea como lo que es —un filtro de primera ronda— puede ahorrarse semanas de trabajo exploratorio.
Fuentes
- https://huggingface.co/blog/torch-neuronx-model-support (fuente original)
- https://siliconangle.com/2026/10/19/amazon-introduces-toolkit-for-running-pytorch-workloads-on-aws-trainium-chips/
- https://cryptobriefing.com/amazon-torchneuron-trainium-ai-chips-pytorch/
- https://www.techbooky.com/amazon-opens-trainium-ai-chips-to-pytorch-developers-with-torchneuron/
- https://www.androguider.com/2026/10/amazon-takes-aim-at-nvidia-with.html
Leíste lo que hace la IA. ¿Y en tu negocio?
En CAR, dueños de empresa arman en 7 días su primer sistema funcionando: que ningún cliente se les escape, o que el informe del lunes salga solo. Con otros emprendedores al lado.
👥 Probar 7 días
