Hugging Face abre 207 kernels WebGPU: 2,57x más rápidos

@huggingface/kernels: 207 WebGPU kernels listos para correr IA local en el navegador

Hugging Face publicó este 1 de septiembre @huggingface/kernels, una librería JavaScript que carga, prepara y ejecuta desde el navegador 207 operaciones GPU optimizadas para inferencia de modelos en WebGPU, junto con una nueva herramienta de crowdsourcing llamada Fleet que mide rendimiento y corrección sobre hardware real.

El paquete se ofrece bajo licencia Apache-2.0 y se instala con npm install @huggingface/kernels@preview. Cada kernel vive en su propio repositorio dentro de la organización huggingface.co/webgpu-kernels, con contrato, casos de prueba, benchmarks y shaders WGSL versionados de forma independiente. La operación más simple del catálogo, ai.onnx.Add, sirve como ejemplo mínimo: dos tensores, broadcast en una dimensión y la API se mantiene idéntica cuando se sube a operaciones pesadas como ai.onnx.MatMul.

Por qué WebGPU es solo el primer paso del problema

WebGPU ya ofrece una API portátil para ejecutar operaciones de aprendizaje automático en cualquier navegador moderno, pero portabilidad no es lo mismo que rendimiento. Dos shaders pueden producir el mismo resultado y comportarse de forma radicalmente distinta según el workgroup size, los patrones de acceso a memoria, la vectorización, los tipos de datos y las estrategias de fusión. El kernel óptimo cambia con la forma del input, el dispositivo, el navegador y las features WebGPU disponibles.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Por eso Hugging Face decidió exponer cada operación como artefacto versionado: un manifest con el contrato del operación, un metadata con identificador y procedencia, test.json con casos de corrección, bench.json con casos de ajuste y los archivos *.wgsl.jinja parametrizados. Convertir un shader en software rehusable permite inspeccionarlo sin leer WGSL, mantener versiones explícitas en lugar de URLs sin versionar y servir como referencia para quienes construyan runtimes WebGPU propios.

Los números frente a ONNX Runtime Web en Apple M4

En la misma nota, el equipo comparó su colección contra ORT WebGPU sobre un Apple M4, usando ONNX Runtime Web 1.30.0-dev.20260826-b1f76d586a. De 1.756 casos de prueba sobre las 207 operaciones quedaron 809 donde ambas implementaciones coincidían y se podían medir de forma fiable. Sobre esos 809, los kernels de Hugging Face fueron 2,57x más rápidos por media geométrica y 1,90x en la mediana, con 629 victorias, 176 derrotas y 4 empates.

Cuatro operaciones familiares resumen el patrón:

Add: 5 casos comparados · 0,064 ms vs 0,227 ms → 3,52x
MatMul: 29 casos · 0,115 ms vs 0,131 ms → 1,14x
Softmax: 12 casos · 0,114 ms vs 0,240 ms → 2,11x
LayerNormalization: 6 casos · 0,061 ms vs 0,135 ms → 2,22x

Los extremos son llamativos. Un Einsum bilinear (i,ij,j) de tamaño 4096 pasó de 1.396 ms a 0,136 ms con el kernel de Hugging Face, un salto superior a 10.000x. Un CumSum por filas sobre [256, 4096] pasó de 4,784 ms a 0,016 ms, es decir 301x más rápido. Son casos atípicos, no la ganancia esperada en cualquier workload, pero muestran cuánto puede ayudar un kernel especializado cuando una implementación general cae en un camino lento.

La propia nota aclara las condiciones del benchmark: se midió el trabajo en GPU, excluyendo carga de kernels, creación de sesión, subida de inputs, compilación de shaders y lectura de resultados. Los workloads cortos son difíciles de medir y los casos pequeños pueden favorecerse por la caché de GPU, así que las cifras sirven como comparación útil, no como promesa universal. Los números también son para operaciones sueltas, no para modelos completos, y variarán con la GPU, el navegador y el driver.

Fleet: evidencia del mundo real, desde tu propio navegador

El rendimiento WebGPU cambia según GPU, navegador y driver, así que un único laboratorio de pruebas deja fuera la mayor parte del hardware existente. Fleet es una herramienta de benchmarking y prueba en el navegador que cualquiera puede abrir, ejecutar los kernels sobre su máquina y ver resultados en su propio hardware. Si el usuario da su consentimiento, cada corrida añade evidencia privada que Hugging Face usará para detectar fallos específicos de dispositivo, comparar variantes y mejorar las reglas de selección.

El objetivo declarado es simple: cobertura amplia y real para hacer los kernels más rápidos y fiables para todos, en lugar de optimizar solo para los devices de un banco de pruebas interno.

Hub unificado: CUDA, ROCm, Metal y WebGPU bajo la misma interfaz

Los 207 kernels WebGPU se suman al ecosistema de kernels del Hub, donde ya existían kernels para CUDA, ROCm, Metal y otras plataformas. La página Kernels permite filtrarlos, ordenarlos y explorarlos como cualquier otro artefacto. La estrategia es tratar las operaciones GPU como software distribuido: contratos transparentes, versiones explícitas, pruebas de corrección y benchmarks que viajan con la implementación.

El equipo también anunció que trabaja con el equipo de ONNX Runtime para subir estas mejoras al upstream y que el ecosistema ONNX Runtime Web completo pueda aprovecharlas.

¿Qué significa esto para tu startup?

Si tu producto corre modelos en el navegador del usuario —chat en cliente, herramientas con privacidad por diseño, visión por computador en web, agentes que procesan audio local— esta capa cambia varias decisiones técnicas:

Evalúa @huggingface/kernels como reemplazo o complemento de ORT WebGPU. Antes de empezar un proyecto nuevo en inferencia browser, prueba el paquete preview sobre los cuellos de botella de tu modelo (atención, LayerNorm, MatMul) y mide en tu propio hardware con Fleet. Las cifras del blog son 2,57x de media geométrica, pero el impacto real depende del navegador y la GPU de tus usuarios.
Construye sobre contratos, no sobre shaders. Si ya mantienes kernels WebGPU propios, considera depender de los repos de huggingface.co/webgpu-kernels como bloques versionados en lugar de embeber shaders sin versionar dentro de cada release. El sistema manifest + test + bench reduce el coste de actualizar una operación sin romper la aplicación.
Aporta evidencia desde tu hardware. Abrir Fleet con consentimiento toma minutos y devuelve datos privados. Si tienes GPUs heterogéneas en tu equipo (Apple Silicon, Windows, Linux), cada corrida ayuda a Hugging Face a cubrir combinaciones que su laboratorio no puede testear.
Espera al upstream en ONNX Runtime. Si trabajas sobre ORT WebGPU en producción, no migres todavía: las mismas mejoras están camino del upstream, así que mirarlo en su próxima release evita reescribir integraciones.