Samsung mete cómputo en RAM: 81 tok/s con Llama 3.1 local
Por qué Samsung mete cómputo dentro de la RAM El problema clásico de mover modelos a un teléfono o laptop no es la matemática: es el viaje. Cada inferencia gasta la mayor parte de la energía en sacar pesos y activaciones de la DRAM, llevarlos a la CPU/GPU/NPU, hacer unas multiplicaciones y devolver el resultado. …









