KV Cache 900.000x más allá de TurboQuant: nueva compresión
Qué es el KV cache y por qué consume 328 GB de VRAMSi estás ejecutando un modelo como Llama 70B con un contexto de 1 millón de tokens, el KV cache ocupa 328 GB de VRAM. Para ponerlo en perspectiva: eso es más del doble de lo que ocupan los pesos del modelo en BF16 …









