Neuralwatt, nube de GPU: la caché decide tu gasto de IA
Una petición a un modelo de IA con la caché fría consume el doble de energía que una idéntica con la caché caliente. Neuralwatt, la nube de inferencia que publicó el análisis, revisó un mes de tráfico y encontró que esa diferencia no la decide el modelo ni el hardware, sino el cliente que lo …









