Butter: cacheo de respuestas LLM con plantillas dinámicas e IA
¿Qué es Butter y cómo revoluciona el cacheo para LLM?Butter es una herramienta open-source que opera como proxy y sistema de cacheo para modelos de lenguaje (LLM). Su innovación principal es un enfoque basado en plantillas dinámicas, permitiendo que el cache sepa discriminar entre partes fijas y variables en cada respuesta. Así, no solo guarda …









