datasette-llm: agentes IA con modelos locales en SQLite

¿Qué cambia en datasette-llm 0.1a11?

datasette-llm es el plugin intermedio de Datasette que permite configurar modelos de lenguaje para que otros plugins de la herramienta los consuman. No es un agente en sí mismo: es la capa de configuración sobre la que se apoyan los demás.

La versión 0.1a11 añade soporte para endpoints compatibles con OpenAI, el pseudo-estándar web que hablan casi todos los servidores de modelos. En la práctica, eso significa que puedes apuntar Datasette a un LLM alojado en cualquier lugar que respete ese protocolo, incluido tu propio equipo.

El detalle importa para quien construye: hasta ahora, integrar IA en un flujo de datos implicaba aceptar las condiciones de un proveedor cloud. Con este cambio, la misma integración funciona igual contra un modelo que corre en localhost.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Por qué el protocolo de OpenAI se volvió el idioma común de los LLM?

La respuesta está en el ecosistema de inferencia local. El propio anuncio menciona tres herramientas que ya exponen endpoints compatibles: LM Studio, Ollama y llama.cpp. Si tu servidor habla el mismo protocolo que la API de OpenAI, cualquier cliente escrito para esa API funciona sin cambios.

Para un equipo pequeño, esto reduce trabajo de integración: escribes la conexión una vez y la mueves entre proveedor cloud, servidor interno o portátil sin reescribir código. Es la misma lógica que llevó a que el formato de archivo de un proveedor se convirtiera en el estándar de todo el sector: gana el que evita fricción, no el que tiene la mejor documentación.

llama.cpp llegó a v1.0.0 y ahora la compatibilidad es un contrato

El contexto que rodea a este release es relevante. Según unite.ai, ggml-org anunció llama.cpp v1.0.0 el 13 de noviembre de 2026, junto con la versión 1.0.0 de la librería de tensores ggml. El proyecto reporta soporte para más de 150 variantes de arquitecturas de modelos y para los principales métodos de decodificación especulativa.

El cambio de fondo no es una función nueva, sino una política: a partir de ahora, los saltos de versión mayor señalan incompatibilidades de API y de ABI. Un cambio incompatible en la API pública de C dispara una versión mayor; las funciones retrocompatibles, las actualizaciones de backend y el soporte de modelos disparan una versión menor.

El release también limpió la casa: eliminó 35 funciones deprecadas de la API pública y promovió la API de decodificación especulativa NextN desde el header de extensión al header público. En el servidor, corrigió problemas de SSRF, CORS y DNS rebinding, y añadió un endpoint compatible con OpenAI para síntesis de voz, /v1/audio/speech.

Un análisis publicado en note.com señala que apenas unas horas después se publicó la pre-release b12366, con soporte BF16 para RMS_NORM en CPU y CUDA. La lectura práctica: v1.0.0 es la base estable para producción y las builds inmediatas posteriores son el terreno de prueba de rendimiento.

¿Cómo levantar un agente sobre tus datos con un solo comando?

El anuncio incluye un ejemplo reproducible. Con uvx puedes descargar una base de datos de ejemplo y arrancar Datasette con el agente apuntando a un modelo local:

uvx --with datasette-agent datasette --root --secret 1 -s plugins.datasette-llm.default_model '{"model": "lmstudio-qwen", "model_name": "qwen/qwen3.8-27b", "api_base": "http://localhost:1234/v1"}' content.db

Tres cosas para mirar en ese bloque. La primera, --with datasette-agent: el paquete que aporta el agente conversacional. La segunda, la opción -s plugins.datasette-llm.default_model, donde se declara el modelo, su nombre y la api_base que apunta al servidor local en el puerto 1234. La tercera, --root y --secret, que habilitan permisos elevados en esa instancia.

En la captura que acompaña al anuncio, el agente recibe la pregunta «how many repos and how many releases are there?», ejecuta una llamada a herramienta con una consulta SQL sobre la base content y responde con el resultado: 200 repositorios y 1.889 releases. Es un ejemplo pequeño, pero muestra el patrón completo: pregunta en lenguaje natural, consulta SQL generada y respuesta verificable contra los datos reales.

¿Qué significa esto para tu startup?

1. Prototipa agentes internos sin costo de tokens. Si tu producto ya vive sobre SQLite —o si tus datos de analítica caben en un archivo—, puedes montar un asistente que responda preguntas sobre ellos sin pagar API. El comando de arriba es el punto de partida más corto que vas a encontrar, y no requiere infraestructura más allá de tu equipo.

2. Separa los datos que no pueden salir de tu infraestructura. Un modelo local te permite ofrecer funciones de IA sobre información sensible —datos de clientes, contratos, métricas financieras— sin que esa información atraviese la red. Antes de elegir proveedor, haz la lista de qué datos jamás deberían salir y decide con eso, no con la comparativa de precios.

3. Fija la versión de tu runtime. Con el nuevo contrato de versiones de llama.cpp, un salto de versión mayor te avisa que algo puede romperse. Si integras inferencia local en un producto, ancla la versión y prueba las pre-releases en un entorno aparte, nunca en el que usan tus clientes.

Los límites que conviene tener presentes

datasette-llm 0.1a11 sigue siendo una versión alpha. El sufijo a11 lo dice: la API puede cambiar y no es una pieza para poner en el camino crítico de producción.

También hay un límite de hardware y de calidad. Un modelo que corre en tu portátil no compite con los modelos frontera en razonamiento complejo, y las correcciones de seguridad del servidor de llama.cpp —SSRF, CORS, DNS rebinding— recuerdan que exponer un endpoint local a una red no es un detalle menor. Si vas a dar acceso a un agente sobre tus datos, la configuración de permisos importa tanto como el modelo.

Conclusión

El anuncio de datasette-llm 0.1a11 es pequeño en líneas y grande en dirección: la integración de IA en herramientas de datos deja de depender de un proveedor y pasa a ser una decisión de infraestructura. Súmale que llama.cpp acaba de formalizar su contrato de compatibilidad y el mensaje para un founder es claro: los modelos locales ya son una opción de producto, no solo un experimento de fin de semana. Empieza por un caso acotado, mide la calidad contra tu proveedor actual y decide con datos propios.