datasette-llm 0.1a11 lleva agentes de IA con modelos locales a SQLite y Datasette

Una sola línea de terminal basta para que un agente conversacional responda preguntas sobre una base de datos SQLite usando un modelo de lenguaje que corre en el mismo equipo. Es el ejemplo que acompaña al anuncio de datasette-llm 0.1a11, y resume bien lo que cambia con esta versión.

datasette-llm es el plugin intermedio de Datasette que permite configurar modelos de lenguaje para que otros plugins los consuman. No es un agente en sí mismo, sino la capa de configuración sobre la que se apoyan los demás. La versión 0.1a11 añade soporte para endpoints compatibles con OpenAI, el pseudo-estándar web que hablan casi todos los servidores de modelos. En la práctica, se puede apuntar Datasette a un modelo alojado en cualquier lugar que respete ese protocolo, incluido el propio ordenador.

El detalle importa para quien construye. Hasta ahora, integrar IA en un flujo de datos implicaba aceptar las condiciones de un proveedor cloud. Con este cambio, la misma integración funciona contra un modelo que corre en localhost. El anuncio menciona tres herramientas de inferencia local que ya exponen endpoints compatibles: LM Studio, Ollama y llama.cpp. Si el servidor habla el mismo protocolo que la API de OpenAI, cualquier cliente escrito para esa API funciona sin cambios, y un equipo pequeño puede mover la conexión entre un proveedor cloud, un servidor interno o un portátil sin reescribir código.

El contexto también cuenta. Según unite.ai, ggml-org anunció llama.cpp v1.0.0 el 13 de noviembre de 2026, junto con la versión 1.0.0 de la librería de tensores ggml. El proyecto reporta soporte para más de 150 variantes de arquitecturas de modelos y para los principales métodos de decodificación especulativa. El cambio de fondo es una política: los saltos de versión mayor señalarán incompatibilidades de API y de ABI. Un cambio incompatible en la API pública de C dispara una versión mayor; las funciones retrocompatibles, las actualizaciones de backend y el soporte de modelos dan lugar a una versión menor.

El release también eliminó 35 funciones deprecadas de la API pública y promovió la API de decodificación especulativa NextN del header de extensión al header público. En el servidor corrigió problemas de SSRF, CORS y DNS rebinding, y añadió un endpoint compatible con OpenAI para síntesis de voz, /v1/audio/speech. Un análisis publicado en note.com señala que unas horas después apareció la pre-release b12366, con soporte BF16 para RMS_NORM en CPU y CUDA. Su lectura: v1.0.0 es la base estable para producción y las builds posteriores son terreno de pruebas de rendimiento.

El ejemplo del anuncio usa uvx para descargar una base de datos de muestra y arrancar Datasette con el paquete datasette-agent. El modelo se declara en la opción plugins.datasette-llm.default_model, con su nombre y una api_base que apunta al servidor local en el puerto 1234; las opciones --root y --secret habilitan permisos elevados en esa instancia. En la captura que acompaña al anuncio, el agente recibe la pregunta «how many repos and how many releases are there?», ejecuta una llamada a herramienta con una consulta SQL sobre la base content y responde: 200 repositorios y 1.889 releases.

Los límites son claros. La versión sigue siendo alpha, como indica el sufijo a11: la API puede cambiar y no conviene ponerla en el camino crítico de producción. Un modelo en un portátil no compite con los modelos frontera en razonamiento complejo, y las correcciones de seguridad de llama.cpp recuerdan que exponer un endpoint local a una red no es menor. Para quien quiera probarlo, la recomendación es empezar por un caso acotado, anclar la versión del runtime, probar las pre-releases en un entorno aparte y medir la calidad contra el proveedor actual.