Datasette suma exportación Arrow para millones de filas

Datasette ya exporta millones de filas sin cargarlas en memoria

Datasette sumó una forma de exportar tablas grandes en streaming: el plugin datasette-arrows 0.1a0 permite descargar datos en formato Apache Arrow IPC sin que el proceso tenga que cargar todo el resultado en memoria. Para un founder que sirve datos desde su propia base, esa es la diferencia entre una exportación que aguanta y una que tumba el servidor cuando la tabla crece.

El release lo publicó Simon Willison el 18 de noviembre de 2026 en su blog, junto con la explicación de qué había que cambiar en el core de Datasette para que esto fuera posible.

El problema real: la memoria

Exportar una tabla de millones de filas a un archivo obliga a decidir dónde vive ese resultado mientras se genera. Si la respuesta es «en memoria», el techo de tu producto queda atado a la RAM del servidor: una consulta pesada puede tumbar el proceso completo y llevarse abajo a todos los usuarios que estaban usando el sistema en ese momento.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El streaming rompe esa dependencia. El resultado se escribe por partes y se envía a medida que se produce, así que el pico de memoria deja de crecer con el tamaño de la tabla. Es una diferencia de arquitectura, no una optimización cosmética.

Qué cambia exactamente con datasette-arrows 0.1a0

El punto de partida no es el plugin, sino Datasette 1.0a43, la versión que habilitó que los plugins implementen formatos de exportación en streaming. Hasta ahora el core solo soportaba CSV y TSV en ese modo: dos formatos de texto que se pueden escribir por partes, sin materializar millones de filas de una sola vez.

El hook registeroutputrenderer() es la pieza que abre la puerta a replicar ese patrón en otros formatos, y el plugin de Arrow es la primera implementación de referencia.

Instalarlo es una línea:

  • datasette install datasette-arrows

Con el plugin instalado, el diálogo de exportación suma una opción nueva. En la captura que acompaña el anuncio se ve la tabla threads con 927 filas y tres alternativas: TSV, CSV y Arrow, esta última descrita como un stream de Apache Arrow IPC pensado para DuckDB, pandas, Polars y otras herramientas.

Por qué el formato Arrow importa para tu stack de datos

La utilidad práctica está en el destinatario del archivo. Un CSV obliga a quien lo recibe a parsear texto, inferir tipos y lidiar con comas, comillas y codificaciones. Un stream Arrow IPC llega en un formato que las herramientas de análisis mencionadas leen de forma nativa, sin ese paso intermedio.

Para un equipo pequeño, eso se traduce en menos tiempo perdido en la capa de carga y menos errores de tipos. Si tu producto entrega datos a clientes, o si tu equipo de analítica baja tablas para trabajar en notebooks, el formato de salida deja de ser un detalle técnico y pasa a ser parte de la experiencia.

Hay además una señal interesante sobre cómo se construyó. Willison cuenta que Claude Fable 5.2 le sugirió el formato de streaming de Apache Arrow y que el plugin quedó armado «casi de un solo disparo». Es un caso más de un patrón que ya se repite: el modelo propone la arquitectura y la persona decide qué se publica.

El patrón que deja este release

Willison lo dice sin rodeos: aprendió a no lanzar una función nueva del core sin acompañarla de un plugin que la use. Es una regla de producto que cualquier equipo puede copiar.

  • Una capacidad nueva sin un caso de uso real es una promesa, no una función.
  • El plugin de referencia funciona como documentación viva y como test de integración al mismo tiempo.
  • Si el plugin no se puede escribir, probablemente el hook del core esté mal diseñado.

¿Qué significa esto para tu startup?

Tres movimientos concretos, según dónde estés parado:

  • Si usas Datasette para servir datos internos o a clientes: instala el plugin y expón la opción Arrow. Tu equipo de datos podrá cargar la tabla directo en DuckDB o pandas, sin pasos intermedios ni scripts de limpieza.
  • Si construyes tu propio backend de exportaciones: el patrón es replicable. Diseña el endpoint para escribir el resultado por partes en lugar de armar el objeto completo en memoria. Es la misma lógica que Datasette aplicó primero a CSV y TSV, y ahora a Arrow.
  • Si desarrollas una plataforma con plugins: adopta la regla de Willison. Cada hook nuevo debería salir con una implementación mínima que lo ejercite, aunque sea un alfa.

Lo que todavía no está resuelto

Conviene mirar la letra chica antes de prometerle esto a un cliente. La captura del diálogo de exportación viene de la rama main de Datasette: la versión más reciente publicada todavía no agrupa los formatos en streaming, como Arrow, junto a TSV y CSV en la sección de exportación de todas las filas de la tabla. Eso llegaría en el próximo alfa.

Y el plugin es exactamente eso: un 0.1a0, la primera versión alfa. No hay todavía datos públicos de adopción ni métricas de rendimiento. Una búsqueda adicional no arrojó cifras verificables sobre el plugin, así que esta nota se apoya únicamente en la fuente original.

Conclusión

datasette-arrows 0.1a0 es una pieza chica que resuelve un problema grande: exportar tablas que no caben cómodamente en memoria. El valor no está solo en el plugin, sino en el patrón que habilita: formatos de exportación en streaming, extensibles por terceros, con Arrow como primer invitado.

Para un founder, la lección es doble. Primero, si tu producto entrega datos, el formato de salida es parte del producto. Segundo, una capacidad nueva del core vale el doble cuando viene acompañada de un ejemplo que la usa.

Fuentes

¿te gustó o sirvió lo que leíste?, Por favor, comparte.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Daily Shot: Tu ventaja táctica

Lo que pasó en las últimas 24 horas, resumido para que tú no tengas que filtrarlo.

Suscríbete para recibir cada mañana la curaduría definitiva del ecosistema startup e inversionista. Sin ruido ni rodeos, solo la información estratégica que necesitas para avanzar:

  • Venture Capital & Inversiones: Rondas, fondos y movimientos de capital.
  • IA & Tecnología: Tendencias, Web3 y herramientas de automatización.
  • Modelos de Negocio: Actualidad en SaaS, Fintech y Cripto.
  • Propósito: Erradicar el estancamiento informativo dándote claridad desde tu primer café.

📡 El Daily Shot Startupero

Noticias del ecosistema startup en 2 minutos. Gratis, todos los días.

Share to...