Blobasaur: Zerodha guarda blobs con SQLite y Rust

Zerodha resolvió su almacenamiento de blobs con SQLite y Rust

Un bróker con unos 20 millones de clientes necesitaba escribir y leer blobs JSON miles de veces por segundo, con payloads que van de unos pocos kilobytes a varios megabytes, y lo terminó resolviendo con SQLite. Con 16 shards, su servidor Blobasaur alcanza 29.538 operaciones por segundo en una carga mixta de escritura y lectura con un p99 de 8,5 ms, frente a 14.227 ops/s de un solo shard. La latencia mediana de escritura cayó de 8,2 ms a 2,1 ms.

Para un founder que está a punto de firmar un contrato con una base de datos gestionada, el mensaje es incómodo y valioso: la pieza más rendidora de tu stack puede ser la más vieja y la más simple que ya tienes. Este caso muestra cuándo conviene escalar dentro de un mismo proceso y cuándo no.

¿Qué es Blobasaur y por qué Zerodha dejó atrás SSDB?

Blobasaur es un servidor de blobs shardeado y distribuido, escrito en Rust, que habla el protocolo Redis y usa SQLite como motor de almacenamiento. Zerodha lo publicó como open source bajo licencia AGPLv3 y ya está en producción, donde reemplazó a SSDB.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El caso de uso: Kite, la plataforma de trading de Zerodha, permite a los usuarios personalizar sus pantallas de inversión. Se guardan layouts multi-gráfico, plantillas de indicadores financieros, dibujos vectoriales y preferencias de interfaz; el modo Terminal deja que cada usuario arme su propio workspace arrastrando widgets. Todo eso viaja al backend como blobs opacos, casi siempre JSON, de pocos kilobytes a varios megabytes.

El camino previo fue CouchDB y después SSDB, un almacén en C++ sobre disco que habla el protocolo Redis. Funcionó varios años, hasta que dos problemas forzaron el cambio: SSDB quedó sin mantenimiento, y mantener un fork en C++ no era viable para un equipo cuyo stack es Go y Python; además no es un sistema distribuido, corre en un solo nodo. Eso los llevó a limitar los blobs a 1 MB, porque la latencia se degradaba con payloads más grandes.

Antes de escribir su propio motor, evaluaron ScyllaDB, PostgreSQL con columnas BYTEA, YugabyteDB, RocksDB, Ceph, SeaweedFS, S3/MinIO y el filesystem crudo. Cada descarte tuvo una razón concreta: ScyllaDB rindió peor con blobs grandes y obliga a sintonizar tombstones; PostgreSQL con BYTEA fue subóptimo en performance y en uso de disco; SeaweedFS, el candidato más cercano, agrega datos antes de compactar y su uso de disco puede crecer sin control en cargas de sobrescritura intensiva; S3 y MinIO tienen latencia alta por request en blobs chicos y costos elevados a miles de operaciones por segundo.

¿Cuánto rinde SQLite frente a otras opciones para guardar blobs?

El benchmark que publicaron compara 1 shard contra 16, con 64 conexiones concurrentes, payloads de 64 KiB comprimidos con zstd, 100.000 claves y el directorio de datos en tmpfs para aislar el locking de SQLite del ruido del disco:

Carga 1 shard 16 shards
Solo HSET 7.740 ops/s, p99 10,7 ms 25.324 ops/s, p99 8,3 ms
50% HSET y 50% HGET 14.227 ops/s, p99 10,5 ms 29.538 ops/s, p99 8,5 ms
Solo HGET 67.128 ops/s, p99 2,1 ms 70.884 ops/s, p99 2,3 ms

La lectura: pasar de 1 a 16 shards multiplica por 3,3 la escritura y deja la lectura casi igual. La razón es que SQLite en modo WAL ya sirve lectores concurrentes sin contención; el cuello de botella era el escritor único, no las lecturas.

La compresión hace la mitad del trabajo. En una hora de tráfico real de HSET, un payload promedio de 63,6 KiB se guarda como 5,5 KiB (unas 11 veces menos) y el p99 de 935 KiB baja a 59,3 KiB (unas 16 veces). Con páginas de 4 KiB, eso reduce la huella de unas 16 páginas a unas 2, lo que significa menos presión sobre el page cache y menos datos atravesando el WAL. Zerodha eligió zstd, aunque el servidor también soporta lz4, gzip y brotli.

En producción corren tres nodos de 4 vCPU y 8 GB de RAM. Durante una sesión completa de trading, de 09:00 a 15:30, el p99 se mantiene alrededor de 2 ms en cada nodo y el p50 entre 250 y 550 µs. Por comando: HSET p99 cerca de 2 ms, HGET p99 cerca de 1,4 ms y HDEL p99 por debajo de 1 ms.

¿Cómo funciona la arquitectura de Blobasaur?

  • Ruteo en dos niveles. A nivel clúster usan el protocolo de Redis Cluster: las claves se reparten en 16.384 slots con CRC16 y los nodos se descubren por gossip; un nodo que recibe una clave que no le toca responde con un MOVED. A nivel nodo, un multi-probe consistent hashing elige el shard de SQLite.
  • Un escritor por shard con group commit. Cada shard tiene una tarea escritora con cola acotada que drena un lote y lo ejecuta dentro de una sola transacción, amortizando el costo de transacción y del WAL entre clientes concurrentes.
  • Lectores concurrentes. Las lecturas van a un pool de conexiones de solo lectura por shard y corren en paralelo con el escritor.
  • TTL en la propia fila. El vencimiento se guarda como expires_at en la misma fila, con un índice parcial que solo indexa las filas que sí tienen TTL, y un worker en segundo plano que barre lo vencido.
  • Durabilidad relajada a propósito. Corren en modo WAL con synchronous = NORMAL: un corte de energía puede perder transacciones recientes, pero nunca rompe la consistencia de la base. Es aceptable porque son preferencias de UI, no datos financieros.
  • Resharding offline. Con consistent hashing, pasar de 4 a 5 shards mueve cerca del 20% de las claves, contra casi el 80% si usaran un módulo simple. Hoy el proceso implica detener el servidor, correr la migración y actualizar la configuración.
  • Rust en lugar de Go. El driver estándar de SQLite en Go exige CGo, lo que complica los builds estáticos, fija hilos durante las llamadas en C y suma presión de garbage collector al manejar buffers de varios megabytes comprimidos.

Las trampas de SQLite en producción (y cómo las resolvieron)

  1. Borrar filas no achica el archivo. Al principio el uso de disco solo crecía, incluso después de que millones de claves expiraran o se borraran: SQLite guarda las páginas liberadas en una freelist interna en vez de devolverlas al sistema operativo. Lo resolvieron con auto_vacuum = INCREMENTAL en cada shard y un comando de vacuum que recupera páginas en bloques de 128 MB, seguido de un checkpoint TRUNCATE.
  2. Con escrituras asíncronas, toda lectura tiene que ver lo pendiente. Con async_write activado, una escritura devuelve OK antes de comprometerse en disco. Para mantener la consistencia de lectura propia, las escrituras en cola van a un mapa en memoria que las lecturas consultan primero. Detectaron casos borde donde un DEL seguido de un GET devolvía el valor viejo desde SQLite, y lo arreglaron con tombstones explícitos en ese mapa.
  3. La limpieza de expirados compite por el único lock de escritura. Veían picos de 30 a 50 ms en el p99 mientras el p99 normal estaba por debajo de 5 ms. El culpable era el worker de TTL, que abría su propia conexión y lanzaba un DELETE grande. Ahora pasa por la conexión del escritor del shard y trabaja en lotes de 1.000 filas por defecto.

¿Qué significa esto para tu startup?

Primero, mide antes de comprar infraestructura. El caso de Zerodha muestra que un cuello de botella de escritura se resuelve muchas veces con paralelismo dentro de una sola máquina, no con un clúster de bases de datos. Antes de contratar un motor distribuido, corre un benchmark con tu mezcla real de lecturas y escrituras y con tu distribución real de tamaños de payload. Un test con promedios te va a mentir: la brecha entre el payload promedio y el p99 es de casi 15 veces en este caso.

Segundo, define tu presupuesto de durabilidad por escrito. Blobasaur corre sin fsync en cada commit porque perder una preferencia de interfaz es molesto, pero no rompe nada. Si tu producto tolera esa relajación, ganas latencia gratis; si manejas pagos, inventario o datos regulados, no la toleras. Escríbelo en un documento y decídelo con tu equipo, no por inercia.

Tercero, comprime antes de escribir y usa índices parciales para el TTL. Son dos decisiones de diseño que se toman una vez y no cuestan nada después: un ratio de compresión de 11x reduce la presión sobre el page cache y el volumen que atraviesa el WAL, y un índice parcial sobre las filas con TTL evita cargar con el costo de indexación a las claves que nunca expiran.

Si vas a usar Blobasaur y no solo a leer su arquitectura, revisa la licencia antes: es AGPLv3, un copyleft fuerte, y eso puede condicionar su uso embebido dentro de un producto propietario.

Conclusión

Blobasaur no es una revolución: es una decisión de diseño contraintuitiva ejecutada con rigor. Un bróker que procesa volúmenes altos de operaciones eligió SQLite, el motor que casi todos descartan para producción, porque entendió dónde estaba su cuello de botella real y porque podía sacrificar durabilidad a cambio de latencia.

El contexto del equipo refuerza el punto. Según The Hindu BusinessLine, Zerodha cerró su año fiscal 26 con una utilidad neta de ₹4.283 crore y una facturación prácticamente plana de ₹8.847 crore, y opera con menos de 100 empleados en tecnología, producto, negocio y operaciones. Es el tipo de equipo que no tiene margen para sostener un sistema operativamente caro. Cuando tu restricción es la gente y no el hardware, un binario único escrito en Rust que se despliega y se mantiene simple deja de ser una elección estética.

La búsqueda no arrojó cobertura periodística adicional sobre Blobasaur más allá del propio blog de ingeniería de Zerodha; todo el detalle técnico proviene de esa fuente, y el contexto corporativo, de The Hindu BusinessLine.

Fuentes

¿te gustó o sirvió lo que leíste?, Por favor, comparte.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Daily Shot: Tu ventaja táctica

Lo que pasó en las últimas 24 horas, resumido para que tú no tengas que filtrarlo.

Suscríbete para recibir cada mañana la curaduría definitiva del ecosistema startup e inversionista. Sin ruido ni rodeos, solo la información estratégica que necesitas para avanzar:

  • Venture Capital & Inversiones: Rondas, fondos y movimientos de capital.
  • IA & Tecnología: Tendencias, Web3 y herramientas de automatización.
  • Modelos de Negocio: Actualidad en SaaS, Fintech y Cripto.
  • Propósito: Erradicar el estancamiento informativo dándote claridad desde tu primer café.

📡 El Daily Shot Startupero

Noticias del ecosistema startup en 2 minutos. Gratis, todos los días.

Share to...