Qué anunció Onehouse con Lakegres
Onehouse presentó vector search en Lakegres, con un índice nativo guardado dentro de las tablas abiertas que la empresa ya tiene, tanto las existentes como las nuevas. La promesa concreta: buscar embeddings a través de un endpoint Postgres sobre las mismas tablas que ya viven en el data lake, sin copiar los datos a otra base. El índice y los datos se gestionan en formatos abiertos, en el bucket del propio cliente.
Para un founder que construye agentes, la traducción es directa: el corpus que el agente necesita consultar —transcripciones de soporte, logs, documentos, catálogos de producto, años de historial de eventos— ya está en el lakehouse. Lo que faltaba era poder hacer búsqueda por similitud ahí mismo.
Por qué el vector search se quedó en la base de datos de aplicación
Hace unos años, agregar búsqueda vectorial obligaba a sumar una base de datos aparte. Hoy Postgres tiene pgvector, OpenSearch tiene k-NN, y MySQL, Oracle, MongoDB y SQL Server tienen sus propias implementaciones. Databricks también ofrece vector search en Lakebase Search. La búsqueda por similitud se volvió un tipo de índice estándar para datos de aplicación.
¿Y esto cómo se aplica en tu negocio?
Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →El problema es de escala. Según Onehouse, los datasets del lakehouse son entre 100 y 1.000 veces más grandes que una instancia típica de Postgres. Para buscar en ellos con cualquiera de esas bases hay que copiar los datos primero: pagar el almacenamiento dos veces y operar un pipeline que mantenga las copias sincronizadas.
La técnica que no escala: por qué HNSW se queda sin memoria
La mayor parte del vector search en producción corre sobre OpenSearch o Postgres, y ambos usan HNSW, un índice de grafo que rinde bien cuando el grafo completo cabe en memoria. La fórmula de dimensionamiento de AWS para OpenSearch que cita el artículo es 1,1 × (4 × dimensiones + 8 × m) bytes de RAM por vector. Con la tabla de benchmark de Onehouse —247 millones de vectores de 1.024 dimensiones— y m=16, eso da cerca de 1,15 TB de memoria para una sola tabla. A 10.000 millones de vectores, unos 46 TB.
El recorrido de grafo además es mal compañero del object storage: cada salto es una lectura aleatoria pequeña. Y el tamaño del problema no es teórico. LinkedIn reportó un exabyte en sus clústeres Hadoop en 2021; el lake de Uber guarda 350 petabytes y absorbe 6 billones de filas por día; Pinterest corre un lake de 500 petabytes sobre Iceberg; Netflix describe su warehouse Iceberg como escala de exabyte. Todo eso está en la fuente.
Qué hacen hoy Snowflake, Databricks, AWS y BigQuery
El artículo arma una tabla comparativa que conviene leer con atención, porque el punto no es que esos proveedores no tengan vector search —lo tienen— sino dónde vive el índice:
- Snowflake: Cortex Search corre como servicio sincronizado desde una tabla; una columna VECTOR por sí sola solo se puede buscar por fuerza bruta. El índice vive dentro de Snowflake y las columnas VECTOR no están soportadas en tablas Iceberg.
- Databricks: AI Search sincroniza una tabla Delta hacia un endpoint de serving; el índice queda en almacenamiento gestionado por Databricks, como copia fuera de la tabla.
- AWS: S3 Vectors guarda los vectores en un bucket dedicado, distinto de S3 Tables, que aloja Iceberg.
- Google BigQuery: índices IVF y TreeAH sobre tablas estándar; no hay índices vectoriales sobre tablas Iceberg.
- VAST Data: un vector store dentro de su base distribuida, en su propio Element Store, fuera de Hudi o Iceberg.
La crítica de Onehouse: esos proveedores promueven formatos abiertos mientras mantienen los índices en formatos cerrados. Si te mudas de motor, hay que reconstruir cada índice en el formato del nuevo proveedor aunque las tablas subyacentes sean abiertas.
Cómo funciona el índice dentro de la tabla
Lakegres guarda el índice en los metadatos de la tabla, en el mismo bucket que los archivos de datos. Los commits que insertan, actualizan o borran filas también actualizan el índice, así que no hay job de sincronización ni segunda copia de los vectores. La tabla base conserva los vectores completos junto al resto de columnas; el índice guarda las estructuras chicas para encontrar filas candidatas: centroides de clúster, estado del cuantizador y entradas empaquetadas.
En la construcción, k-means agrupa los vectores alrededor de centroides y cada vector se codifica relativo a su centroide con cuantización RaBitQ, con códigos de 1 a 8 bits por dimensión (4 por defecto). Los códigos soportan L2, coseno y producto punto. Los clústeres se dividen en segmentos de posting y cada bloque empaquetado agrupa entre 1.000 y 4.000 entradas con un objetivo de ~512 KB. En la consulta, Lakegres compara el vector de búsqueda con los centroides, abre los clústeres más cercanos según nprobes, descarta candidatos con estimaciones de un bit y afina los que sobreviven con los bits restantes. El re-ranking exacto es opcional.
Dos detalles que importan en producción: el índice es metadata derivada, así que se puede crear, reconstruir con otros parámetros o eliminar sin reescribir los archivos de datos; y la reconstrucción corre en paralelo con las consultas, con un commit de metadatos que activa la nueva versión de forma atómica. Nunca se lee un índice a medio construir.
Los números del benchmark: qué comparó y qué no
Onehouse usó el dataset público multilingüe de Wikipedia de Cohere: 247.154.006 pasajes, embeddings de 1.024 dimensiones generados con Cohere Embed v3, en una tabla de ~1 TB en S3. Comparó contra el tier storage-optimized de Databricks AI Search con las mismas 200 consultas de 10 vecinos más cercanos, una por vez, con recall medido contra fuerza bruta exacta.
Resultados en caliente: 63,5 ms p50, 67,9 ms p90 y 75,3 ms p99 en Lakegres, frente a 655 ms, 876 ms y 1.209 ms en AI Search. En frío, p50 de 536,2 ms contra 8.242 ms. Recall@10: 0,95 contra 0,952. La construcción del índice tomó 18 minutos en Lakegres y cerca de 3 horas 10 minutos en AI Search.
El hardware: cinco ejecutores m8gd.4xlarge y un driver r8gd.4xlarge, con instancias de AWS a unos US$5,79 por hora en tarifa on-demand de US East, sin incluir las tarifas de Onehouse; las seis unidades de AI Search costaron US$7,68 por hora. La propia empresa aclara que no es una comparación de costo total y que las mediciones cubren partes distintas de la ejecución (latencia del lado del servidor en AI Search, tiempos de psql del lado del cliente en Lakegres). Ese matiz conviene tenerlo presente antes de citar el «10 veces más rápido».
¿Qué significa esto para tu startup?
Si construyes agentes o productos de búsqueda sobre datos que ya viven en un lake, el costo oculto no es el índice: es la copia. Cada pipeline de sincronización es un sistema que hay que monitorear, reparar y pagar. Un índice que vive en los metadatos de la tabla y se actualiza con los writes elimina esa pieza entera del stack.
Tres cosas concretas para hacer esta semana:
- Mide el tamaño real de tu corpus antes de elegir arquitectura. Si tu tabla de embeddings ya pasa de decenas de millones de vectores, calcula la RAM con la fórmula de AWS que cita el artículo y compárala con tu factura actual. Muchas veces el número decide la decisión solo.
- Prueba el índice como metadata, no como migración. Si ya tienes tablas Hudi o Iceberg con una columna de vectores, crear el índice no reescribe los archivos. Puedes experimentar con distintos parámetros, medir recall y borrarlo si no convence.
- Ajusta
nprobescontra tu propio recall objetivo. El artículo es explícito: abrir más clústeres mejora el recall a costa de más trabajo. Ese es tu dial real entre latencia y calidad, y solo lo puedes calibrar con tus datos.
Qué falta en esta primera versión
Lakegres acepta consultas por el protocolo de Postgres, así que cualquier cliente o framework de agentes puede lanzar una búsqueda por similitud en SQL. Pero hay límites declarados: el filtrado en la primera release funciona por partition pruning y no soporta predicados arbitrarios combinados con búsqueda de vecinos más cercanos. Además, entre 20 y 25 ms de cada consulta se van en Spark, en planificación y scheduling de tareas, antes de leer cualquier bloque del índice; la empresa dice haber diseñado una forma de eliminar ese overhead y planea implementarla.
Del lado del ecosistema: el soporte de Iceberg se apoya en el trabajo de indexación sobre Hudi en Apache XTable (Incubating), desarrollado en abierto con ingenieros de Uber y Walmart. La implementación de Hudi se está subiendo upstream y XTable está en pruebas de release candidate.
Conclusión
La tesis de Onehouse es que un agente necesita cuatro tipos de consulta de una plataforma de datos: escaneos analíticos, lookups indexados por punto, búsqueda de texto y búsqueda vectorial. Servir las cuatro desde una sola copia de las tablas abiertas y un solo endpoint Postgres es una propuesta de arquitectura, no solo una feature. Para un equipo chico, la diferencia entre mantener un lakehouse y mantener un lakehouse más una base vectorial sincronizada puede ser un ingeniero de plataforma. Vale la pena probarlo con tus propias tablas antes de decidir.
Fuentes
- Lakegres: Vector search on existing Open/Hudi/Iceberg tables (fuente original)
No se encontraron fuentes adicionales verificables en la búsqueda para esta nota.
¿Y esto cómo se aplica en tu negocio?
Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →













