Hightouch: Jev + Opus logra 99% a 4x menos costo

Un evaluador barato que consulta a Opus cuando duda

Un equipo de Hightouch midió que encadenar un modelo de decisión barato con Claude Opus 5.5 alcanza 98,8% de precisión en la auditoría de identidades a US$0,88 por cada 1.000 identidades, contra los US$3,86 que cuesta Opus solo con 99,0%. Es la misma precisión que un modelo frontera por más de 4 veces menos costo, y la diferencia no viene del prompt: viene de qué tan bien calibrada está la confianza del modelo barato.

Para cualquier founder que esté pagando por inferencia de modelos caros en tareas de clasificación repetitiva, el hallazgo es directamente trasladable. La pregunta ya no es «cuál es el mejor modelo», sino «cuál es el modelo más barato lo suficientemente honesto como para decir cuándo no está seguro».

¿Cómo se probó y qué mide este benchmark?

Hightouch partió de un problema que enfrenta regularmente: calificar si un sistema de resolución de identidad (identity resolution) está sobre-mezclando registros, es decir, si está asignando a una misma persona registros que en realidad pertenecen a dos personas distintas. Ese error es el más caro y el más frecuente en este tipo de sistemas.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El problema de fondo es que no existe una clave de respuestas. Si existiera, no haría falta resolver identidades. Por eso los equipos hoy hacen muestreo manual: alrededor de 50 identidades por hora por persona, y para bajar el margen de error a menos de ±1% en una tasa de sobre-mezcla necesitan más de 1.000 muestras. Eso convierte cada iteración del sistema en meses de trabajo.

El benchmark usó pseudopeople, una herramienta del Institute for Health Metrics and Evaluation de la University of Washington que simula un pueblo ficticio de Estados Unidos y genera registros de sus residentes desde múltiples fuentes (censo, encuestas de hogares, un programa de beneficios, Seguridad Social y formularios fiscales). Sobre esos registros se construyeron 1.000 identidades: la mitad corresponde a una sola persona con datos ruidosos, la otra mitad son sobre-mezclas. La fuente aclara que no aparece ninguna persona real en los ejemplos.

¿Por qué el modelo barato gana cuando se combina con un modelo caro?

El resultado contraintuitivo está en la calibración de la confianza. GPT-6 Luna, vía Decisions API, rinde mejor solo que Jev: 97,3% contra 95,7% con los umbrales ajustados. Pero cuando el dataset se vuelve difícil —casos con gemelos, un junior y un senior con el mismo nombre, o registros que discrepan en un campo clave— la brecha se cierra y ambos caen a niveles similares.

Ahí aparece la diferencia. Los errores de Jev se concentran cerca del 50% de confianza, que es el comportamiento esperable de un modelo bien calibrado. Los errores de Luna, en cambio, llegan con confianza de 90-100%. En el test difícil, Luna se vuelve «espectacularmente sobre-confianzada», según el análisis de Hightouch.

Esa honestidad estadística es la que habilita el modelo híbrido: si el modelo barato sabe cuándo no sabe, se puede derivar una porción pequeña de los casos a un modelo caro para una segunda opinión. Con Jev, enviar al 22% de los casos (los que caen entre 30% y 90% de confianza) a Opus sube la precisión de 95,6% a 98,8% y el costo de US$0,05 a US$0,88 por 1.000 identidades. Luna, por su sobre-confianza, apenas puede aprovechar el mismo mecanismo: en el test difícil el híbrido con Luna queda en 91,6%, mientras el híbrido con Jev llega a 95,3%, por encima del 95,1% de Opus solo.

¿Cuánto cuesta cada enfoque en la práctica?

Los modelos de decisión son hasta 90 veces más baratos y más de 10 veces más rápidos que los frontera. Jev responde en unos 0,15 segundos por identidad a US$0,05 por 1.000, y Luna en 0,17 segundos a US$0,10. Opus tarda 2,2 segundos y cuesta US$3,86. Gemini 3.1 Pro y GPT-6 Sol, los otros dos modelos frontera del test, quedan en US$4,48 y US$2,50 respectivamente.

El detalle importante para presupuestar: en el test difícil, Opus solo cae a 95,1% y su costo sube a US$5,39 por 1.000, mientras el híbrido con Jev mantiene 95,3% a US$2,94. Es decir, el sistema híbrido no solo es más barato en el caso fácil: se vuelve más eficiente a medida que el problema se complica, porque escala el gasto automáticamente según la dificultad. Hightouch lo describe como un sistema que flexiona el gasto cuando lo necesita, sin cambiar el prompt ni el andamiaje.

La fuente es explícita en dos salvedades que conviene respetar: los costos y latencias son los observados en el setup del propio equipo y variarán según la implementación.

¿Por qué la resolución de identidad es un problema que vale la pena resolver?

Mapear registros a personas reales es la base de cualquier operación de personalización, analítica o outreach. Sin identidades limpias no se puede calcular el valor de vida de un cliente ni atribuir compras dispersas a un mismo comprador. Y el error típico no es quedarse corto, sino pasarse: fusionar dos personas en una sola identidad.

Hightouch no llega a este problema de cero. En julio de 2025 lanzó Adaptive Identity Resolution, una capacidad dentro de su CDP warehouse-native que combina matching determinístico y probabilístico con «multi-zone» y permite subir o bajar el nivel de confianza según el caso de uso, según el comunicado recogido por Business Wire. Tejas Manohar, cofundador y co-CEO, describió en ese anuncio el enfoque como una apuesta por la transparencia frente a las herramientas «rígidas u opacas» del mercado.

En agosto de 2025, FoodNavigator recogió la misma estrategia con la explicación de Nate Wardwell, product evangelist de la compañía: el matching determinístico solo une datos cuando hay coincidencia exacta, mientras el probabilístico hace inferencias sobre datos incompletos o inconsistentes. La compañía permite alternar entre ambos según se priorice alcance o precisión. Y en mayo de 2026, Hightouch anunció una alianza con Audience Acuity para que sus clientes compren datos de identidad dentro de su contrato existente y mejoren la resolución de registros de personas y hogares.

Ese contexto explica por qué el benchmark importa: una empresa que vende infraestructura de identidad necesita poder demostrar que su pipeline funciona, y el cuello de botella histórico era justamente la auditoría.

¿Qué significa esto para tu startup?

La lección no es sobre identidad resuelta: es sobre cómo asignar presupuesto de inferencia en cualquier tarea de clasificación a escala. Tres movimientos concretos:

Mide la calibración antes que la precisión. Antes de adoptar un modelo barato para clasificar, filtra o auditar, corre una muestra etiquetada y observa dónde caen sus errores. Si los errores vienen con confianza baja, tienes un candidato para un pipeline híbrido. Si vienen con confianza alta, el ahorro es una trampa: el modelo no te va a avisar cuándo falla.
Diseña el umbral de derivación como una palanca de negocio. En lugar de elegir un único modelo, define qué rango de confianza se manda a un modelo caro. En este caso, enviar solo el 22% de los casos bajó el costo 77% manteniendo casi toda la precisión. Ese umbral es una decisión de producto, no de ingeniería.
Aprovecha el ajuste automático a la dificultad. Un sistema bien calibrado deriva más casos a medida que los datos se vuelven más sucios. Eso te da un costo que crece con la complejidad en lugar de un gasto fijo sobredimensionado para el peor caso.

Si tu startup procesa identidades de clientes —o cualquier tarea de evaluación repetitiva que hoy hace una persona— el ciclo de iteración es la variable que más vas a ganar. Pasar de 50 evaluaciones por hora a cientos de miles por segundo cambia cuántas veces por semana puedes revisar si tu sistema está funcionando.

Conclusión

El hallazgo central de Hightouch es que la calibración es un atributo de producto, no un detalle estadístico. Jev es peor que Luna cuando se lo evalúa solo, pero gana cuando se lo usa como primera capa de un sistema híbrido, porque sus errores llegan con la confianza baja que permite detectarlos y derivarlos.

Los modelos frontera siguen siendo más precisos que los modelos de decisión, y eso no cambió. Lo que cambió es que ya no hay que elegir entre precisión frontera y costo de modelo barato: se puede comprar precisión solo donde hace falta. Para un founder con presupuesto de inferencia limitado, esa es la diferencia entre auditar 1.000 identidades al mes y auditar todas.