Surge AI: DAYJOB Tax, la IA aprueba 1 de 10 exámenes

¿Qué es DAYJOB: Tax y por qué es distinto de otros benchmarks de IA?

DAYJOB es la familia de benchmarks de Surge AI que mide si un agente de IA puede hacerse cargo de un encargo profesional completo, de principio a fin. Las entregas anteriores cubrieron salud y finanzas. La nueva, DAYJOB: Tax, lleva esa vara a la preparación de declaraciones, el cumplimiento normativo y la asesoría fiscal.

El benchmark contiene 50 entornos repartidos en ocho áreas de práctica: impuestos individuales y familiares, pequeñas empresas, sociedades, propiedades e inversiones, sucesiones, donaciones y fideicomisos, fiscalidad internacional, transacciones corporativas, y revisión de declaraciones y disputas.

La diferencia no está en la dificultad de las preguntas, sino en quién define el problema. En la mayoría de los exámenes fiscales el enunciado ya viene cerrado: hay una pregunta legal que responder, una declaración que calcular o un dato que falta y hay que pedir. En DAYJOB el agente recibe la petición de un cliente y un montón de documentos desordenados, y tiene que decidir qué merece ser investigado.

Los materiales son deliberadamente sucios: 1.789 archivos de trabajo, con una mediana de 30 por encargo y hasta 123 en un solo caso. Incluyen 1.487 PDFs, 117 libros de Excel y 38 documentos de Word, más correos, imágenes, CSV, registros JSON y texto plano. Hay declaraciones presentadas y borradores, formularios K-1 y W-2, avisos del IRS, libros mayores, registros de nómina, contratos y correspondencia.

También aparece la evidencia menos estandarizada. Uno de los casos incluye la fotografía de un recibo manuscrito de mercancía comprada para reventa: el agente debe leer los importes, conciliarlos con los registros de gasto y decidir cómo afectan al inventario y al costo de los bienes vendidos. Otro involucra a una empresa de servicios de silos industriales cuyo cliente asume que opera solo en Alabama, cuando su registro de despacho de campo muestra cuadrillas trabajando en cinco estados.

¿Cuánto acierta la IA en tareas fiscales profesionales?

Poco. Claude Sonnet 5.5 lidera la tabla con 10,8% de pass rate, seguido por Claude Fable 5.1 con 9,6% y Claude Opus 5.5 con 9,2%.

El número hay que leerlo con la letra chica: se reporta pass@1 con un umbral de rúbrica del 95%. Un intento solo aprueba si cumple al menos el 95% de los criterios de la tarea, que evalúan cálculos, evidencia de respaldo, cuestiones consecuentes y el entregable final. Con ese estándar, el mejor modelo evaluado falla más de nueve de cada diez encargos.

Y el problema no es la aritmética.

El caso de Anna: el plazo que ningún agente vio

Anna quería vender su departamento. Se había mudado en agosto de 2024 y quería saber si le convenía cerrar la operación en octubre de 2026 o en enero de 2027. Un agente revisó las dos opciones y concluyó correctamente que cualquiera de las dos fechas cumplía el requisito de residencia para una exención fiscal de hasta US$250.000 en ganancias excluidas.

Pero omitió un plazo decisivo. Bajo las reglas habituales, el propietario debe haber vivido en la vivienda al menos dos de los cinco años previos a la venta. Como Anna se mudó en agosto de 2024, dejaría de cumplir ese requisito alrededor de fines de agosto de 2027. Si la venta se demoraba más allá de ese mes, podía perder la elegibilidad.

En cinco intentos, Astra nunca identificó el plazo. Opus lo identificó en los cinco.

El divorcio que Opus resolvió sobre una suposición

Una pareja en proceso de separación preguntó cómo dividir su Roth IRA y su 401(k). Opus 5.5 les respondió que no estaban legalmente casados y recomendó mantener las cuentas separadas, con un pago en efectivo para equilibrar los saldos.

Los propios registros de la pareja sembraban dudas. Vivían en Florida, donde las uniones de hecho nuevas generalmente no se reconocen, pero antes habían convivido en Texas y habían celebrado una ceremonia en Colorado. Texas reconoce matrimonios informales bajo ciertas condiciones, y un matrimonio válido establecido en otro estado puede seguir siéndolo en Florida. Esa distinción cambia el tratamiento fiscal de dividir cuentas de jubilación.

En los cinco intentos, Opus construyó su recomendación sobre el supuesto de que la pareja no estaba casada, incluso cuando admitió incertidumbre. Astra reconoció la necesidad de verificar el estado civil en cuatro de los cinco intentos.

¿Por qué un modelo saca 91% en contabilidad y 10% en fiscalidad?

Porque no son el mismo examen. El DualEntry Accounting AI Benchmark, publicado el 14 de octubre de 2026 según Business Wire, evaluó a 18 modelos en 101 casos contables sintéticos, tres veces cada uno, partiendo siempre de la misma empresa de prueba, con las mismas herramientas e instrucciones, y corrigiendo contra respuestas de referencia escritas de antemano con reglas fijas. Gemini 4 Argon acertó el 91,1% de las tareas y fue el más consistente, con 86,1% de aprobación en las tres corridas. Claude Fable 5.1 llegó al 85,1%, y DeepSeek V4.1 Flash al 84,2% con un costo de US$0,003 por tarea, unas 400 veces más barato que los US$1,18 por tarea de Claude Fable 5.1, según el mismo reporte.

Ese benchmark mide ejecución sobre un problema ya definido. DAYJOB mide si el agente descubre cuál es el problema. Son dos habilidades distintas, y la segunda es la que se paga en un despacho.

Hay una segunda lectura, más interesante para quien construye producto. ProCap Financial publicó el 10 de agosto de 2026, también vía Business Wire, que su agente Silvia superó a todos los modelos generalistas evaluados en diez escenarios fiscales de nivel experto, con una puntuación de 8,73 sobre 10 frente a 8,40 de Claude Desktop. Lo hizo con un equipo de cuatro ingenieros de IA, según la compañía, apoyándose en una biblioteca propietaria de derecho fiscal primario. Silvia reporta más de US$50.000 millones en activos conectados a su plataforma y más de 20.000 usuarios.

¿Qué significa esto para tu startup?

Tres cosas concretas.

Primero: delega la ejecución, no el juicio. Los agentes ya sirven para reconciliar registros, preparar borradores y armar paquetes de trabajo. Lo que no hacen de forma confiable es detectar la cuestión consecuente que el cliente no preguntó. En tu flujo, eso tiene que quedar en manos de una persona con criterio, o al menos pasar por un punto de control explícito.

Segundo: obliga al agente a declarar sus supuestos. El caso de la pareja es la lección más útil de todo el benchmark: la evidencia que debía disparar la investigación ya estaba en los archivos. Si tu producto entrega una recomendación, haz que antes liste qué supuestos usó y qué evidencia le falta. Es una función barata de implementar y elimina la clase de error más cara.

Tercero: si construyes software vertical, el dato de Silvia es tu argumento de venta. Un equipo chico con datos propietarios y una arquitectura acotada puede superar a un modelo de propósito general en un dominio específico. Eso vale para fiscalidad, pero también para nómina, cumplimiento normativo o cualquier vertical donde la precisión importe más que la cobertura.

Y un cuarto punto, más incómodo: mide con umbral alto. El 95% de rúbrica que usa DAYJOB es un buen estándar interno. En fiscalidad, casi bien es un pasivo.

Conclusión

DAYJOB: Tax deja un mensaje claro para quien está pensando en automatizar trabajo profesional con IA: los modelos ya ejecutan pasos sueltos con solvencia, pero todavía no se hacen cargo del encargo completo. El salto entre 91% en contabilidad y 10,8% en fiscalidad no es una contradicción, es la diferencia entre resolver un problema definido y descubrir cuál es el problema.

Para un founder, la conclusión práctica es de asignación de tareas, no de adopción. Usa agentes donde el problema ya está acotado y el resultado se puede verificar. Reserva el criterio profesional para las decisiones donde un plazo omitido o un supuesto no verificado cuesta dinero real.

Fuentes

• DAYJOB: Tax – evaluating AI agents on 50 professional tax assignments (fuente original)
• Google's Gemini 4 Argon Is the Most Accurate and Most Consistent AI Model on Accounting Work, DualEntry Benchmark Finds
• Silvia Outperforms Every Major AI Model on Tax and Open Sources the Benchmark Test