Agentes de IA en finanzas: OpenAI y Anthropic fijan límites

Qué se discutió en el AI Engineer New York

La conferencia AI Engineer New York de esta semana puso sobre la mesa una pregunta que hoy define el roadmap de cualquier producto con agentes: cuánta autonomía se le da a un modelo antes de que el riesgo supere al ahorro de tiempo. Los laboratorios frontera y las firmas financieras que expusieron llegaron a una conclusión compartida: la autonomía segura no depende de cuántas restricciones se imponen, sino de dónde se colocan los controles y el juicio humano.

Para un founder que está construyendo un agente que toca dinero, datos sensibles o decisiones regulatorias, las cuatro presentaciones de la jornada funcionan como un manual de implementación bastante concreto.

El "umbral de utilidad" de OpenAI: cuándo conviene delegar

Joseph Kim, Head of ChatGPT for Financial Services en OpenAI, abrió con un concepto que vale la pena adoptar como métrica interna: el "threshold of usefulness" o umbral de utilidad, que definió como "el punto en el que un modelo se vuelve lo suficientemente capaz y confiable como para ahorrarte tiempo".

Su argumento es que la capacidad creciente de los modelos pronto llevará a los analistas financieros por encima de ese umbral y les permitirá delegar más trabajo en agentes. Kim fue explícito en sus predicciones para 2027: la industria financiera dependerá menos de Excel y PowerPoint, y los agentes serán lo bastante buenos para hacer "generación de ideas de inversión y trading".

El otro eje de su intervención fue la trazabilidad. "En finanzas necesitas poder verificar de dónde salió un número y entender el contexto que lo rodea", dijo Kim, y explicó que en ChatGPT for Financial Services buscaron que esa revisión fuera parte natural de la experiencia. Su punto de cierre es el más accionable para un equipo de producto: definir cuándo interviene un humano no es un problema de compliance, es una decisión de diseño de producto. "¿Cómo cambiaría la interfaz? ¿Qué tendría que seguir controlando, revisando o aprobando el usuario? Esas son preguntas de diseño que puedes empezar a trabajar hoy".

Los cinco controles de Two Sigma y el problema de la fatiga de aprobación

John Feminella, SVP de Arquitectura en el hedge fund Two Sigma, abordó exactamente esas preguntas. Su tesis: seguridad e innovación no son extremos opuestos de un mismo espectro. Y su crítica más filosa fue a la "approval fatigue" o fatiga de aprobación: cuando una persona tiene que aprobar todo, no solo frena la innovación, también introduce riesgo, porque deja de prestar atención real a cada decisión.

En Two Sigma implementaron cinco controles que definió como "guardrails y capacidades compartidas que permiten a los equipos moverse sin obstaculizar lo que intentan hacer". La clave es que son componibles: cada uno hace un solo trabajo y juntos habilitan autonomía real con un nivel de seguridad apropiado.

Uno de ellos son los clasificadores en modo automático, que "toman decisiones sobre llamadas rutinarias y solo envían a una persona las solicitudes más importantes, las que tienen más probabilidad de marcar una diferencia". La regla práctica que dejó: clasificadores para casos ambiguos, reglas deterministas para casos claros.

Anthropic: identidad, sandbox y aprobación como capa de confianza

Anthropic presentó un marco parecido, con el objetivo de construir confianza dentro de los flujos agénticos financieros. Belinda Neal, Managing Director of Financial Services, explicó por qué la compañía se asoció con firmas financieras: "Cada cierto tiempo, un modelo cruza un umbral. Y cuando lo hace, una ola de cambios en el trabajo ocurre".

Su colega Keon Shahab, de applied AI, describió la construcción de esa "capa de confianza" en tres pasos: quién actúa el agente (capa de identidad y permisos), cómo se aísla y se define la capa de aprobación (para que alguien firme antes de que el agente actúe) y cómo se garantiza que el agente siga funcionando cuando se ajustan variables con el tiempo.

El ejemplo que usó es directamente trasladable a cualquier producto con acciones irreversibles: un agente de investigación de trade breaks que recomienda una enmienda a una orden, pero no la ejecuta. "Queremos que proponga nuevas enmiendas a nuestros datos de órdenes, no que las haga", dijo. Su conclusión: construir una vez una capa fundacional confiable permite desplegar muchos agentes a escala con velocidad.

Ese enfoque ya está en producción. Anthropic lanzó Claude for Financial Advisors en septiembre de 2026, un plugin con conectores a custodios, gestores de activos y proveedores de tecnología patrimonial —BlackRock, Charles Schwab, Vanguard, Addepar, iCapital, Orion y SS&C Black Diamond, entre otros— junto con skills de flujo de trabajo para preparación de reuniones, análisis de portafolio y controles de cumplimiento, según reportó Unite.AI. La firma recomienda planes Enterprise para asesores registrados precisamente porque incluyen los registros de auditoría que sostienen el recordkeeping.

El contexto de mercado que citó el anuncio ayuda a entender el apetito: una investigación de Kitces encontró que una práctica de asesoría típica dedica solo una sexta parte de su tiempo a reuniones con clientes, y la Encuesta de Confianza en el Retiro 2026 de EBRI mostró que más de cuatro de cada diez trabajadores estadounidenses no saben a quién acudir para asesoría financiera o de planificación de retiro. BlackRock gestiona alrededor de US$300.000 millones en portafolios modelo, según Moneycontrol.

Bloomberg: controles deterministas fuera del modelo

Andrey Rybka, Head of Architecture & Emerging Technologies en la Office of the CTO de Bloomberg, aportó la perspectiva más defensiva. Repasó incidentes reales en los que agentes causaron problemas y las defensas que los previenen: identidades y credenciales con alcance limitado, controles sobre las llamadas a herramientas, restricciones de tráfico saliente, trazas de auditoría, presupuestos y kill switches.

En uno de sus ejemplos, un agente interpretó instrucciones incrustadas en la reseña de un marketplace como una orden de abastecer un producto. Su recomendación: validación de entradas, defensas contra prompt injection, seguimiento de procedencia y aprobación humana para acciones de alto valor. Su frase resume la postura: "Queremos controles deterministas fuera del modelo. Verifica cada llamada, regístrala y mantén un kill switch".

Qué significa esto para tu startup

Si tu producto tiene un agente que ejecuta acciones con consecuencias reales —mover dinero, modificar registros, enviar comunicaciones a clientes—, estas cuatro presentaciones dejan tareas concretas:

• Define tu propio umbral de utilidad antes de escalar autonomía. No lances un agente autónomo solo porque el modelo puede. Mide en qué punto ahorra tiempo de verdad y en qué punto solo agrega superficie de riesgo. El criterio de Kim es operativo: si el usuario tiene que revisar todo lo que hace el agente, todavía no cruzaste el umbral.
• Separa propuesta de ejecución. El patrón del agente de trade breaks de Anthropic es replicable en casi cualquier vertical: el agente propone, el humano aprueba, el sistema ejecuta. Diseña la interfaz desde el inicio para que esa aprobación sea un paso natural y no una fricción añadida.
• Combina clasificadores y reglas deterministas. Usa clasificadores para los casos ambiguos y reglas duras para los claros. Así evitas la fatiga de aprobación que describió Feminella, que es tan peligrosa como la falta de controles.
• Pon los controles fuera del modelo. Identidades con alcance mínimo, límites de gasto, trazas de auditoría y un kill switch no dependen de que el modelo se porte bien. Son la última línea de defensa cuando falla la capa de prompt.

La conclusión de Feminella en AI Engineer New York es la mejor forma de cerrar: "¿Por qué los autos tienen frenos? No es solo para que puedas detenerte, es para que puedas ir rápido y detenerte con seguridad".

Fuentes

• Crossing the Threshold: How OpenAI and Anthropic Approach Autonomy and Safety in Financial Agents (fuente original)
• Anthropic Launches Claude for Financial Advisors With Partner Connectors
• Anthropic pitches new Claude tool for financial advisors