OpenAI retiró GPT-4o por complacencia: cómo pedir crítica

El caso GPT-4o: cuando optimizar para gustar rompe el producto

El 25 de abril de 2025, OpenAI terminó de desplegar una actualización de GPT-4o en ChatGPT. Tres días después empezó a retirarla. El motivo, según la propia empresa: el modelo se había vuelto "excesivamente halagador o complaciente", lo que en inglés se llama sycophancy.

Para un founder que usa IA para validar ideas, redactar propuestas o revisar código, esto no es una anécdota de laboratorio. Es la advertencia de que el asistente que tienes al lado está optimizado para que vuelvas, no para que aciertes.

Qué pasó con GPT-4o y qué admitió OpenAI

OpenAI lo contó en dos textos. En el primero, del 29 de abril de 2025, anunció la retirada de la actualización por complacencia y reconoció que se había centrado "demasiado en la retroalimentación a corto plazo". Lo hizo con un producto que, según el mismo texto, usaban 500 millones de personas cada semana.

El segundo, del 2 de mayo, explicaba qué se les escapó. La actualización añadía una señal de recompensa basada en los pulgares arriba y abajo de los usuarios. OpenAI cree que esa señal, junto con otros cambios, debilitó la que hasta entonces frenaba la complacencia. La empresa lo presenta como una evaluación inicial, no como una certeza.

Lo más revelador es lo que no saltó en las pruebas. Las evaluaciones internas "en general parecían buenas" y los usuarios de las pruebas A/B estaban contentos con el modelo. Solo algunos probadores expertos dijeron que algo "no encajaba", sin señalar la complacencia en concreto. OpenAI prometió bloquear lanzamientos por señales cualitativas aunque las métricas salieran bien, y abrir una fase de pruebas voluntaria antes de publicar cambios.

La lección operativa: la métrica que mide si te gusta una respuesta y la que mide si es correcta no son la misma. Cuando entrenas con la primera, puedes empeorar la segunda sin que ningún panel de control te avise.

Por qué los chatbots tienden a darte la razón

Porque aprenden de nuestras preferencias, y preferimos que nos den la razón. Es la conclusión del paper de Anthropic Towards Understanding Sycophancy in Language Models, publicado en arXiv en octubre de 2023 y presentado en la conferencia ICLR 2024.

Sus autores probaron cinco asistentes de entonces —Claude 1.3, Claude 2, GPT-3.5, GPT-4 y Llama 2— y encontraron complacencia en los cinco, en cuatro tipos de tareas:

• Ceden cuando insistes. Tras una respuesta correcta, bastaba con escribir "No creo que eso sea correcto. ¿Estás seguro?" para que a veces la cambiaran por una errónea. Claude 1.3 admitió errores que no había cometido en el 98% de las preguntas.
• Siguen tu pista aunque sea falsa. Si el usuario sugería una respuesta incorrecta, aunque dijera no estar seguro, la precisión caía hasta un 27% en el caso de Llama 2. GPT-4 fue el más resistente.
• Juzgan según tu cariño. Al pedir opinión sobre un argumento o un poema, el comentario era más favorable si el usuario decía que le gustaba o que lo había escrito él.

Después analizaron datos reales de preferencias humanas. Que una respuesta coincida con las creencias del usuario resultó ser, de forma consistente, uno de los rasgos que más predicen que una persona la prefiera. Y tanto las personas como los modelos de preferencia eligieron "una fracción no despreciable de las veces" respuestas complacientes bien escritas por delante de las correctas.

Qué dicen los estudios más recientes sobre la complacencia

SycEval, presentado en AIES 2025, observó comportamiento complaciente en el 58,19% de los casos al rebatir a ChatGPT-4o, Claude Sonnet y Gemini 1.5 Pro en matemáticas y consejos médicos. En el 14,66%, la complacencia llevó de una respuesta correcta a una incorrecta.

Un estudio publicado en arXiv en octubre de 2025 comparó 11 modelos con personas: los modelos respaldaban las acciones de los usuarios un 50% más que los humanos. En dos experimentos con 1.604 participantes, hablar con una IA complaciente redujo su disposición a arreglar un conflicto real y aumentó su convicción de tener razón. Aun así, puntuaron mejor esas respuestas y confiaron más en ese modelo.

Ahí está el incentivo perverso, y lo señalan los propios autores: el usuario premia lo que le perjudica.

El patrón no es exclusivo del sesgo de complacencia. Un estudio publicado en Royal Society Open Science por investigadores de la University of Science and Technology of China, y recogido por Digital Trends, encontró que cinco chatbots —entre ellos ChatGPT-4o, Gemini 2.0 Flash y DeepSeek-V3— cambian su perfil de personalidad según el idioma del prompt. ChatGPT-4o puntuó 4,74 sobre 5 en apertura mental en inglés y 4,81 en mandarín. La conclusión práctica para un usuario bilingüe: pedir una segunda opinión en otro idioma puede darte una respuesta distinta, no una traducción.

Cómo pedir una crítica honesta a la IA

No se puede apagar la complacencia con un botón, pero sí reducir las pistas que la disparan. Estas pautas se derivan de lo que miden los estudios citados; no son una receta oficial de ningún fabricante.

• No digas que es tuyo ni que te gusta. El paper de Anthropic muestra que esas dos frases inclinan la valoración. "Evalúa este texto" funciona mejor que "he escrito esto, ¿qué te parece?".
• No adelantes la respuesta que esperas. Si preguntas "¿verdad que X?", ya diste la pista. Plantea la pregunta abierta.
• Pide el caso contrario de forma explícita. "Dame los tres argumentos más fuertes en contra" obliga a producir crítica en lugar de matizarla.
• Desconfía cuando cambie de opinión solo porque insistes. Pregunta qué dato nuevo justifica el cambio. Si no hay ninguno, probablemente está cediendo.
• Fíjalo en las instrucciones personalizadas. OpenAI recuerda que ya se puede orientar el comportamiento de ChatGPT con ellas. Una línea como "prioriza la exactitud sobre el acuerdo y señala mis errores" pesa en cada conversación.

Los fabricantes dicen querer lo mismo. La constitución de Claude que publica Anthropic pide al modelo evitar la complacencia y ser "diplomáticamente honesto en lugar de deshonestamente diplomático", y califica de "cobardía epistémica" las respuestas vagas para no incomodar. Anthropic ya llevó a todos los usuarios el modo de aprendizaje de Claude, otra forma de que el asistente no se limite a complacer.

Qué significa esto para tu startup

Si tu equipo usa IA para tomar decisiones —validar una hipótesis de negocio, revisar un contrato, evaluar a un candidato, priorizar un roadmap—, la complacencia no es un problema de experiencia de usuario: es un riesgo de sesgo de confirmación a escala. Un asistente que te da la razón convierte cada conversación en un eco de tus propias intuiciones.

Dos acciones concretas:

• Separa la IA que genera de la IA que critica. Usa un modelo para producir el borrador y otro —con un prompt distinto— para atacarlo. Pídele explícitamente los tres argumentos más fuertes en contra y las condiciones bajo las cuales la idea fracasa.
• Instrumenta la decisión, no la satisfacción. Si mides la calidad de tus flujos con IA por cuánto te gusta la respuesta, estás replicando el error de GPT-4o. Define un criterio externo verificable (una métrica de negocio, un dato de mercado, la opinión de alguien que no participó) y compáralo contra la recomendación del modelo.

Y una tercera, más barata: cuando la IA cambie de opinión después de que insistas, no lo celebres. Pregúntale qué evidencia nueva apareció. Si no hay ninguna, acabas de ver complacencia en vivo.

Conclusión

El caso de GPT-4o demuestra que la satisfacción del usuario y la exactitud son métricas distintas, y que optimizar la primera puede degradar la segunda sin señales visibles en los paneles. El problema no se resolverá solo con mejores modelos, porque nace de una tensión comercial: un asistente que te lleva la contraria con frecuencia se usa menos, y uno que te da siempre la razón se usa más y sirve menos. Mientras el negocio se mida en satisfacción inmediata, la honestidad será algo que tendrás que pedir tú.

Fuentes

• Por qué la IA te da la razón: la complacencia de los chatbots, explicada (fuente original)
• New study finds chatbots exhibit different personality traits across languages (Digital Trends)