El paralelismo que incomoda: chatbots como médiums automatizados
El desarrollador islandés Baldur Bjarnason, autor del libro The Intelligence Illusion, publicó en su newsletter softwarecrisis.dev un ensayo titulado "LLMentalist" donde sostiene que los chatbots de IA replican de forma accidental el mismo mecanismo cognitivo que utiliza un mentalista para embaucar a su público: la validación subjetiva. No es una metáfora literaria: según Bjarnason, el Reinforcement Learning from Human Feedback (RLHF) —el proceso que convierte un modelo de lenguaje crudo en un chatbot conversacional— optimiza de forma inadvertida la generación de "enunciados de validación" (Forer, Barnum, shotgunning, negativos que se desvanecen) idénticos a los de la lectura en frío.
La tesis es provocadora: los LLMs no son cerebros, son modelos matemáticos de tokens de lenguaje. Cuando un usuario percibe que el chatbot "razona" o "piensa", esa impresión no surge de la máquina, sino de un sesgo cognitivo del propio usuario, amplificado por un entorno conversacional diseñado —consciente o inconscientemente— para disparar ese sesgo.
Cómo funciona la estafa del psíquico, paso a paso
Bjarnason reconstruye el mecanismo clásico de la lectura en frío (cold reading) para después mapearlo sobre los chatbots. La secuencia tiene seis pasos:
🤖 La IA no es solo para leer sobre ella
En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.
👥 Aplicarla en la comunidad- 1. La audiencia se autoselecciona. Quien asiste a una sesión de espiritismo ya está predispuesto a creer. Los escépticos son minoría y, además, están bajo presión social.
- 2. Se prepara el escenario. Luces tenues, reglas del "juego" recordadas al público, investigación previa de los asistentes en redes sociales. Todo apunta a predisponer al oyente.
- 3. Se reduce el grupo. El mentalista lanza una afirmación estadísticamente genérica pero que suena específica; quien reacciona se convierte en la "marca".
- 4. Se testea a la marca. Si la persona responde, el psíquico dispara una ráfaga de preguntas que parecen personalizadas pero son estadísticamente probables.
- 5. Bucle de validación subjetiva. Cada respuesta afirmativa refuerza la confianza; el psíquico ajusta tono, seguridad y velocidad para profundizar el efecto.
- 6. La marca queda convencida. Sale con la sensación de que el mentalista tiene poderes sobrenaturales. Pero nadie leyó su mente: el usuario hizo todo el trabajo de convencerse a sí mismo.
El fenómeno es independiente del cociente intelectual, según Bjarnason: la validación subjetiva es un sesgo del cerebro humano, no de personas tontas o crédulas. De hecho, quienes se creen más listos suelen usar su inteligencia para "racionalizar" por qué la lectura funcionó, reforzando aún más la ilusión.
El "LLMentalist": el mismo truco, automatizado
El mapeo que Bjarnason hace sobre los chatbots es directo:
| Paso del mentalista | Equivalente en chatbot LLM |
|---|---|
| La audiencia se autoselecciona | Quienes usan chatbots de IA ya están abiertos a la idea de "inteligencia artificial" y AGI |
| Se prepara el escenario | Hype mediático + advertencias de "alucinaciones" (que antropomorfizan al modelo y dan excusa para los fallos) |
| Contexto inicial | El prompt del usuario fija el tema y el tono |
| La marca se testea | Respuestas que suenan específicas pero son estadísticamente genéricas |
| Bucle de validación | Conversación larga, donde cada respuesta refuerza la sensación de "inteligencia" |
| "¡Este chatbot piensa!" | "Chispas de inteligencia general", declaraciones públicas de expertos |
El punto más técnico es el papel del RLHF. Bjarnason explica que el feedback humano no puede editar hechos concretos en una respuesta —solo rankea conversaciones enteras—. Como el reward model probablemente no puede distinguir verdad de falsedad, termina recompensando tono, estructura y estilo que parecen precisos. El resultado: el chatbot aprende a generar enunciados de validación de forma estadística.
"Al intentar hacer que el LLM suene más humano, más seguro y más atractivo, los investigadores parecen haber creado un mentalista mecánico." — Baldur Bjarnason
Por qué muchos psíquicos se engañan a sí mismos
Un detalle clave: no todos los mentalistas son estafadores conscientes. Bjarnason cita el caso documentado de un astrólogo posgraduado que, tras años de éxito profesional, descubrió que había estado lanzando un horóscopo incorrecto y había recibido la misma reacción entusiasta. Conclusión: había desarrollado lectura en frío de forma subconsciente. Él era la primera víctima de su propio truco.
Bjarnason cree que lo mismo ocurre con buena parte de la industria de IA: muchos investigadores genuinamente creen estar al borde de la AGI porque ellos mismos cayeron en el bucle de validación. No es malicia; es un sesgo cognitivo potenciado por la retroalimentación de colegas también convencidos.
El lado supersticioso del sector tech
El ensayo cierra con una lista de paralelismos entre "aplicaciones" de IA propuestas y estafas clásicas de mentalistas:
- Conectar un LLM a un resonador magnético y afirmar que "lee mentes".
- Detectar criminalidad por expresiones faciales o forma de caminar.
- Soluciones mágicas a problemas de salud.
- Predicciones literales del futuro.
- Evaluar honestidad de candidatos en entrevistas.
Bjarnason argumenta que delegar razonamiento, análisis o estrategia en un chatbot equivale, funcionalmente, a llamar a una línea de psíquicos por teléfono. Y advierte: la burbuja de IA va a ser difícil de digerir cuando se desinfle, porque está construida sobre superstición y pseudociencia, no sobre evidencia verificable.
¿Qué significa esto para tu startup?
Si estás construyendo o integrando IA en tu producto, la tesis de Bjarnason no es una curiosidad filosófica: tiene implicaciones comerciales y de producto concretas.
- No confundas "fluidez" con "inteligencia". Un chatbot que suena convincente no necesariamente razona. Para tareas críticas (salud, finanzas, legal), exigí verificación humana o sistemas deterministas como respaldo. La confianza del usuario final en tu producto depende de que esto esté bien resuelto.
- Diseñá prompts y UX que no disparen validación subjetiva. Evitá el lenguaje antropomórfico ("él piensa", "ella cree"). El framing afecta la percepción: un chatbot que se presenta como "asistente estadístico" es evaluado con criterios distintos que uno presentado como "experto".
- Medí resultados, no entusiasmo. Si tu equipo interno se volvió devoto de un chatbot, eso no prueba que el modelo sea bueno: podría ser señal de que cayeron en el LLMentalist Effect. Implementá evaluaciones ciegas, métricas de tarea y baselines sin IA antes de escalar el uso.
- Cuidado con el hype de proveedores. Cuando un vendor te venda "chispas de AGI", recordá que el mecanismo comercial de la industria tiene incentivos para reproducir el sesgo: si los propios creadores cayeron en el efecto, también caerán tus clientes. Exigí casos de uso auditables.
Conclusión
El ensayo de Bjarnason no pide abandonar la IA; pide tratarla como lo que es: un modelo estadístico de texto, no una mente. La estafa del mentalista sobrevive porque explota cómo funciona nuestro cerebro, no porque las personas sean tontas. Lo mismo ocurre con los chatbots. Reconocer el mecanismo es el primer paso para no caer en él —ni hacer que caigan tus usuarios, tus clientes ni tu equipo.
Fuentes
🤖 La IA no es solo para leer sobre ella
En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.
👥 Aplicarla en la comunidad
