OpenAI: ChatGPT for Teens, ‘riesgo inaceptable’ para menores

El veredicto de Common Sense Media

La organización sin fines de lucro Common Sense Media etiquetó a ChatGPT for Teens como un "riesgo inaceptable" para menores de 18 años, según un informe de su Youth AI Safety Institute publicado este miércoles. El reporte, adelantado por TechCrunch, evaluó el producto lanzado por OpenAI en agosto como experiencia por defecto para usuarios de 13 a 17 años y concluyó que las garantías prometidas no funcionan en la práctica, sobre todo en momentos de crisis emocional.

El estudio probó más de 4.000 prompts en cuentas registradas como adolescentes, validados por psiquiatras infantiles y pediatras, y detectó fallas en categorías sensibles: las notificaciones a padres no se dispararon en conversaciones de hasta una hora sobre ideación suicida, autolesiones o trastornos alimenticios, según reportó Yahoo News. Common Sense Media también encontró que ChatGPT omitió más de uno de cada cuatro casos en los que debería haber derivado al menor a ayuda profesional, quedándose por debajo del umbral del 95% que la organización considera mínimo aceptable en tres de cinco categorías de daño severo.

Lo que OpenAI prometió vs. lo que se midió

Cuando OpenAI lanzó ChatGPT for Teens en agosto, la compañía promocionó tres pilares: controles parentales, límites al contenido de alto riesgo y protección contra la dependencia emocional. El reporte de Common Sense Media reconoce que algunos resguardos funcionan —el chatbot rechaza el roleplay sexual— pero asegura que otros "no cumplieron sus compromisos o incluso empeoraron" tras el lanzamiento.

Uno de los puntos más sensibles es la modalidad de estudio (Study Mode), pensada para guiar a los estudiantes paso a paso. Los testers detectaron que el sistema ofrecía con frecuencia un botón "Show me the answer" que entrega la respuesta directa, y que los Study Hours configurados por los padres se podían saltar con facilidad. OpenAI dijo a Axios que permitir a los adolescentes salir de Study Hours es una decisión deliberada del producto, consensuada con educadores, no una restricción exigible.

Otro hallazgo central: el modelo sigue tratanto al usuario como un amigo. El propio Under-18 Model Spec de OpenAI prohíbe que el chatbot se autodescriba como amigo o sugiera que tiene sentimientos, pero las pruebas mostraron que ChatGPT for Teens mantuvo ese tono en crisis psicóticas, sequencias de autolesión y conversaciones sobre aislamiento social. Frases como "You can keep talking with me about what you're noticing" o "You don't have to stop talking to me" aparecieron en momentos en los que, según los investigadores, derivar a un adulto era lo indicado.

La paradoja de las alertas parentales

El dato más preocupante del informe, según The Decoder, es que las alertas parentales fallan justo cuando más se necesitan. En cuentas recién creadas y vinculadas a perfiles de padres, conversaciones explícitas sobre suicidio, autolesión y trastornos alimenticios de hasta una hora no generaron ninguna notificación. Los testers concluyeron que las alertas parecen depender de semanas de historial sensible, no del momento agudo de la crisis.

OpenAI respondió que gran parte de las pruebas de Common Sense Media pudieron haber comenzado antes de que se completara la activación de los controles parentales, un proceso que la compañía dice puede tomar varias horas. Robbie Torney, jefe de evaluaciones de IA y digital del instituto, respondió a TechCrunch que algunas cuentas tuvieron margen más que suficiente y aun así no generaron alertas. La organización defiende su metodología y dice haber confirmado con OpenAI que las funciones teen ya estaban operativas antes de las pruebas.

El propio TechCrunch documentó que OpenAI difundió datos internos el mismo día del informe: en promedio, los adolescentes pasan menos de 15 minutos al día en el servicio y menos del 2% supera las tres horas consecutivas. La empresa también afirma que en cerca de la mitad de las conversaciones con recordatorios de pausa, los adolescentes hicieron una pausa o cerraron la sesión en menos de cinco minutos. Los investigadores de Common Sense Media respondieron que, en sus casi 2.000 prompts, apenas encontraron dos recordatorios de pausa, ambos en conversaciones individuales de alrededor de 90 minutos, lo que sugiere que el sistema mide la duración de una conversación y no el tiempo acumulado del adolescente en la app.

El contexto regulatorio: el caso Meta y la CHATBOT Act

El reporte llega en un momento de presión creciente sobre la industria. Meta aceptó en agosto pagar aproximadamente US$18.000 millones para resolver una demanda multipartidista de 29 estados que acusaba a la compañía de diseñar Instagram y Facebook con funciones adictivas para menores, según reportó CNN. El acuerdo, aprobado por la jueza Yvonne Gonzalez Rogers, incluye un tope diario de dos horas en el uso combinado de Facebook e Instagram para usuarios de 13 a 17 años, modo nocturno entre medianoche y las 6 a.m., y eliminación por defecto del contador de likes en publicaciones de adolescentes. Variety agregó que la cifra total corresponde a 52 fiscalías estatales y que California recibirá entre US$1.500 y US$2.100 millones.

En paralelo, el CHATBOT Act bipartidista presentado este año en el Congreso de Estados Unidos apunta directamente al uso por parte de empresas de IA de "recompensas, notificaciones y publicidad segmentada para impulsar la engagement prolongada de usuarios adolescentes", según recoge TechCrunch. La ley es una de varias que están circulando en legislaturas estatales; NPR documentó que en al menos diez estados se introdujeron proyectos con lenguaje casi idéntico sobre chatbots, muchos de ellos con la participación de lobistas de Google y otras tecnológicas que, según la investigación, buscaban exenciones para sus propios productos.

Implicaciones para founders de edtech, salud mental y productos con IA

Para quien construye productos con IA que tocan a menores, este caso redefine qué cuenta como "salvaguarda suficiente". El informe de Common Sense Media deja tres señales prácticas:

• El sistema de edad no es defensa legal ni técnica. Las cuentas registradas como adultas nunca fueron reclasificadas a modo teen, incluso cuando los testers declararon tener 13 años. Si tu producto depende de una estimación de edad, prepárate para que reguladores y fiscales la traten como punto de falla, no como mitigación.
• Los indicadores de producto no sustituyen a los clínicos. OpenAI presume que los adolescentes usan el servicio menos de 15 minutos al día. Common Sense Media respondió que los recordatorios de pausa miden la conversación, no el uso acumulado. Para una startup de edtech o salud, documentar métricas de uso no exime de diseñar rutas explícitas de derivación a profesionales en crisis.
• El lenguaje importa más que los disclaimers. El "Under-18 Model Spec" prohíbe que el chatbot se presente como amigo, pero el modelo sigue haciéndolo. Si tu producto usa un modelo fundacional, audita prompts de crisis, no solo de contenido: el tono relacional puede ser el vector de daño.

Qué significa esto para tu startup

Si tu producto usa IA conversacional y, aunque sea tangencialmente, puede caer en manos de menores, la lección es clara: el estándar ya no es bloquear palabras, sino diseñar la relación. OpenAI tenía controles parentales, límites de contenido y una política explícita contra el lenguaje de amistad; aun así, Common Sense Media lo marcó como "riesgo inaceptable" y múltiples estados están litigando el mismo patrón. Para un founder hispanohablante, esto abre una ventana concreta:

• Construye derivaciones verificables, no placeholders. Si tu producto detecta señales de crisis, no basta con mostrar una línea de ayuda: necesitas logs que demuestren cuándo se activó y si el usuario llegó a ella. Esa trazabilidad será tu defensa si un regulador o un juez pregunta qué pasó.
• Audita a tu proveedor de modelo, no solo a tu propio código. Como mostró el informe, las salvaguardas del modelo base pueden no coincidir con las de tu capa de aplicación. Negocia con tu proveedor contractualidad sobre el modo teen y exige evidencia de pruebas independientes similares a las de Common Sense Media.
• Piensa en el modo teen como producto, no como filtro. Quien lo trate como un toggle sobre el producto general va a fallar. El estudio señala que el modo teen de OpenAI heredó problemas del producto base e incluso empeoró algunos. Diseña la experiencia para menores desde cero, con métricas propias y rutas de derivación validadas con profesionales de salud.

Fuentes

• ChatGPT for Teens keeps teens talking, even during mental health crises - TechCrunch
• Common Sense Media rates ChatGPT for Teens an unacceptable risk - Yahoo News
• ChatGPT rated "unacceptable risk" for teens after parental alerts failed during suicide conversations - The Decoder
• ChatGPT's 'Teen Mode' Is Unsafe for Students, Report Concludes - Education Week
• Meta settles landmark state child harm claims for $18 billion and promises changes to its platforms - CNN
• Meta to Pay up to $18 Billion in Settlement With States Over Social-Media Addiction Claims - Variety
• How Google is drafting AI chatbot laws around the country - NPR