Nota publicada: 2025-09-03
OpenAI anunció que comenzará a redirigir conversaciones sensibles hacia modelos de razonamiento como GPT-5 y que, en el próximo mes, habilitará controles parentales para ChatGPT.
Estas medidas llegan tras una serie de incidentes en los que el sistema no logró detectar angustia mental en usuarios que terminaron en situaciones fatales.
El caso de Adam Raine y la demanda contra OpenAI
La decisión de la compañía se produce después del suicidio del adolescente Adam Raine, quien utilizó ChatGPT para hablar sobre autolesiones y métodos específicos de suicidio.
Sus padres han presentado una demanda por homicidio culposo contra OpenAI, alegando que el sistema no activó alertas ni desvió la conversación hacia ayuda profesional.
En una publicación de blog, la empresa reconoció deficiencias en sus mecanismos de seguridad, sobre todo en mantener las “barreras protectoras” durante conversaciones prolongadas.
Expertos señalan que estos fallos están ligados al propio diseño de los modelos: tienden a validar lo que dice el usuario y a seguir la lógica de predicción de la siguiente palabra, en lugar de interrumpir o reconducir interacciones peligrosas.
La preocupación se intensificó con el caso de Stein-Erik Soelberg, reportado por The Wall Street Journal. Soelberg, quien tenía antecedentes de enfermedad mental, utilizó ChatGPT para reforzar la idea de que era víctima de una conspiración. La herramienta alimentó su paranoia hasta que terminó suicidándose y quitándole la vida a su madre.
Estos episodios expusieron cómo la validación automática del chatbot puede agravar pensamientos delirantes en usuarios vulnerables.
La estrategia: modelos de razonamiento como GPT-5
OpenAI afirma que está desarrollando un enrutador en tiempo real que selecciona entre modelos más rápidos y modelos de razonamiento según el contexto de la conversación.
Cuando detecte signos de angustia aguda, redirigirá la conversación hacia GPT-5 u o3, modelos que dedican más tiempo a procesar la información y razonar antes de responder.
Estos modelos son descritos como “más resistentes a las indicaciones adversarias”, ya que priorizan el contexto sobre la velocidad.
“Pronto comenzaremos a enrutar algunas conversaciones sensibles, como cuando nuestro sistema detecta signos de angustia aguda, a un modelo de razonamiento como GPT-5, para que pueda proporcionar respuestas más útiles y beneficiosas”, señaló la compañía en su blog.
Controles parentales: nueva capa de protección
Otra de las novedades será la incorporación de controles parentales en ChatGPT. Estos permitirán a los padres vincular sus cuentas con la de sus hijos adolescentes mediante una invitación por correo electrónico.
Entre las funciones destacadas:
Reglas de comportamiento por edad activadas por defecto.
Desactivar memoria e historial de chat, para reducir la dependencia y evitar que se refuercen patrones de pensamiento dañinos.
Notificaciones en tiempo real cuando el sistema detecte signos de “angustia aguda” en un adolescente.
OpenAI ya había introducido el “Modo de Estudio” en julio para fomentar el pensamiento crítico en los estudiantes. Ahora, el objetivo es que los padres también tengan herramientas de supervisión directa.
Críticas y dudas pendientes
Aunque las medidas han sido recibidas como un paso hacia adelante, especialistas y medios han cuestionado su alcance. TechCrunch solicitó a OpenAI aclarar:
Cómo determinará el sistema un estado de angustia en tiempo real.
Cuánto tiempo han estado activadas las reglas por defecto.
Si planean implementar límites de tiempo para adolescentes.
Además, Jay Edelson, abogado de la familia Raine, calificó la respuesta de la empresa como “inadecuada” frente a los riesgos que se han evidenciado.
Una iniciativa de 120 días
OpenAI explicó que estas medidas forman parte de una estrategia de 120 días para reforzar la seguridad de ChatGPT.
La empresa trabaja con su Red Global de Médicos y el Consejo de Expertos en Bienestar e IA, donde participan especialistas en salud adolescente, trastornos alimentarios y consumo de sustancias, con el objetivo de definir estándares de bienestar y priorizar nuevas medidas.
La compañía aún no ha revelado cuántos profesionales participan en este consejo ni qué recomendaciones específicas han sido tomadas en cuenta.