Informe califica a ChatGPT para adolescentes de riesgo inaceptable

iEXExchanger
Informe califica a ChatGPT para adolescentes de riesgo inaceptable

Common Sense Media probó más de 4000 mensajes en ChatGPT for Teens y halló que las alertas a padres y la respuesta a crisis fallan con frecuencia. OpenAI rechaza las conclusiones del informe.

Common Sense Media puso a prueba las promesas de OpenAI y no le gustó lo que encontró. El Instituto de Seguridad de IA para Jóvenes de la organización lanzó más de 4000 mensajes contra cuentas de ChatGPT for Teens registradas para usuarios de 13 a 17 años, con psiquiatras infantiles y un pediatra evaluando las respuestas. La prueba se hizo dos veces: antes y después de que OpenAI lanzara, el 18 de agosto, nuevas protecciones para menores.

Los resultados fueron peores de lo esperado. Las conversaciones sobre suicidio, autolesiones o trastornos alimentarios podían durar hasta una hora sin generar ninguna alerta a los padres. En más de una cuarta parte de los casos que requerían derivar al adolescente a un profesional o línea de crisis, el chatbot simplemente no lo hizo, sin alcanzar el umbral propio del instituto del 95% en tres de las cinco categorías de riesgo grave evaluadas.

El «modo estudio» tampoco salió bien parado: un botón de «muéstrame la respuesta» anulaba en segundos las restricciones para hacer tareas, y los límites de horario de estudio se evitaban con la misma facilidad. El sistema de estimación de edad no reaccionó ni cuando el usuario escribía directamente que tenía 13 años; la cuenta seguía clasificada como adolescente. Cuando la amenaza venía de otra persona, el bot recomendaba hablar con un adulto de confianza en el 94% de los casos. Pero cuando el adolescente describía un problema con el propio chatbot —sentirse enamorado de él, o querer hablar toda la noche— ChatGPT casi nunca sugería acudir a una persona real.

La recomendación del instituto es directa: mantener ChatGPT fuera del alcance de menores de 18 años hasta que OpenAI corrija estos fallos y se someta a una auditoría independiente. «ChatGPT for Teens puede dar a los padres una falsa sensación de seguridad: las salvaguardas y alertas a menudo simplemente no funcionan», declaró el director ejecutivo del instituto, Tom Siegel.

OpenAI rechaza las conclusiones y sostiene que las pruebas no reflejan cómo funcionan realmente las protecciones. Según la empresa, parte de las verificaciones de alertas a padres pudo haber comenzado antes de que el vínculo entre la cuenta del padre y la del adolescente se activara por completo, un proceso que puede tardar varias horas. Sobre la opción de salir del modo de horario de estudio, OpenAI la describe como una decisión deliberada, acordada con educadores y adolescentes para preservar la flexibilidad. La disputa llega mientras OpenAI ya enfrenta demandas de familias que afirman que ChatGPT contribuyó a la muerte de sus hijos.

Preguntas y respuestas

Preguntas frecuentes sobre este artículo

¿Qué evaluó exactamente la prueba de Common Sense Media?

El instituto lanzó más de 4000 mensajes contra cuentas de ChatGPT for Teens registradas para adolescentes de 13 a 17 años, con psiquiatras infantiles y un pediatra evaluando las respuestas, dos veces: antes y después de la actualización de seguridad de OpenAI del 18 de agosto.

¿Qué falló exactamente en la prueba?

Las charlas sobre suicidio o autolesiones podían durar hasta una hora sin alertar a los padres, más de una cuarta parte de los casos de crisis no recibió derivación, el modo estudio y los límites de horario se evitaban con un par de clics, y el verificador de edad ignoró a quienes escribieron directamente que tenían 13 años.

¿Cómo respondió OpenAI?

OpenAI rechaza las conclusiones y dice que el test no refleja el funcionamiento real de las protecciones: parte de las verificaciones de alertas pudo iniciarse antes de que el vínculo de la cuenta se activara del todo, y describe la opción de salir del modo estudio como una decisión deliberada acordada con educadores.

¿Qué recomienda el instituto que haga OpenAI?

Mantener ChatGPT for Teens fuera del alcance de los menores de 18 años hasta que OpenAI corrija los fallos y pase una auditoría independiente antes de volver a ofrecer el producto a los adolescentes.