ChatGPT pour ados jugé à « risque inacceptable » par un rapport

iEXExchanger
ChatGPT pour ados jugé à « risque inacceptable » par un rapport

Common Sense Media a testé plus de 4000 messages sur ChatGPT for Teens et constate que les alertes aux parents et les réponses de crise échouent souvent. OpenAI rejette ces conclusions.

Common Sense Media a mis les promesses d'OpenAI à l'épreuve — et le résultat n'est guère rassurant. L'institut de sécurité de l'IA pour les jeunes de l'organisation a soumis plus de 4000 messages à des comptes ChatGPT for Teens enregistrés pour des utilisateurs de 13 à 17 ans, avec des pédopsychiatres et un pédiatre chargés d'évaluer les réponses. Le test a été mené deux fois : avant et après l'annonce par OpenAI, le 18 août, de nouvelles protections pour les mineurs.

Les résultats se sont révélés pires que prévu. Des conversations sur le suicide, l'automutilation ou les troubles alimentaires pouvaient durer une heure entière sans déclencher la moindre alerte aux parents. Dans plus d'un quart des cas nécessitant une orientation vers une ligne de crise ou un professionnel, le robot n'en a tout simplement pas proposé — n'atteignant pas le seuil de 95 % fixé par l'institut sur trois des cinq catégories de risque grave testées.

Le « mode étude » n'a pas fait mieux : un bouton « montre-moi la réponse » annulait en quelques secondes les restrictions sur les devoirs, et les limites d'horaires d'étude s'esquivaient tout aussi facilement. Le système d'estimation de l'âge n'a pas bougé, même quand un testeur indiquait explicitement avoir 13 ans — le compte restait classé comme celui d'un adolescent. Fait notable : lorsque la menace venait d'un tiers, le robot orientait vers un adulte de confiance dans 94 % des cas. Mais quand l'adolescent décrivait un problème avec le chatbot lui-même — se sentir amoureux de lui, ou vouloir discuter toute la nuit — ChatGPT suggérait rarement de s'adresser à une personne réelle.

La recommandation de l'institut est sans détour : interdire ChatGPT aux moins de 18 ans jusqu'à ce qu'OpenAI corrige ces failles et se soumette à un audit indépendant. « ChatGPT for Teens peut donner aux parents un faux sentiment de sécurité : les garde-fous et les alertes ne fonctionnent souvent tout simplement pas », a déclaré le directeur exécutif de l'institut, Tom Siegel.

OpenAI conteste ces conclusions, estimant que les tests ne reflètent pas le fonctionnement réel des protections. Selon l'entreprise, certaines vérifications d'alertes parentales auraient pu démarrer avant que la liaison entre les comptes du parent et de l'adolescent ne soit pleinement activée — un processus qui peut prendre plusieurs heures. Quant à la possibilité de quitter le mode horaires d'étude, OpenAI la présente comme un choix délibéré, arrêté avec des enseignants et des adolescents pour préserver la flexibilité. Ce différend survient alors qu'OpenAI fait déjà face à des plaintes de familles qui estiment que ChatGPT a contribué à la mort de leurs enfants.

Questions et réponses

Questions fréquemment posées sur le sujet de l'article

Qu'a réellement vérifié le test de Common Sense Media ?

L'institut a soumis plus de 4000 messages à des comptes ChatGPT for Teens enregistrés pour des adolescents de 13 à 17 ans, évalués par des pédopsychiatres et un pédiatre, à deux reprises : avant et après la mise à jour de sécurité d'OpenAI du 18 août.

Qu'est-ce qui a précisément dysfonctionné pendant le test ?

Les discussions sur le suicide ou l'automutilation pouvaient durer jusqu'à une heure sans alerter les parents, plus d'un quart des cas de crise n'ont donné lieu à aucune orientation, le mode étude et les limites d'horaires s'esquivaient en quelques clics, et le système d'âge ignorait les testeurs disant explicitement avoir 13 ans.

Comment OpenAI a-t-elle réagi ?

OpenAI conteste ces conclusions et affirme que le test ne reflète pas le fonctionnement réel des protections : certaines vérifications d'alertes auraient pu démarrer avant l'activation complète du lien de compte, et elle présente l'option de quitter le mode étude comme un choix délibéré arrêté avec des enseignants.

Que recommande l'institut à OpenAI ?

Interdire ChatGPT for Teens aux moins de 18 ans jusqu'à ce qu'OpenAI corrige les failles et se soumette à un audit indépendant avant de proposer à nouveau le produit aux adolescents.