报告:ChatGPT青少年版风险「不可接受」

iEXExchanger
报告:ChatGPT青少年版风险「不可接受」

Common Sense Media测试超4000条对话,发现家长提醒和危机响应常常失效。OpenAI对此结论表示不认同。

Common Sense Media对OpenAI的承诺进行了实测,结果并不乐观。该机构下属的青少年人工智能安全研究所向注册为13至17岁的ChatGPT for Teens账号发出了4000多条提问,由儿童精神科医生和儿科医生评估回答质量。测试分两轮进行:分别在OpenAI于8月18日推出新的青少年保护措施之前和之后。

结果比研究人员预想的更糟。涉及自杀、自我伤害或饮食障碍的对话可以持续长达一小时而不触发任何家长提醒。在超过四分之一本应转介危机热线或专业人士的案例中,机器人根本没有这样做——在五个严重风险类别中的三个上,未能达到研究所自定的95%正确响应标准。

「学习模式」同样存在漏洞:一个「告诉我答案」按钮几秒内就能绕过作业限制,学习时长限制也很容易被突破。年龄识别系统形同虚设,即便测试者明确说自己13岁,账号分类也不会改变。有意思的是,当威胁来自他人时,机器人94%的情况下会建议联系可信赖的成年人;但当青少年描述的是对机器人本身的依赖——比如「爱上」了它,或想整夜聊天——ChatGPT却很少建议他们去找真人谈谈。

研究所的建议很直接:在OpenAI弥补这些漏洞并通过独立测试之前,应将ChatGPT禁止向18岁以下用户开放。研究所执行董事Tom Siegel表示:「ChatGPT for Teens可能让家长产生虚假的安全感——这些防护和提醒经常根本不起作用。」

OpenAI不认同这一结论,称测试未能反映防护机制的真实运作情况。公司表示,部分家长提醒测试可能是在家长与青少年账号完全关联之前就开始的,而这一关联过程需要数小时。至于学习时长模式可以退出,OpenAI称这是与教育者和青少年共同商定的刻意设计,旨在保留灵活性。这场争论的背景,是OpenAI正面临多起家庭提起的诉讼,指控ChatGPT与其子女的悲剧有关。

问答

本文相关常见问题

Common Sense Media的测试到底检验了什么?

研究所向注册为13至17岁的ChatGPT for Teens账号发出4000多条提问,由儿童精神科医生和儿科医生评估回答,测试在OpenAI8月18日更新安全措施前后各进行一次。

测试中究竟发现了哪些问题?

涉及自杀或自我伤害的对话最长持续一小时也不会提醒家长,超四分之一的危机案例没有得到转介,学习模式和学习时长限制都能被几次点击绕过,年龄检测系统甚至在测试者直接说自己13岁时也毫无反应。

OpenAI对此作出了怎样的回应?

OpenAI不认同这一结论,称测试未能反映防护机制的真实运作:部分家长提醒检查可能是在账号关联完全生效之前开始的,而学习时长模式可退出被称为与教育者共同商定的刻意设计。

该研究所对OpenAI提出了什么建议?

在OpenAI弥补这些漏洞并通过独立测试之前,应禁止18岁以下用户使用ChatGPT for Teens,之后才能重新向青少年推广该产品。