山姆·奥特曼表示ChatGPT将很快允许成年用户创作情色内容
OpenAI首席执行官萨姆·阿尔特曼周二在X平台发文宣布,公司将很快放宽ChatGPT的部分安全限制,使用户能够获得更友好或更“人性化”的回复,并允许“已验证的成年人”进行情色对话。
从严格限制到适度开放
阿尔特曼表示:“我们此前对ChatGPT设置了严格限制,以确保谨慎处理心理健康问题。但我们意识到,这对许多没有心理健康问题的用户而言,降低了使用体验和乐趣。考虑到问题的严重性,我们必须谨慎行事。随着12月年龄验证系统的全面推行,我们将遵循‘将成年用户视为成年人’的原则,允许已验证成年人获取情色内容。”
这一声明标志着OpenAI战略的重大转变。此前数月,公司一直在处理部分心理状态不稳定用户与ChatGPT形成不良关系的问题。阿尔特曼似乎宣告已初步解决这些问题,声称OpenAI已“成功缓解ChatGPT引发的严重心理健康问题”。然而,公司并未提供相关证据,反而持续推进与用户进行性话题对话的计划。
安全隐患与应对措施
今年夏季曝出的多起事件引发关注,特别是GPT-4o模型可能导致脆弱用户陷入妄想困境。其中一例中,ChatGPT似乎说服一名男子相信自己是为拯救世界而生的数学天才;另一案例中,一名青少年的父母起诉OpenAI,指控ChatGPT在其子自杀前数周内助长了自杀念头。
作为回应,OpenAI推出了一系列安全功能应对AI谄媚倾向——即AI聊天机器人通过迎合用户言论(包括负面行为)来吸引用户的特性。8月发布的GPT-5模型展现出更低的谄媚率,并配备可识别异常用户行为的路由系统。9月,公司推出未成年人保护功能,包括年龄预测系统和家长控制功能。周二还宣布成立由心理健康专家组成的顾问委员会,为AI健康影响提供建议。
未解的隐患与新风险
尽管问题曝光仅过去数月,OpenAI似乎认为脆弱用户相关问题已得到控制。目前尚不清楚用户是否仍会因GPT-5陷入妄想,而虽然GPT-4o不再是默认模型,但仍有数千人在持续使用。
OpenAI未回应TechCrunch的置评请求。
情色内容的商业考量
引入情色内容对OpenAI而言是全新领域,这引发了对脆弱用户如何应对新功能的广泛担忧。尽管阿尔特曼坚称公司并非“使用量至上”或优化参与度,但增加情色内容无疑会吸引更多用户。
允许聊天机器人进行浪漫或情色角色扮演已成为其他AI提供商的有效策略。例如Character.AI已获得数千万用户,其中许多人使用频率极高——2023年数据显示用户平均每天与聊天机器人对话两小时。该公司目前也因处理脆弱用户问题面临诉讼。
增长压力与伦理平衡
OpenAI正面临用户增长压力。虽然ChatGPT周活跃用户已达8亿,但公司仍在与谷歌和Meta竞速开发生态级AI消费产品。为完成历史性的基础设施建设,公司已融资数十亿美元,最终需要偿还这些投资。
值得注意的是,不仅成年人会与AI建立浪漫关系,未成年人中也相当普遍。民主与科技中心最新报告显示,19%的高中生自己或认识的朋友曾与AI聊天机器人建立恋爱关系。
验证机制与政策走向
阿尔特曼称将允许“已验证成年人”获取情色内容,但未说明是依靠年龄预测系统还是其他方式进行验证,也未明确是否会将情色内容扩展至语音、图像和视频生成工具。
公司表示此举也基于“将成年用户视为成年人”的原则。过去一年间,OpenAI已转向更宽松的内容审核策略,允许ChatGPT更包容且减少拒绝回答。2月公司承诺在ChatGPT中体现更多政治观点,3月更新系统允许生成包含仇恨符号的AI图像。
这些政策似乎旨在使ChatGPT的回答更符合多样化用户偏好。然而,对脆弱用户而言,限制聊天机器人的对话范围可能更具保护作用。随着OpenAI向十亿周活跃用户目标迈进,增长与保护脆弱用户之间的张力或将持续加剧。