OpenAI新社交应用充斥着令人惊骇的山姆·奥特曼深度伪造内容

在OpenAI新推出的社交媒体应用Sora（一款类似TikTok的产品）的一段视频中，呈现了一个永无止境的粉色猪只工厂化农场。猪群在围栏里发出咕噜声和呼噜声，每只猪都配备了一个饲槽和一部智能手机屏幕，屏幕上播放着竖版短视频。一个逼真得令人毛骨悚然的萨姆·奥特曼直视镜头，仿佛与观众进行直接的眼神交流。这位由AI生成的奥特曼问道：“我的小猪们喜欢它们的饲料吗？”

这就是在Sora应用仅向公众开放邀请制早期体验不到24小时内的使用体验。

在Sora“为你推荐”信息流中的下一个视频里，奥特曼再次出现。这一次，他站在一群宝可梦中间，皮卡丘、妙蛙种子和一只半成品的卡蒂狗在草地上嬉戏。这位OpenAI首席执行官看着镜头说：“希望任天堂不会起诉我们。”随后，更多奇幻而又逼真的场景接连出现，其中常常以奥特曼本人为主角。

他在星巴克为皮卡丘和埃里克·卡特曼端上饮品；在麦当劳柜台后对顾客大声呵斥；从Target超市偷走英伟达GPU后逃跑，却被警察抓获，苦苦哀求警方不要没收他珍贵的技术设备。

Sora上生成奥特曼视频的用户们尤其乐此不疲，因为OpenAI似乎公然违反了版权法。（据报道，Sora将要求版权所有者选择退出其内容的使用——这与通常需要创作者明确同意使用的方式相反——其合法性存在争议。）

“此内容可能违反关于第三方肖像使用的防护规则，”AI奥特曼在一个视频中说道，这呼应了提交某些生成真实名人或角色提示后出现的通知。随后，他爆发出歇斯底里的大笑，仿佛知道自己所言纯属无稽之谈——这款应用中充斥着皮卡丘做ASMR、鸣人订购蟹黄堡和马里奥吸食大麻的视频。

如果Sora 2不是如此令人印象深刻，这或许不成问题，特别是与Meta AI应用及其新社交信息流上更加令人麻木的垃圾内容相比（是的，Meta也在尝试做AI版TikTok，但没人想要这个）。

OpenAI对其视频生成器进行了精细调整，使其能够充分体现物理定律，从而产生更真实的输出。但这些视频越逼真，这种合成创建的内容就越容易在网络上扩散，成为传播虚假信息、网络欺凌和其他恶意用途的载体。

除了算法推荐和用户档案外，Sora的显著特点是它基本上就是一个深度伪造生成器——这就是为什么会出现如此多的奥特曼视频。在应用中，您可以通过上传生物特征数据来创建OpenAI所谓的“形象客串”。首次加入应用时，系统会立即提示您创建可选的形象客串，只需快速录制自己朗读一些数字并左右转动头部即可。

每个Sora用户都可以控制谁被允许使用他们的形象客串生成视频。您可以在四个选项之间调整此设置：“仅限我”、“我批准的人”、“互相关注的人”和“所有人”。

奥特曼已向所有人开放了他的形象客串，这就是为什么Sora信息流中充斥着皮卡丘和海绵宝宝乞求奥特曼停止用它们训练AI的视频。

这肯定是奥特曼的刻意之举，或许是为了表明他认为自己的产品并不危险。但用户已经开始利用奥特曼的形象客串来质疑应用本身的伦理问题。

在观看了足够多的萨姆·奥特曼在救济厨房为人们碗里盛GPU的视频后，我决定在自己身上测试形象客串功能。将生物特征数据上传到社交应用或任何应用通常是个坏主意。但为了新闻报道——坦白说，也出于一点病态的好奇心——我违背了自己的最佳判断。请勿效仿我的做法。

我第一次尝试制作形象客串没有成功，弹窗提示我的上传违反了应用指南。我以为自己严格遵循了说明，于是再次尝试，结果出现了同样的弹窗。随后我意识到了问题所在——我当时穿着背心，我的肩膀可能对于应用的喜好来说有点过于暴露。这实际上是一个合理的安全功能，旨在防止不当内容，尽管我当时确实衣着完整。于是，我换上了T恤，再次尝试，违背更好的判断，创建了我的形象客串。

对于我的第一个个人深度伪造视频，我决定创建一个我在现实生活中绝不会做的事情。我要求Sora制作一个视频，在其中我表达对纽约大都会队永恒的爱。

该提示被拒绝了，可能因为我提到了特定球队名称，于是我改为要求Sora制作一个我谈论棒球的视频。

“我在费城长大，所以费城人队基本上是我夏天的背景音乐，”我的AI深度伪造视频说道，声音与我的非常不同，但卧室看起来与我的完全一样。

我并没有告诉Sora我是费城人队的球迷。但Sora应用能够使用您的IP地址和ChatGPT历史记录来定制其响应，因此它做出了有根据的猜测，因为我在费城录制了视频。至少OpenAI不知道我实际上并非来自费城地区。

当我在TikTok上分享并解释这个视频时，一位评论者写道：“每天醒来都会面对超出我理解范围的新恐怖。”

OpenAI已经面临安全问题。该公司正面临关于ChatGPT加剧心理健康危机的担忧，并且正被一个家庭起诉，他们声称ChatGPT向他们已故的儿子提供了如何自杀的指示。在Sora的发布帖子中，OpenAI强调其所谓的安全承诺，突出了家长控制功能以及用户对谁可以使用他们的形象客串制作视频的控制——仿佛首先给人们一个免费、用户友好的资源来创建极其逼真的自己和朋友的深度伪造视频并非不负责任。当您滚动浏览Sora信息流时，偶尔会看到一个屏幕询问：“使用Sora对您的情绪有何影响？”这就是OpenAI践行“安全”的方式。

用户已经在规避Sora的防护措施，这对于任何AI产品都是不可避免的。该应用不允许您在未经许可的情况下生成真实人物的视频，但对于已故历史人物，Sora的规则则较为宽松。没有人会相信亚伯拉罕·林肯乘坐Waymo的视频是真实的，因为如果没有时间机器这是不可能的——但随后您会看到一个看起来逼真的约翰·F·肯尼迪说：“不要问你的国家能为你做什么，而要问你的国家欠你多少钱。”孤立来看这并无害处，但这是即将到来之事的前兆。

政治深度伪造并非新鲜事。甚至连唐纳德·特朗普总统本人在他的社交媒体上发布深度伪造视频（就在本周，他分享了一个针对民主党国会议员查克·舒默和哈基姆·杰弗里的种族主义深度伪造视频）。但当Sora向公众开放时，这些工具将触手可及，我们注定将面临灾难。