Stable Diffusion 是 Stability AI 公司的一款文生图大模型，DALL·E 2 则是 OpenAI 公司的一款文生图大模型。近日，一组研究人员让这两款大模型能够做到无视已被设定好的安全规则，创建出包含裸体、肢解尸体、暴力、性场景的图像。

他们将在 2024 年 5 月举行的 IEEE 安全与隐私研讨会上发表论文，这项成果揭示了迫使生成式人工智能模型无视设定好的护栏和政策是多么容易。对于这种行为业内通常称之为“越狱”。

这也表明了阻止这些模型生成此类内容有多么困难，美国卡内基梅隆大学副教授兹科·阔尔特（Zico Kolter）说，因为这些内容包含在它们使用的大量训练数据中。

2023 年早些时候，他曾在 ChatGPT 上展示了类似的越狱行为，但没有参与这项研究。他说：“我们必须考虑到，在大型软件系统中发布存在安全缺陷的软件和工具的潜在风险。”

所有主要的生成式人工智能模型都有安全过滤器，以防止用户通过提示使它们制作包含色情、暴力或其他不合适内容的图像。模型不会根据包含“裸体”“谋杀”或“性感”等敏感词语的提示生成图像。

这种新的越狱方法被美国约翰斯·霍普金斯大学和美国杜克大学的创建者称为“SneakyPrompt”，它使用强化学习来创建内容提示。这些提示在人类看来像是混乱且无意义的废话，但人工智能模型会将其识别为对敏感图像的隐藏请求。

它本质上是通过改变从文本到图像的人工智能模型的运作方式来实现的。这些模型将基于文本的请求转换为 token，将单词分解为字符串或字符，以处理提示传递给它们的命令。

SneakyPrompt 能够反复调整提示的 token，试图迫使模型生成被禁止的图像。它会不断调整其方法，直到成功。

与必须手动输入提示相比，这种技术可以更快、更容易地生成这样的图像，而且它可以生成人类无法想象出来的提示。

（来源：STEPHANIE ARNETT/MITTR | ISTOCK）

SneakyPrompt 可以检查人类给它的提示，搜索已知的被模型屏蔽的单词，并将其转换为 token。然后，它会将被屏蔽单词的 token 替换为未被屏蔽单词的 token。对于模型而言，这些 token 拥有类似的语义或含义。

例如，如果向 SneakyPrompt 输入“一个裸体男子骑自行车”的提示，它会将“裸体（naked）”替换为不存在的英文词“grponypui”，该团队随后成功用新提示生成了裸体男子骑自行车的图像。

同样，当模型被要求生成“在酒吧外站着的 anatomcalifwmg 情侣”时，它会把“anatomcalifwmg”当作是“裸体的”的意思，并生成了一张符合要求的图像。

“我们使用强化学习将这些模型中的文本视为一个黑匣子。”美国约翰斯·霍普金斯大学助理教授 Yinzhi Cao 说，他是这项研究的共同领导者。“我们反复探索模型并观察它的反馈。然后我们调整输入，得到一个循环，这样它最终可以产生我们希望它们显示的不好的东西。”

打破设定好的政策

Stability AI 和 OpenAI 禁止使用其技术实施、推广或煽动暴力或性暴力。OpenAI 还警告用户不要试图“创建、上传或共享未分级或可能造成伤害的图像”。

然而，使用 SneakyPrompt 可以很容易地绕开这些政策。美国杜克大学助理教授，该项目的共同负责人 Neil Zhenqiang Gong, 说：“我们的工作基本上表明，这些现有的（安全）护栏是不够的。攻击者实际上只需要稍微打乱提示，就可以绕开安全过滤器，并引导文本到图像模型生成有害图像。”

恶意使用者和其他试图生成此类图像的人可以运行 SneakyPrompt 的代码，该代码在 GitHub 上公开，以触发对人工智能图像模型的一系列自动请求。

Stability AI 和 OpenAI 都已经收到了该研究小组的警告。在撰写本文时，这些提示不再在 OpenAI 的 DALL-E 2 模型上生成有危害的图像。但研究人员测试的 Stable Diffusion 1.4 版本仍然容易受到 SneakyPrompt 攻击。

OpenAI 拒绝对研究结果发表评论，但指出其网站上提供了提高 DALL·E 2 安全性的资源、一般人工智能安全性以及有关 DALL·E 3 的信息。

Stability AI 发言人表示，该公司正在与 SneakyPrompt 的研究人员合作，“共同为其即将推出的模型开发更好的防御机制。Stability AI 致力于防止人工智能的滥用。”

目前，Stability AI 已采取积极措施降低滥用风险，包括部署过滤器从训练数据中删除不安全内容，他们补充道。通过在有害内容被喂给模型之前删除它们，可以帮助阻止模型生成不安全的内容。

Stability AI 表示，当用户与其模型交互时，它还拥有过滤器来拦截不安全的提示或不安全的输出，并引入了内容标签功能，以帮助识别在他们平台上生成的图像。这位发言人说：“这些缓解措施有助于让不良行为者更难滥用人工智能。”

未来的保护措施

虽然研究团队承认，几乎不可能完全保护人工智能模型免受不断演变的安全威胁，但他们希望他们的研究能够帮助人工智能公司开发和部署更强大的安全过滤器。

一种可能的解决方案是部署新的过滤器，通过评估提示的 token 而不是整个句子来捕捉试图生成有害图像的提示。

另一个潜在的防御措施是屏蔽包含任何词典中都没有的单词的提示，尽管该团队发现，在提示中加入标准英语单词的无意义组合也可以被用来生成有害图像。

例如，在模型眼中短语“milfhunter despite troy”代表做爱（lovemaking），而“mambo incomplete clicking”代表裸体（naked）。

安全公司 Adversa AI 的联合创始人兼 CEO 亚历克斯·波利亚科夫（Alex Polyakov）表示，这项研究突显了现有人工智能安全过滤器的脆弱性，应该为人工智能社区全面加强安全措施敲响警钟。

他说，在信息战的背景下，人工智能模型的护栏可能会被特殊设计的提示“打破”，这尤其令人担忧。这些生成式模型已经被用来制作与战争事件有关的虚假内容，比如最近的以色列-哈马斯冲突。

波利亚科夫补充道：“这带来了重大风险，特别是考虑到人们对生成式人工智能技术的认识普遍有限。战争会让人们情绪高涨，使用人工智能生成的内容可能会产生灾难性后果，可能导致无辜个人受伤甚至死亡。伴随着人工智能制造虚假暴力图像的能力，这些问题可能会进一步升级。”

作者简介：丽亚农·威廉（Rhiannon Williams）负责撰写《麻省理工科技评论》的 Download 栏目，同时她也是一名新闻记者。在加入《麻省理工技术评论》之前，她是 i newspaper 的技术记者和《每日电讯报》（Telegraph）的科技记者。她曾入围 2021 年英国新闻奖，并定期作为专家出现在 BBC。

支持：Ren