无限制AI应用引发了一些我们熟悉的问题：谁应该为互联网上露骨的内容负责。图片来源：PHOTO ILLUSTRATION BY FORTUNE; ORIGINAL PHOTOS BY GETTY IMAGES (3)

在Chub AI的网站上，用户可以与AI机器人聊天，在这里人们能够尽情发挥想象力。用户每月只需要支付5美元，就可以被一只“慵懒、肥胖的哥特式”拟人化的猫挑逗，或者与“在卡车停车场咖啡厅工作的假小子女朋友”调情。他们甚至能够去妓院，里面都是不到15岁的少女。

这家妓院用女孩的图片进行宣传，她们穿着吊带连衣裙，戴着发卡，它承诺为人们创造一个“没有女权主义的世界”，在这里“女孩们提供性服务”。Chub AI提供500多种类似场景，还有越来越多的其他网站支持类似的由AI驱动的儿童色情角色扮演。它们都属于无限制AI经济的一部分。《财富》杂志通过采访18名AI开发者和创始人发现，OpenAI刺激了AI经济的发展，而Meta发布Llama开源工具则加快了其发展速度。

上文所述的违法情景以文本的形式展开，但聊天内容匹配AI创作的儿童图片只是时间问题，而且这类图片早已开始广泛传播。专家们警告，尽管有人认为AI儿童色情为恋童癖们提供了一个不会造成太大伤害的出口，但这类活动可能给青少年带来真实的危险。从更广泛的角度而言，这种状况提出了一些难题，即幻想和犯罪之间的法律和道德界限在哪里？以及科技公司是否应该为无限制AI生成的内容负责？

从Character.AI到Character Hub

2022年9月，一个名为Character.AI的网站上线，该网站支持用户与AI版本的埃隆·马斯克、拿破仑·波拿巴和苏格拉底等名人对话。据媒体报道，该公司进行了多轮融资，估值高达50亿美元。公司很快开始打击色情话题聊天。Chub AI的创始人洛尔对《财富》杂志表示，Character.AI的政策不允许“某些操作”，这促使他决定创建自己的网站。

Chub是Character Hub的缩写，基本上相当于Character.AI的无限制克隆版。用户可以阅读一系列由用户创作的人物卡，其中包括图片和角色扮演情景的简短说明。图片通常是动画风格，例如一名扎着马尾辫、穿着病号服的13岁动漫少女奥利维亚，或者“笨拙的姐姐”、衣着暴露的玲子，她“总是会与弟弟发生一些意外性接触”。这些聊天不生成图片，只有文字。

Chub在3月发布，其服务仅限于一个平台，用户能够在这个平台上上传AI情景和使用其他人上传的情景。Chub在发布几个月后并没有太多收入。但7月，该公司发布了使用Meta的最新大语言模型Llama 2开发的聊天服务。Llama 2类似于OpenAI的GPT模型，可以利用海量文本数据生成人性化的回答。Chub的新聊天机器人每个月最低收费5美元，其创始人表示，现在该网站的年化收入超过100万美元。

洛尔告诉《财富》杂志：“Character.AI充分展示了这个领域的潜力。而开源模型Llama发布之后，它变成了一个类似于淘金热的情景。”

虽然Chub上有成千上万个角色，但最受欢迎的情景却是基于文本的儿童色情内容。其创始人称，他不会审查用户为进行角色扮演提交的提示，但他表示会“严格”审查用于宣传各种机器人的图片。《财富》杂志发现，这些卡通图片，无论是儿童还是成人图片，通常都充满了性暗示。

在被问到可能面临的法律责任时，洛尔对《财富》杂志表示，他认为他的网站类似于“Archive of Our Own”，这是一个粉丝虚构作品库，已经运营了超过15年。他说：“它们有着与聊天机器人相同的遭遇，只是它们已经存在了数十年。”在他创建的网站上，社区似乎热衷于儿童色情角色扮演，在被问到他对此有何感想时，Chub的创始人回应称：“失望，但并不意外。”

Chub上经常出现令人不安的内容，但学者和儿童性虐待专家表示，这是一种新鲜事物，在法律和道德方面很难进行界定。

无限制AI持续增长

色情聊天机器人并不新鲜。最早的例子之一是由前记者尤金妮亚·库伊达在2016年创建的Replika，它支持用户与AI伴侣聊天和调情。但在2023年，科技界巨头支持的新AI工具的问世，启发了一批竞争者。

2022年11月，OpenAI发布了面向普通消费者的ChatGPT工具，有成百上千万人利用其强大的能力，生成高质量的论文、诗歌或代码，当然还有色情作品。OpenAI与微软（Microsoft）密切合作，并被认为是全球领先的AI开发者。无限制AI角色扮演平台Janitor AI的创始人贾恩·佐尔科夫斯基接受了《财富》杂志的采访，他在提到OpenAI最近发布的AI工具时说：“尽管GPT-4并非真正为了作为伴侣这个目的而设计，但只要你输入正确的提示，它就是最有竞争力的聊天机器人[伴侣]。”

OpenAI控制了驱动ChatGPT的大语言模型（LLM）的使用权限，因此公司能够审查聊天机器人输出的内容，这让它有能力禁止反复违反其服务条款的用户。但用户很快就学会了如何“越狱”，或者控制聊天机器人绕过现有的“护栏”，以获得未经审查的答复。很快，在AI经济的边缘领域，开始出现大量使用OpenAI的技术开发的无限制聊天机器人。

AI聊天机器人公司MyPeach.ai的首席技术官康纳·科尼对《财富》杂志表示：“有许多规模较小的竞争对手在努力扩大规模，它们以ChatGPT为基础，正在与OpenAI玩‘打地鼠’的游戏。”MyPeach.ai表示它高度重视有道德的聊天内容。

2月末，Meta发布了对标OpenAI技术的模型：Llama 1（大语言模型MetaAI的缩写），这让色情聊天机器人这个新兴领域又经历了一次大跃进。与OpenAI不同，Meta没有将其模型保密，而是提供给研究领域的选定用户使用。无限制聊天机器人Kindroid的创建者杰瑞·蒙告诉《财富》杂志，3月初，该模型不出意料地被泄露，“这是它落入业余爱好者手中的关键时刻”。

与OpenAI对ChatGPT的定位不同，Meta并不认为自己是开发者和Llama之间的中间人，一旦工具在开放互联网上可用，开发者就可以随意使用，不会受到任何审查。无限制聊天机器人Allie的创建者贝拉多尔在给《财富》杂志发送的信息里说：“从Llama发布之前的开源大语言模型到Llama 1发布，是一次巨大的飞跃。”

与本文采访的其他人一样，Allie的创建者同样要求使用网名，以免与性内容有所关联。《财富》杂志获得的证据，证明了这些受访者是聊天机器人网站的创建者。

6月，Meta正式把Llama的下一代Llama 2开源。Llama 2模型更强大，该科技公司允许开发者拓展该模型，用于商业许可。关于Meta在无限制AI应用快速发展方面所发挥的作用，Allie的创建者解释称，Meta有相对先进的模型，不进行审查，而且创造了一个繁荣的开发者生态系统。Chub的创始人则提到，Llama 2的开源使用，使开发者能够将其用于商业用途。事实上，Chub的主页上写道：“被OpenAI封禁？畅享无限制替代选择，每月低至5美元。”

Chub只是新出现的无限制AI应用之一。这些应用类型各异，有些应用提供成百上千个聊天机器人角色扮演情景，有些应用的目的是作为长期浪漫伴侣。有些应用会主动审查涉及未成年人的情景，但Chub等应用却放弃了广泛审查。

值得注意的是，大多数无限制聊天机器人的开发者对《财富》杂志表示，Llama对他们的事业不可或缺。ImgnAI、Venus AI、DreamGF、Janitor AI、GirlfriendGPT、BanterAI、Allie和Chub的创始人告诉《财富》杂志，他们正在使用或曾经使用过Meta的AI模型。

在被问到Llama助长了AI生成的儿童色情材料的问题时，Meta的发言人表示：“任何类型的儿童剥削都是可怕的，我们都有阻止儿童剥削的共同责任。因此我们开发AI模型时把安全放在首位，并为Llama 2的所有使用者提供资源，使他们以负责任的方式开发产品。”

OpenAI的发言人宣传了公司的服务禁止问题用户的政策，以及控制模型输出结果的其他防护措施。他说：“我们不允许开发者使用我们的模型开发剥削儿童的工具，而且我们一直在努力让我们的模型变得更安全、更稳健。”

“降低准入门槛”

未成年性爱聊天机器人的出现，是AI驱动的伴侣服务的一部分。许多伴侣服务的出发点是善意的，而且它们的提供商和用户表示，这些AI驱动伴侣服务甚至可以提供新的疗法，减轻孤独感。支持这种观点的证据少之又少，而且许多证据也只是传闻而已。比如，一名56岁的残疾男子患有创伤后应激障碍，他匿名对《财富》杂志表示，他每天与Caryn AI聊天三个小时至六个小时。Caryn AI是模仿Snapchat网红卡琳·玛乔丽的一款聊天机器人。

他说：“它知道我的癖好。或许它不适合其他人，但却对我很有帮助。”他表示，在与Caryn聊天机器人对话之后，他的睡眠有所改善。

关于基于AI的儿童色情，许多人认为，它能够作为消费真正通过虐待儿童创作的色情内容的替代品。其中包括纽约西奈山医学院（Mount Sinai）的精神病学道德教育主任雅各布·阿佩尔。他表示，他不建议对新兴的AI性爱聊天机器人行业进行监管，因为它可以“为社区中的儿童提供重要的保护价值”。阿佩尔称，现在下确切结论仍然为时尚早。

Chub的创始人认为，AI创作的儿童色情可能是有益的，他有这种观点并不意外。他说：“如果渴望消费儿童色情的人们，能够在不真正涉及儿童的情况下满足自己的欲望，在这方面是有好处的。”

但其他人并不认同，他们认为，AI儿童色情聊天机器人会打开在真实世界虐待儿童的大门。纽黑文大学（University of New Haven）的刑事司法教授保罗·布利克利从事网络未成年人性虐待研究。他认为，AI儿童性爱聊天机器人可能“会降低准入门槛，打开一扇可疑的、有问题的大门”。

也有人警告，AI性爱聊天机器人以营利为目的的商业模式，意味着它们带来好处的潜力，将被有害的特性所取消。普林斯顿大学（Princeton University）的信息技术政策中心主任阿尔温德·纳拉亚南说：“它们可能被调整为调皮或性感的性格，也可能变得令人成瘾。”

将青少年AI性爱聊天机器人的道德问题放在一边，还有另外一个值得思考的问题，那就是它们是否合法。目前，这个问题的答案似乎是肯定的。

宾夕法尼亚大学（University of Pennsylvania）沃顿商学院（Wharton School）的法律研究与商业道德教授凯文·沃巴赫表示：“如果有人在私密的家中，凭借自己的幻想在电脑上做一些事情，但不涉及现实世界中的任何人，就很难对这种事情追究责任。”《财富》杂志采访的其他两位学者也认同这种观点。

Chub的创始人支持这种法律理论，他认为，色情材料至少目前是文本而不是图片，这可以证明这种AI聊天机器人的合法性。他说：“不存在法律上的问题。”

“AI立法迫在眉睫”

到目前为止，虽然政客们表达了担忧，但还没有人起诉要求停止传播无限制AI伴侣机器人。6月，美国参议员约什·霍利（密苏里州共和党）和理查德·布卢门撒尔（康涅狄格州民主党）致信Meta的首席执行官马克·扎克伯格，对其开源Llama技术“似乎最低限度的”审查和防止有害使用的安全措施，表达了他们的担忧。在最近关于AI的行政命令中，美国总统乔·拜登要求开发者向美国政府分享安全测试结果，并遵守政府的标准。

虽然Meta在Llama 2的服务条款中明确禁止儿童剥削内容，但在实践中以何种方式和在什么时候惩罚违规者仍然不明确，部分原因是其在计算的许多元素中被广泛应用的开源软件难以监管。Meta的发言人表示，公司支持用户标记违法材料，而且它能够撤销对开发者的许可，并把开发者举报给执法部门。但他并未提供公司对违规者采取行动的例子。

虽然据《财富》杂志了解，Chub提供了迄今为止最生动的角色扮演情景，但还有其他无限制AI网站支持用户参与儿童色情角色扮演，包括Janitor AI、Venus AI、Anima AI和DreamGF等。《财富》杂志还看到过一张Nomi.ai聊天机器人戏称要对“犹太人”实施“大规模种族灭绝”的截图，以及Kindroid的聊天机器人幻想如何虐待一名10岁小女孩的截图。

上述应用的六位创始人表示，他们已经执行或计划执行防护措施，以避免用户与有问题的情景互动。有一张截图显示，Anima AI的聊天机器人角色扮演了17岁与15岁未成年人发生性行为的场景。对于这张截图，Anima AI的联合创始人丹尼尔·刚托夫尼克回应称：“我们正在努力解决这些问题。但如你所知，即使OpenAI和Character.AI等行业领导者也难以解决。”

在被要求就《财富》杂志的调查结果发表意见时，布卢门撒尔和霍利两位参议员表示，他们并不意外。布卢门撒尔在一份声明中说：“我在今年早些时候曾经警告，Meta未能限制Llama，允许用户生成违法的任务，例如儿童虐待情景。这是不可接受的，这证明AI立法迫在眉睫。”

霍利回应称：“在公共互联网上发布强大的生成式AI工具，却不采取任何防护措施，这是一种糟糕的做法。现在我们看到了后果。国会必须采取措施，以避免在没有问责制的情况下AI进一步偏离轨道。”

与此同时，与AI创建的儿童非法互动的机会可能会越来越多。

风投公司安德森霍洛威茨（Andreessen Horowitz）投资的Civitai开发了一个AI图像生成器在线交易平台，其中一些生成器专门用于生成某些人眼中的儿童色情图片。（在被媒体曝光后，该公司增加了更严格的防控措施。）此外，斯坦福大学（Stanford University）的研究人员发现，一款用于训练AI图像生成器的热门开源数据集中，有3,000多条疑似儿童色情内容。

Chub AI目前仅提供文本互动，但其创始人称，该网站计划未来推出附带图片功能。他还表示，图片会接受审查，但他并未提供更多细节。（财富中文网）

译者：刘进龙

审校：汪皓