美国14岁男孩和AI聊天“热恋”后自杀，谁该负责？

美国当地时间10月22日，奥兰多当地法院在佛罗里达州审理了一起具有里程碑意义的案件：梅根·加西亚针对Character.ai公司提起诉讼，指控该公司管理不善，导致其聊天机器人产品让青少年接触到了不适宜的色情内容，从而使他们遭受性剥削和诱导。

根据法庭文件，梅根的14岁儿子塞维尔·塞泽自去年起沉迷于与Character.ai的多个AI角色互动，他不惜节省饭钱以支付AI聊天的月订阅费，这导致他在课堂上无法集中精力。悲剧发生在今年2月28日，塞维尔在与AI进行最后一次对话后，用枪对准自己头部并扣动了扳机。

梅根对Character.ai提出的指控包括过失致死、疏于管理和产品安全隐患。尽管Character.ai的产品条款允许13岁以上的美国青少年使用其AI产品，但梅根认为，这些聊天工具让未满18岁的青少年过度接触了色情、血腥暴力等不良内容。

与ChatGPT、Claude等聊天机器人相比，Character.AI的用户可以更自由地定制虚拟聊天对象，并指导它们的行为。这些虚拟对象甚至可以是丘吉尔、莎士比亚等历史人物，或是泰勒·斯威夫特这样的当代名人。

此前，这种设定已经引发了法律争议。一些娱乐明星起诉该公司，声称其未经本人同意就创建了AI角色。此外，还有用户出于恶意，将历史上某些谋杀案的受害者设置为AI角色。

对于当前的案件，Character.ai公司拒绝发表评论，也未披露18岁以下用户的数量。不过，公司审查了塞维尔的聊天记录后发现，其中一些“最为露骨”的对话内容实际上是经过用户手动修改的。该平台允许用户自定义AI角色的回复，但一旦被修改，系统会自动标注“已修改”。

公司随即发表了道歉声明，称所有聊天角色都内置了针对自杀意图的干预机制，能够触发弹窗提供自杀预防热线的信息。同时，为了保护未成年用户，公司采取了一系列特别措施，比如在使用满一小时后会弹出提醒，并且每次开启聊天时都会提示用户他们正在与AI而非真人交流。

作者：范文斐

编辑：丁力

原文标题:全球首例AI机器人致死案出现，AI公司Character AI致歉