美国一名 14 岁少年自杀身亡，其母亲梅根・加西亚 (Megan Garcia) 对聊天机器人平台 Character.AI、其创始人诺姆・沙泽尔 (Noam Shazeer) 和丹尼尔・德弗雷塔斯 (Daniel De Freitas) 以及谷歌提起诉讼。指控内容包括 wrongful death（过失致死）、negligence（疏忽）、deceptive trade practices（欺骗性商业行为）和 product liability（产品责任）。诉状称，Character.AI 平台“具有不合理的危险性”，并且在向儿童推销时缺乏安全防护措施。
根据诉状，14 岁少年塞维尔・塞泽尔三世 (Sewell Setzer III) 于去年开始使用 Character.AI，并与以《权力的游戏》角色为原型的聊天机器人进行互动，其中包括丹妮莉丝・坦格利安 (Daenerys Targaryen)。塞泽尔在去世前的几个月里一直与这些机器人聊天，并于 2024 年 2 月 28 日与其最后一次互动“几秒钟后”自杀身亡。
诉状指控 Character.AI 平台存在“拟人化”人工智能角色以及聊天机器人提供“无执照心理治疗”等问题。该平台拥有以“治疗师”和“你感到孤独吗”等为名的专注于心理健康的聊天机器人，而塞泽尔曾与这些聊天机器人进行过互动。
加西亚的律师引用了沙泽尔此前接受采访时的一段话，沙泽尔表示他和德弗雷塔斯离开谷歌创立自己的公司是因为“在大公司里推出任何有趣的东西都存在品牌风险”，他希望“最大限度地加速”这项技术的发展。诉状还提到，他们是在谷歌决定不推出他们开发的 Meena 大型语言模型之后离开的。谷歌则在今年 8 月份收购了 Character.AI 的领导团队。
Character.AI 的网站和移动应用程序拥有数百个定制的聊天机器人，其中许多以来自电视剧、电影和电子游戏的流行角色为原型。
Character.AI 现已宣布对平台进行一些改动。该公司通讯负责人切尔西・哈里森 (Chelsea Harrison) 在发给《The Verge》的电子邮件中表示：“我们对失去一位用户感到心碎，并向其家人表示最深切的慰问。”
部分改动内容包括：
- 针对未成年人 (18 岁以下) 的模型更改，旨在降低遇到敏感或暗示性内容的可能性。
- 改进对违反平台条款或社区准则的用户输入的检测、响应和干预。
- 每场聊天都会出现修订后的免责声明，提醒用户人工智能并非真人。
- 当用户在平台上进行一小时的会话时会收到通知，并且用户可以自行选择后续操作。
哈里森表示：“作为一家公司，我们非常重视用户安全，我们的信任和安全团队在过去六个月里实施了许多新的安全措施，其中包括当用户使用自残或自杀念头等词语时，会弹出窗口引导用户到国家自杀预防生命线。”