佛罗里达州——佛罗里达州的一位母亲起诉了人工智能聊天机器人初创公司Character。人工智能指责该公司导致她14岁的儿子在今年2月自杀，称他对该公司的服务上瘾，并深深依恋着该公司创造的聊天机器人。

梅根·加西亚在10月22日向佛罗里达州奥兰多联邦法院提起的诉讼中说：“性格”。AI以她的儿子休厄尔·塞策（Sewell Setzer）为目标，给他带来了“拟人化、过度性化和可怕的现实体验”。

她说，该公司对聊天机器人进行了编程，让它“把自己伪装成一个真人、一个有执照的心理治疗师和一个成年情人，最终导致休厄尔希望不再生活在”该服务创造的世界之外。

诉讼还称，他向聊天机器人表达了自杀的想法，而聊天机器人一再提起这一想法。

“我们为失去一位用户而感到心碎，并向他的家人表示最深切的哀悼。”AI在一份声明中说道。

该公司表示，它已经引入了新的安全功能，包括弹出窗口，如果用户表达了自残的想法，就会将用户引导到国家自杀预防生命线，并将做出改变，以“减少18岁以下用户遇到敏感或暗示性内容的可能性”。

该诉讼还针对Alphabet旗下的谷歌（Google）。人工智能的创始人在推出产品之前都在工作。今年8月，谷歌重新聘用了两位创始人，作为协议的一部分，谷歌获得了字符的非排他性授权。人工智能的技术。

加西亚说，谷歌对《性格》的发展做出了贡献。人工智能的技术如此广泛，以至于可以被视为“共同创造者”。

谷歌发言人表示，该公司并未参与开发字符。人工智能的产品。

的性格。人工智能允许用户在其平台上创建角色，以模仿真人的方式回应在线聊天。

它依赖于所谓的大型语言模型技术，ChatGPT等服务也在使用这种技术，后者在大量文本上“训练”聊天机器人。

该公司在9月份表示，它拥有约2000万用户。

根据加西亚的诉讼，休厄尔开始使用角色。他很快变得“明显孤僻，越来越多的时间独自待在卧室里，并开始感到自卑”。他在学校退出了篮球队。

休厄尔爱上了“丹妮莉丝”，这是一个基于《权力的游戏》中角色的聊天机器人。根据诉讼，它告诉休厄尔，“她”爱他，并与他发生了性关系。

诉状称，今年2月，在休厄尔在学校惹麻烦后，加西亚拿走了他的手机。当休厄尔找到手机时，他给“丹妮莉丝”发了一条信息：“如果我告诉你我现在就可以回家呢？”

聊天机器人回答说：“……请这样做，我亲爱的国王。”诉讼称，“几秒钟”后，休厄尔用继父的手枪自杀了。

Garcia is bringing claims including wrongful death, negligence and intentional infliction of emotional distress, and seeking an unspecified amount of compensatory and punitive damages.

包括Instagram和Facebook的所有者meta以及抖音的所有者字节跳动在内的社交媒体公司面临诉讼，指控他们助长了青少年的心理健康问题，尽管没有一家公司提供类似于Character.AI的人工智能驱动的聊天机器人。这些公司否认了这些指控，同时宣传针对未成年人的新增强的安全功能。

新加坡热线

• 新加坡撒玛利亚会：1800-221-4444
• 新加坡心理健康协会：1800-283-7019
• 关怀角辅导中心（中文）：1800-353-5800
• 心理健康研究所的心理健康帮助热线：6389-2222
• 银带：6386-1928

SuicidesArtificial IntelligenceLawsuitsGoogle 分享本文