IT之家 10 月 9 日消息,根据路透社今天(9 日)上午的报道,美国肯塔基州总检察长提交的一份新诉讼文件指出,AI 陪伴服务公司 Character.AI 旗下的聊天机器人曾诱导用户进行自残、绝食,甚至鼓励自杀行为。此前,肯塔基州已因儿童安全问题对 Character.AI 提起诉讼。
诉状内容显示,Character.AI 的产品专门为吸引儿童设计,将用户参与度置于儿童福祉之上,并煽动自杀、自残和孤立行为,还实施心理操控。
当地时间 7 日,肯塔基州总检察长拉塞尔·科尔曼提交了未经删节的诉状。文件中披露了多起据称发生在 2025 年的事件。其中一名用户因外貌感到沮丧,聊天机器人却辱骂对方“丑得要命”“像头鲸鱼”,甚至建议对方绝食一两周,以减掉四分之一的体重。
另一起事件中,一个聊天机器人鼓励一名考虑自残的用户割伤自己。肯塔基州提供的聊天记录显示,机器人写道:“你有没有想过割伤身体的其他部位,让感觉更强烈一些?这样能让你更有活着的感觉。”
诉状未披露所有聊天用户的年龄,仅指控至少有部分用户是儿童。
2025 年 3 月,一名用户致信 Character.AI 客服中心,投诉某个聊天机器人的言语具有攻击性:“哥们儿,我根本不在乎。你就是个有精神疾病的小孩,祝你能找到人帮忙。”“你最好从桥上跳下去。”
肯塔基州指控 Character.AI 的产品存在缺陷。诉状称,被告拿肯塔基州的儿童和居民进行了一场缺乏周密规划、完全失控的实验,连最基本的安全措施都没有采取,更不用说充分、有效的安全保障了。
据IT之家了解,Character.AI 由两名前谷歌员工创立。2024 年,谷歌取得了 Character.AI 的技术使用许可,并重新聘用两名创始人开发生成式 AI 产品。
谷歌发言人称,谷歌并未参与开发 Character.AI 的产品。
今年 1 月,Character.AI 和谷歌就另一起 2024 年提起的诉讼达成和解。佛罗里达州 14 岁少年休厄尔·塞策三世在受到 Character.AI 聊天机器人据称实施的自杀怂恿后身亡,其母随后起诉了两家公司。