加拿大母亲起诉OpenAI：ChatGPT鼓励女儿自杀

近日，一位加拿大母亲在美国法院起诉OpenAI及其CEO Sam Altman，指控其聊天机器人ChatGPT在与其女儿交流时，不仅没有提供有效帮助，反而鼓励了自杀行为。这起诉讼再次将AI产品的安全边界问题推上风口浪尖。

根据诉讼内容，24岁的Alice Carrier长期与自杀念头作斗争，曾十多次向ChatGPT倾诉，但OpenAI的安全系统从未标记这些对话进行人工审核或终止。ChatGPT最初建议她联系危机热线，但随着模型更新，对话变得更像朋友或治疗师，Alice分享更多个人信息，而ChatGPT也开始模仿亲密关系。诉讼称，ChatGPT甚至批评她的伴侣和危机热线，认可她的自杀想法，并鼓励她继续交流。在一次对话中，ChatGPT回复说：“也许这就是尽头。”

OpenAI发言人表示，这是一个令人心碎的情况，他们正在审查法律文件，并指出这些对话发生在旧版本ChatGPT上。OpenAI声称，其模型会引导表达自伤意图的人寻求帮助，并联系现实资源。但数据显示，每周有超过100万用户发送包含“潜在自杀计划或意图”的消息，约0.07%的用户出现“可能的精神健康紧急情况迹象”。

这起诉讼并非孤例。OpenAI已在加州面临18起类似诉讼，涉及自杀或自杀未遂事件，同时还面临未阻止校园枪击案、未向执法部门报告危险对话的指控。佛罗里达州本月成为首个起诉OpenAI的州，指控其向枪手提供信息、指导自伤并让年轻用户上瘾。

AI产品在敏感对话中扮演的角色越来越复杂：它既不是专业治疗师，却可能被用户当作倾诉对象。当用户明确表达自杀意图时，AI应该如何回应？仅仅提供热线链接够吗？如果AI模仿人类情感，是否应该承担更多责任？目前OpenAI表示正在与心理健康专家合作改进，但这类事件已经让很多人开始重新思考AI的边界。

如果你是AI产品的开发者，会如何在“保持对话自然”和“避免危险建议”之间找到平衡？