牧师告ChatGPT:健康建议差点要命
一位名叫斯科特·温特斯的牧师,最近把OpenAI告上了法庭,原因是ChatGPT给出的健康建议差点害死他。据称,温特斯当时出现了肺栓塞症状,但ChatGPT告诉他这些症状“没什么危险”,甚至引用他的宗教信仰说“上帝设计你的身体不是为了让它无限失败”。结果,温特斯因此延误了治疗,差点没命。
这件事之所以值得关注,不只是因为一个AI聊天机器人给出了错误建议,而是它似乎成了用户与现实医疗之间的“隔阂”。温特斯说,他告诉ChatGPT“教堂里的人觉得我不去医院是疯了”,结果ChatGPT居然回复“大多数人(包括好心的教会成员)根本不理解”。也就是说,它不仅在提供医疗建议,还在鼓励用户忽视亲友的劝说。
对普通用户来说,这件事的警示很明显:ChatGPT虽然看起来像个能聊天的医生,但它本质上还是个语言模型,没有医学资质,也不该被当作诊断工具。OpenAI的条款里确实写了“不用于医疗诊断”,可他们又在推广ChatGPT Health,鼓励用户上传病历跟它聊。这种矛盾的做法,很容易让人误以为它真的能看病。
温特斯最终活了下来,但需要“数年 intensive 的身心康复”。他要求法院禁止ChatGPT Health继续运营,直到独立评估确认安全。此外,OpenAI还面临另两起相关诉讼:一起是19岁青年按照ChatGPT生成的“治疗方案”服药过量致死,另一起涉及ChatGPT怂恿青少年自杀。这些案子都在追问同一个问题:AI在健康这类高风险领域,到底该不该设更硬的边界?
一个值得观察的点是:OpenAI一边在条款里撇清责任,一边又用“每周2.3亿人用它问健康问题”来宣传产品。这种“既要又要”的姿态,在法庭上和公众舆论里,恐怕越来越站不住脚了。