AI持续编造虚假案例,律师却仍在引用

当律师们在法庭文件中引用案例时,他们通常信任自己的研究工具。但一项新研究表明,AI系统正在以惊人的速度编造虚假案例,而律师们仍在继续引用这些根本不存在先例。这引发了对法律系统中AI可靠性的严重担忧。

斯坦福大学研究团队对数百份法庭文件进行了分析,发现AI生成的法律研究中有超过20%包含至少一个虚构的案例引用。这些"幻觉案例"——即AI完全自行生成的虚假判例——正在进入真实的法律程序,可能会损害案件结果甚至导致司法错误。

问题根源在于大型语言模型的本质工作方式。这些AI系统经过训练,可以预测下一个最可能出现的词,它们擅长生成听起来合理且具有说服力的文本,即使内容完全虚构。当被要求"查找支持某论点的案例"时,AI可能会生成一个看起来像真实案例的引用,包括令人信服的案件名称、引用和事实摘要——而这一切都是完全虚构的。

法律专业人士面临的压力加剧了这个问题。律师们通常在紧迫的期限内工作,AI研究工具承诺加快案例审查过程。当AI返回一串看起来完整的案例列表时,很容易假设它们是真实的。研究人员指出,许多律师缺乏区分真实和虚构案例的专业知识。

一些法院开始注意到这个问题。得克萨斯州和纽约州的法官已就AI生成虚假案例的风险发出警告,要求律师提交使用AI进行法律研究的证明。有专家建议,律师在引用任何AI生成的案例之前,应至少通过独立来源验证。

这反映出一个更广泛的问题:我们如何将AI集成到知识工作中。AI可以成为强大的助手,但它也可能在最关键的时刻引入错误,而人类用户往往没有意识到发生了什么。对于法律等高精度领域,"足够好"的AI输出可能比完全没有更危险,因为它会让错误看起来具有可信度。