在新闻领域，大语言模型可能生成虚假新闻事件，扰乱信息传播秩序，误导公众认知。Vectara公司针对文档内容开展的研究表明，一些聊天机器人编造事实、虚构信息的几率高达30%。世界经济论坛发布的《2025年全球风险报告》显示，错误和虚假信息是2025年全球面临的五大风险之一。
在法律领域，它可能引用虚构的法律条文和案例。比如，2023年美国律师史蒂文·施瓦茨就因“轻信”ChatGPT，在法庭文件中引用了并不存在的法律案例。而在医学领域，它可能提供错误的诊断和治疗建议，危及患者生命。
《自然》在报导中指出，AI“幻觉”在科学参考文献方面出现错误的情况也极为普遍。2024年的一项研究发现，各类聊天机器人在提及参考文献时的出错率在30%至90%之间。它们至少会在论文标题、第一作者或发表年份上出现偏差。虽然聊天机器人都带有警告标签，提醒用户对重要信息进行二次核实。但如果用户对聊天机器人的回复深信不疑，可能会引发一系列问题。
多举措减少“幻觉”
为进一步提升AI的精确度，科学家正想方设法降低其“幻觉”。
例如，增加模型训练参数和训练时长可有效减少“幻觉”。但这种方法需要付出高昂的计算成本，并可能削弱聊天机器人的其他能力，如机器学习算法对未知数据的预测和处理能力。
此外，使用更大、更乾净的数据集进行训练，也是降低AI模型“幻觉”出现的有效途径。然而，当前可用数据的有限性限制了这一方法的应用。
检索增强生成（RAG）技术也为减少AI“幻觉”提供了新思路。该方法通过让聊天机器人在回复问题前参考给定的可信文本，从而确保回复内容的真实性，以此减少“幻觉”的产生。在医疗和法律等需要严格遵循经过验证的知识的领域，RAG技术备受青睐。 |
