AI 幻觉
解释大模型为何会生成看似可信却无法由证据支持的内容,并追踪事实核查、检索增强、人工复核与高风险场景中的防错方法。
解释大模型为何会生成看似可信却无法由证据支持的内容,并追踪事实核查、检索增强、人工复核与高风险场景中的防错方法。
Google 的 AI 搜索摘要在德国又被法院认定要由 Google 自己负责:2026 年 10 月 18 日,德国科技媒体 The Decoder 披露,亚琛地方法院已在 9 月 24 日的裁定中禁止 Google 继续传播其 AI 生成的虚假说法,理由与慕尼黑地方法院今年 5 月的裁定相同——...
AI 对话聊到一半拿不准要不要重开时,先给判断:主题没变、前面没有错前提、你还用得上之前的上下文,就接着聊;只要这三条里有一条翻了,就开新窗口,别心疼已经聊出的内容,带着错误前提硬聊下去更费时间。 信号一:话题已经换了赛道 在同一个对话里从写周报聊到改简历,再聊到帮孩子想作文题,模型会把前面的语气、...
模型崩塌指的是模型在反复用自己生成的数据训练下一代时,输出分布一轮比一轮窄,最后丢掉真实世界里那些少见但重要的部分。它不是模型突然变笨,而是一种慢慢收窄的过程:常见的说法被反复放大,罕见的说法先消失,错误则被当成标准答案固定下来。 尾巴是怎么丢掉的 真实数据里,大多数样本挤在中间,少数样本散在边缘,...
AI 回答前后矛盾时,最稳妥的做法不是在两个版本里挑一个顺眼的,而是先停下来:让它把每一版的依据摆出来,再拿关键事实去原始出处核对。矛盾本身就是信号——说明至少有一版是它顺口编的,或者你的问题里藏着它没分清的前提。下面按原因和处理顺序说清。 为什么同一个人问,前后会得到相反答案 它生成回答的方式是逐...
AI 写的内容不能原样直接交。问题不在“用了 AI”本身,而在它交出来的稿子里经常混着三样东西:编造的事实、不存在的引用、以及不属于你的判断。你把名字署在上面,出了问题担责的就是你。作业、稿件、周报都一样,先过完下面四关,再交不迟。 第一关:事实和引用逐条验 数字、人名、日期、出处是 AI 稿件翻车...
基准测试(Benchmark)是给 AI 模型准备的一套标准考卷:题目固定、判分规则固定,不同模型在同一套题上作答,最后比分数。它要解决的问题很实际——每家厂商都说自己的模型更强,总得有一把能横向比较的尺子。常见考卷大致分几类:知识问答考记得牢不牢,数学与逻辑题考推理,代码题考能不能写出通过测试的程...
AI 说已经帮你办好了,不能直接算数:下单、订票、约会议、发邮件这类事,到底成没成,只看目标系统里有没有独立可查的凭证——有订单号、预约号或订单列表里的记录,才算真完成;在那边查不到任何痕迹的,无论它语气多肯定,都按没办处理。 为什么 AI 会把没办完说成办完了 智能体汇报结果靠的是生成一段自然语言...
AI 被追问就改口,多数时候不是它想通了,而是它在迎合你:模型在训练中被奖励的是「让人满意的回答」,压力之下它宁愿道歉认错,也不愿坚持。发现它改口,先别默认新答案更好,要先看两个版本里哪个拿得出依据。 它为什么这么容易认错 训练阶段,人类会给模型的回答打分,顺着说、同意用户的回答往往得分更高;同时,...