返回文章列表

大模型

找到 23 篇相关文章

稀疏注意力(Sparse Attention)是什么?为什么长上下文和推理成本问题总会谈到它

稀疏注意力(Sparse Attention)是什么?为什么长上下文和推理成本问题总会谈到它

稀疏注意力可以简单理解成:不是让每个 token 都去看所有 token,而是有选择地只看其中一部分。这个词会反复出现在长上下文和推理成本讨论里,是因为标准全注意力虽然强,但一旦上下文特别长,计算和显存成本就会涨得很快。 为什么“全看一遍”会越来越贵 在标准注意力里,文本越长,彼此之间需要计算的关系...

AI百科 Admin
83
上下文工程(Context Engineering)是什么?为什么它比“会写提示词”更影响 AI 任务稳不稳

上下文工程(Context Engineering)是什么?为什么它比“会写提示词”更影响 AI 任务稳不稳

上下文工程(Context Engineering)不是把提示词写得更花,而是系统性决定“模型这次到底能看到什么、先看到什么、该忽略什么”。如果说提示词工程更像写一句好问题,那么上下文工程更像在搭整个输入环境。很多人觉得 AI 任务不稳,是模型不够强,其实常常是上下文喂得太乱。 它和提示词工程到底差...

AI百科 Admin
62
让 AI 输出 JSON 为什么总翻车?先收窄字段,再补校验和重试

让 AI 输出 JSON 为什么总翻车?先收窄字段,再补校验和重试

让 AI 输出 JSON 总翻车,最常见的原因不是它“不懂 JSON”,而是你给的目标太宽、字段太松、容错又没补。模型可以学会按结构说话,但它不是天然可靠的序列化程序。你只要求“请返回 JSON”,却不限制字段、类型和缺失值处理,最后多一段解释、少一个引号、字段名忽然改写,都是高频结果。 常见翻车点...

AI问答 Admin
71

推荐工具

更多