大模型的上下文窗口是什么？为什么聊久了它会忘

上下文窗口指的是模型一次能一并「看到」的文字量，用 token 计量。你发的每一句话、它回的每一段，都占这个额度。

要紧的一点是它没有真正的记忆。每次回复，模型都是把这轮窗口里的全部文字重新读一遍再生成，窗口外的内容它看不到。所以聊得越久，早期内容越容易被挤出去，表现出来就是「忘了」。

这也解释了一个常见现象：新开一个对话，把核心背景重新说一遍，效果多半比在旧对话里反复提醒更好。不是模型变聪明了，是窗口里干净了。

估算还剩多少空间有个土办法：看对话里最早的几条消息还在不在完整显示。如果界面开始折叠或者提示「较早的消息已省略」，说明窗口快满了，该另起一段了。

围绕上下文窗口，有几个概念容易混：

上下文窗口：单次能处理的总长度，输入加输出一起算。

输出上限：单次回复最多能生成多少，通常远小于窗口总量。

记忆功能：部分产品会把历史对话摘要存下来，下次带进新对话。这不是模型能力，是产品层做的补丁。

知识截止时间：训练数据的截止点，跟窗口没关系，是另一回事。

四者常被混为一谈。窗口大不代表知识新，记忆功能也不代表模型真的记住了。

混淆这几个概念，实际后果不太一样。把窗口当成记忆，会导致在长对话里反复提醒同一件事；把知识截止当成窗口，会误以为开个新对话就能拿到新信息。前者浪费 token，后者直接拿到过时答案。

我写长材料时踩过这个坑。一开始把所有要求、参考、历史版本都塞进一个对话，聊到后面它开始重复前面的错误，我提醒一次好一点，再聊几轮又忘。

后来改成两段式：先在短对话里把要求敲定，让它输出一份「写作约定」，我自己存下来；然后每次开新对话，第一句就把这份约定贴进去。等于手动给它一个干净又完整的窗口。

这个办法笨，但稳定。尤其是要写好几篇风格一致的内容时，比在一个超长对话里硬撑靠谱得多。

那份「写作约定」不用写得很长，五六条就够：写给谁看、要多长、能不能用第一人称、术语怎么统一、结尾要不要总结。关键是每条都写成可判断的规则，而不是「风格要专业」这种没法执行的话。

几个容易误判的地方：

它说「我记得你之前提到过」，不代表真记得。模型常常是根据眼下的上下文推测，猜错了也很自然地说出来。

窗口标称很大，不等于长文档里每一段都能被同等对待。中间部分被漏掉的情形确实有，要紧的要求放在开头和结尾更稳。

对话变慢、回答变短，多半是接近窗口上限的信号，不是网络问题。

还有，删掉的消息不等于从窗口里消失。有的产品只是界面上隐藏，模型仍能看到，别把删消息当保密手段。

长对话的正确拆法，是按任务拆而不是按时间拆。同一个任务内的上下文要连贯，换任务就开新对话。很多人是在一个对话里从写方案聊到改标题再聊到算账，互相干扰，最后哪个都不对。