核心概念
上下文窗口
模型在一次处理或生成步骤中可纳入条件的 token 范围或容量，通常受模型与服务的长度限制约束。
上下文长度 context window context length 上下文窗
简明解释
上下文窗口（context window；又称上下文长度）是模型在一次处理或某一步生成中能够纳入条件的 token 范围或容量。它可能包含系统消息、用户输入、对话历史、示例、检索文本以及已生成前缀。GPT-3 的评测把少样本示例放入模型上下文，并明确以“能装入上下文窗口的示例数”为约束。[1, §§2.3–3 and Appendix B]
长度怎样计算
窗口一般以 token 而不是字数或字符数计量；相同文本在不同分词器下可能占用不同数量。具体 API 还可能分别规定最大输入和最大输出，因此不能只凭一个宣传的窗口数字判断请求是否可接受。OpenAI 的接口文档给出一种常见约束口径：文本生成时，提示与生成输出合计不得超过模型的最大上下文长度。[2, Tokens section] 其他模型或服务可能采用不同的输入、输出和缓存规则，应以对应版本文档为准。
能做什么、不能做什么
更长窗口允许同一次请求携带更多文档、示例或历史，但容量不等于有效利用：Liu等在多文档问答与键值检索实验中观察到相关信息位置会显著影响部分受测模型的表现；这是所测模型和任务的结论，不是所有系统的定律。[3, Abstract and §§3–5] 上下文窗口也不是长期记忆；窗口外内容只有经摘要、检索、外部存储或再次输入才可能影响当前输出。训练时支持的长度、部署时开放的长度和一次请求实际使用的长度是三个不同量。
相关章节
上下文中的 token、注意力和生成机制见第18章：大语言模型；token 的定义见token，Transformer 架构见Transformer。
本页参考来源
- Brown T B, Mann B, Ryder N, et al.. Language Models are Few-Shot Learners [C]. NeurIPS 2020, volume 33, pp. 1877–1901. Advances in Neural Information Processing Systems, 2020. arXiv:2005.14165v4, 2020-07-22. 定位：§2.3; §3, evaluation setting; Appendix B. 稳定来源（访问 ）。
- OpenAI. Key concepts — Tokens and context limits [EB/OL]. OpenAI API Documentation, 2026. live documentation, checked 2026-08-27. 定位：Tokens section, statement that prompt and generated output combined must fit the model maximum context length. 稳定来源（访问 ）。
- Liu N F, Lin K, Hewitt J, et al.. Lost in the Middle: How Language Models Use Long Contexts [J]. Transactions of the Association for Computational Linguistics, 2024. 定位：Abstract; §§3–5. DOI；稳定来源（访问 ）。