上下文窗口
Category:人工智能术语 Category:大语言模型术语 Template:信息框 一、定义 上下文窗口是指大语言模型在一次对话或文本处理中，能够同时接收、理解并处理的最大词元数量上限。它是衡量大语言模型上下文理解能力的核心指标，单位为词元，包含用户输入的词元数与模型输出的词元数之和。 二、核心作用 限制处理规模：模型无法无限处理文本，上下文窗口的大小决定了单次可处理的文本长度（以词元计数）； 保障上下文连贯：模型通过上下文窗口内的词元序列，理解文本的逻辑关系、上下文关联，确保生成内容的连贯性； 影响计费与算力：上下文窗口越大，模型处理的词元数量越多，消耗的算力越高，API调用成本也越高； 适配不同场景：短上下文窗口适合简单问答，长上下文窗口适合长文档处理、多轮对话、代码调试等场景。 三、与词元的关联 上下文窗口与词元是密不可分的关系，核心关联如下： 计量单位：上下文窗口的大小以词元为单位（如8k词元、32k词元、128k词元）； 容量限制：单次交互中，输入词元数+输出词元数，不能超过上下文窗口的最大词元限制； 窗口溢出：当输入文本的词元数超过上下文窗口上限时，模型会截断部分文本（通常截断开头或结尾），影响理解准确性； 优化方向：当前大语言模型的发展趋势之一，是扩大上下文窗口容量，支持更多词元的处理，提升长文本理解能力。 四、常见示例 小型上下文窗口：8k词元（适合日常短对话、简单问答）； 中型上下文窗口：32k-64k词元（适合长文档摘要、多轮对话）； 大型上下文窗口：128k词元及以上（适合长文档翻译、代码调试、书籍解读）。 五、相关词条