上下文窗口
跳至導覽
跳至搜尋
Category:人工智能術語 Category:大語言模型術語 Template:信息框 一、定義 上下文窗口是指大語言模型在一次對話或文本處理中，能夠同時接收、理解並處理的最大詞元數量上限。它是衡量大語言模型上下文理解能力的核心指標，單位為詞元，包含用戶輸入的詞元數與模型輸出的詞元數之和。 二、核心作用 限制處理規模：模型無法無限處理文本，上下文窗口的大小決定了單次可處理的文本長度（以詞元計數）； 保障上下文連貫：模型通過上下文窗口內的詞元序列，理解文本的邏輯關係、上下文關聯，確保生成內容的連貫性； 影響計費與算力：上下文窗口越大，模型處理的詞元數量越多，消耗的算力越高，API調用成本也越高； 適配不同場景：短上下文窗口適合簡單問答，長上下文窗口適合長文檔處理、多輪對話、代碼調試等場景。 三、與詞元的關聯 上下文窗口與詞元是密不可分的關係，核心關聯如下： 計量單位：上下文窗口的大小以詞元為單位（如8k詞元、32k詞元、128k詞元）； 容量限制：單次交互中，輸入詞元數+輸出詞元數，不能超過上下文窗口的最大詞元限制； 窗口溢出：當輸入文本的詞元數超過上下文窗口上限時，模型會截斷部分文本（通常截斷開頭或結尾），影響理解準確性； 優化方向：當前大語言模型的發展趨勢之一，是擴大上下文窗口容量，支持更多詞元的處理，提升長文本理解能力。 四、常見示例 小型上下文窗口：8k詞元（適合日常短對話、簡單問答）； 中型上下文窗口：32k-64k詞元（適合長文檔摘要、多輪對話）； 大型上下文窗口：128k詞元及以上（適合長文檔翻譯、代碼調試、書籍解讀）。 五、相關詞條