上下文窗口大小管理
按任务选合适模型/上下文大小,并用分块保持在限制内。
提示词工程进阶
为什么
GitHub 2024 调查发现 92% 的美国受访者用 AI 编程工具生成测试用例,73% 的开源受访者用 AI 工具编程或写文档。更大上下文成本更高且稀释注意力;更小上下文丢所需文件。
将上下文大小匹配任务复杂度并对大输入分块,保持质量并降成本。
何时使用
当任务因截断失败、成本飙升、或长输入质量下降时考虑上下文大小。 简单明确任务不必过度工程化提示词,一行指令足矣。
如何做
1. 估算输入 token(文件 + 历史 + 提示词)。
2. 选上下文够用且有余量(约 20%)的模型。
3. 对大文件分块:仅发相关函数/段落。
4. 继续前摘要旧对话。
5. 无关子任务用 /compact(Claude Code)或新会话。
示例
任务:跨 8 文件重构(约 4 万 token)。模型 A:32k 上下文(太小)。
选项:(a) 用 200k 模型;(b) 现发 4 文件,/compact 后再发 4。
选 (b) 省成本:按模块分块,每次后摘要。
常见问题
- ⚠错误:模型返回 "I cannot help with that" → 改写去除受限措辞;收窄范围并提供明确的允许示例。
- ⚠模型输出 JSON 解析错误 → 用 ```json 围栏包裹并在系统提示加 "仅返回合法 JSON"。
- ⚠错误:超出 token 限制(400 Bad Request) → 拆分提示、摘要前文或切换更大上下文模型。
最佳实践
- ✓大文件仅发相关块,非整文件。
- ✓无关子任务间压缩/摘要以释放上下文。
- ✓用具体指标衡量结果(节省时间、缺陷率、测试覆盖率),使实践可被论证和改进。
常见问题解答
什么是上下文窗口大小管理?
按任务选合适模型/上下文大小,并用分块保持在限制内。 它可帮助开发者快速理解 上下文窗口大小管理 的核心价值与适用场景。
如何开始使用上下文窗口大小管理?
开始使用 上下文窗口大小管理,建议先掌握以下要点:估算输入 token(文件 + 历史 + 提示词)。
上下文窗口大小管理 的常见误区有哪些?
使用 上下文窗口大小管理 时常遇到的问题包括:错误:模型返回 "I cannot help with that" → 改写去除受限措辞;收窄范围并提供明确的允许示例。;模型输出 JSON 解析错误 → 用 ```json 围栏包裹并在系统提示加 "仅返回合法 JSON"。;错误:超出 token 限制(400 Bad Request) → 拆分提示、摘要前文或切换更大上下文模型。。
上下文窗口大小管理 的最佳实践是什么?
上下文窗口大小管理 的最佳实践包括:大文件仅发相关块,非整文件。;无关子任务间压缩/摘要以释放上下文。;用具体指标衡量结果(节省时间、缺陷率、测试覆盖率),使实践可被论证和改进。。
如何深入学习上下文窗口大小管理?
从官方文档入手,再在 GitHub 上搜索真实示例;先在小实验仓库验证模式,再应用到生产代码。