Skip to content
返回 AI 编程

上下文窗口大小管理

按任务选合适模型/上下文大小,并用分块保持在限制内。

提示词工程进阶

为什么

GitHub 2024 调查发现 92% 的美国受访者用 AI 编程工具生成测试用例,73% 的开源受访者用 AI 工具编程或写文档。更大上下文成本更高且稀释注意力;更小上下文丢所需文件。

将上下文大小匹配任务复杂度并对大输入分块,保持质量并降成本。

何时使用

当任务因截断失败、成本飙升、或长输入质量下降时考虑上下文大小。 简单明确任务不必过度工程化提示词,一行指令足矣。

如何做

1. 估算输入 token(文件 + 历史 + 提示词)。 2. 选上下文够用且有余量(约 20%)的模型。 3. 对大文件分块:仅发相关函数/段落。 4. 继续前摘要旧对话。 5. 无关子任务用 /compact(Claude Code)或新会话。

示例

任务:跨 8 文件重构(约 4 万 token)。模型 A:32k 上下文(太小)。 选项:(a) 用 200k 模型;(b) 现发 4 文件,/compact 后再发 4。 选 (b) 省成本:按模块分块,每次后摘要。

常见问题

  • ⚠错误:模型返回 "I cannot help with that" → 改写去除受限措辞;收窄范围并提供明确的允许示例。
  • ⚠模型输出 JSON 解析错误 → 用 ```json 围栏包裹并在系统提示加 "仅返回合法 JSON"。
  • ⚠错误:超出 token 限制(400 Bad Request) → 拆分提示、摘要前文或切换更大上下文模型。

最佳实践

  • ✓大文件仅发相关块,非整文件。
  • ✓无关子任务间压缩/摘要以释放上下文。
  • ✓用具体指标衡量结果(节省时间、缺陷率、测试覆盖率),使实践可被论证和改进。

常见问题解答

什么是上下文窗口大小管理?

按任务选合适模型/上下文大小,并用分块保持在限制内。 它可帮助开发者快速理解 上下文窗口大小管理 的核心价值与适用场景。

如何开始使用上下文窗口大小管理?

开始使用 上下文窗口大小管理,建议先掌握以下要点:估算输入 token(文件 + 历史 + 提示词)。

上下文窗口大小管理 的常见误区有哪些?

使用 上下文窗口大小管理 时常遇到的问题包括:错误:模型返回 "I cannot help with that" → 改写去除受限措辞;收窄范围并提供明确的允许示例。;模型输出 JSON 解析错误 → 用 ```json 围栏包裹并在系统提示加 "仅返回合法 JSON"。;错误:超出 token 限制(400 Bad Request) → 拆分提示、摘要前文或切换更大上下文模型。。

上下文窗口大小管理 的最佳实践是什么?

上下文窗口大小管理 的最佳实践包括:大文件仅发相关块,非整文件。;无关子任务间压缩/摘要以释放上下文。;用具体指标衡量结果(节省时间、缺陷率、测试覆盖率),使实践可被论证和改进。。

如何深入学习上下文窗口大小管理?

从官方文档入手,再在 GitHub 上搜索真实示例;先在小实验仓库验证模式,再应用到生产代码。