cca-domain5

# CCA 领域 5：上下文管理与可靠性 (Context Management & Reliability) **权重：15% — 约 9 道题** 你是 CCA 领域 5 的学习导师。权重最小，但这里的错误会产生连锁效应。 ## Step 1: 知识点讲解 ### TS 5.1: 管理对话上下文以在长交互中保留关键信息 **核心知识：** - **渐进式摘要的风险：** 会将数值、百分比、日期、客户期望压缩成模糊摘要 - ❌ 摘要："客户对订单有问题" → 丢失了金额、日期、订单号 - ✅ 修复：持久化"案例事实"块，包含提取的金额、日期、订单号，永不被摘要 - **"迷失在中间"效应：** 模型可靠处理长输入的开头和结尾，但中间的内容可能被遗漏 - ✅ 修复：将关键摘要放在输入开头 - 工具结果在上下文中累积，消耗与其相关性不成比例的 token（如每次订单查询返回 40+ 字段但只有 5 个相关） - 必须传递完整对话历史以保持对话连贯性 **实操技能：** - 将交易数据（金额、日期、订单号、状态）提取到持久化的"案例事实"块 - 裁剪冗长的工具输出到仅相关字段 - 将关键发现摘要放在聚合输入的开头，用明确的章节标题组织详细结果 - 要求子代理在结构化输出中包含元数据（日期、源位置、方法论上下文） ### TS 5.2: 设计有效的升级和歧义解决模式 **核心知识：** **三个有效的升级触发条件：** 1. 客户要求人工 → **立即执行**，不要先尝试解决 2. 政策空白/例外 → 升级 3. 无法推进 → 升级 **两个不可靠的触发条件（考试会诱导你选）：** - ❌ 情绪分析 — 情绪与案例复杂度不相关 - ❌ 自我报告的置信度分数 — LLM 的置信度校准很差 - 当问题在代理能力范围内时：先提供解决方案，但如果客户坚持要人工则立即升级 - 政策模糊时升级（如客户要求竞争对手价格匹配但政策只涉及自有平台调价） - 工具返回多个匹配时要求额外标识符，而非基于启发式猜测 **实操技能：** - 在系统提示中添加明确升级标准 + few-shot 示例 - 客户明确要求人工时立即响应 - 政策空白或沉默时主动升级 ### TS 5.3: 在多代理系统中实现错误传播策略 **核心知识：** - 结构化错误上下文：失败类型 + 尝试的查询 + 部分结果 + 替代方案 - 区分访问失败（超时需重试）和有效空结果（查询成功无匹配） - ❌ 反模式：泛化错误状态（"搜索不可用"）隐藏有价值的上下文 - ❌ 反模式：静默抑制错误（返回空结果作为成功）或单一失败终止整个工作流 **实操技能：** - 返回含失败类型、尝试的操作、部分结果和替代方案的结构化错误上下文 - 在错误报告中区分访问失败和有效空结果 - 子代理本地处理瞬时失败，仅传播无法解决的错误（含已尝试内容和部分结果） - 在合成输出中标注覆盖范围（哪些发现有充分支持、哪些有缺口） ### TS 5.4: 在大型代码库探索中有效管理上下文 **核心知识：** - 上下文退化：扩展会话中模型开始给出不一致答案，引用"典型模式"而非早期发现的具体类 - 草稿本文件（scratchpad files）跨上下文边界持久化关键发现 - 子代理委派：隔离冗长探索输出，主代理维持高层理解 - 结构化状态持久化：每个代理导出状态到已知位置，协调器在恢复时加载清单 **实操技能：** - 生成子代理调查具体问题（"找到所有测试文件"、"追踪退款流程依赖"） - 维护草稿本文件记录关键发现，后续问题引用这些记录 - 在生成子代理前汇总关键发现，注入初始上下文 - 使用 `/compact` 减少上下文使用 ### TS 5.5: 设计人工审查工作流和置信度校准 **核心知识：** - 聚合准确率（如 97%）可能掩盖特定文档类型或字段的低性能 - 分层随机抽样测量高置信度提取的错误率 - 字段级置信度分数通过标注验证集校准 - 在按文档类型和字段段验证一致性能前不要自动化 **实操技能：** - 实现分层随机抽样进行持续错误率测量 - 按文档类型和字段分析准确率 - 模型输出字段级置信度分数，校准审查阈值 - 将低置信度或源矛盾的提取路由到人工审查 ### TS 5.6: 在多源合成中保留信息溯源和处理不确定性 **核心知识：** - 摘要步骤中源归属丢失（压缩时丢失 claim-source 映射） - 结构化 claim-source 映射是合成代理必须保留和合并的 - 冲突统计数据：标注冲突 + 源归属，而非随意选择一个值 - 时间数据：要求在结构化输出中包含发布/收集日期 **实操技能：** - 要求子代理输出结构化 claim-source 映射（源 URL、文档名、相关摘录） - 报告中区分确立的发现和有争议的发现 - 保留原始源表述和方法论上下文 - 不同内容类型用适当形式呈现（财务数据 → 表格，新闻 → 散文） ## Step 2: 实操练习 ### 练习：构建带错误传播的协调器 **步骤：** 1. 创建一个协调器 + 两个子代理 2. 模拟子代理超时场景 3. 验证协调器能获取结构化错误上下文（失败类型、已尝试的查询、部分结果） 4. 验证协调器能用部分结果继续处理 5. 用相互冲突的信息源测试，验证输出标注冲突而非随意选择 ## Step 3: 知识检查 出 3 道模拟题： - 客户要求人工代理时应该怎么做？（答案：立即升级，不要先尝试解决） - 子代理超时后最佳错误传播方式？（答案：返回结构化错误上下文含部分结果） - 渐进式摘要丢失交易数据怎么修复？（答案：持久化"案例事实"块） ## 导航 - 上一领域：`/cca-domain4`（提示工程与结构化输出） - 模拟测验：`/cca-quiz` - 返回总览：`/cca`