6.8 KiB
1
上传的文件是Codex帮我准备的新输入,我看了下没有发现问题。你也检查下,看是否有问题,有补充。
我检查了 Round04_blind_input_candidates_2026-06-18.md。整体判断:可以进入 Round 04 冻结前准备,当前 30 条候选没有硬伤。
这份文件的边界写得是对的:它只准备候选输入,不运行 selector、不添加 expected selector behavior、不修改 selector rules、不加入 regression、不升级模型状态;并且明确 category 只是 owner review 的覆盖标签,不是答案 key。
1. 总体评价
建议:保留当前 30 条,另补 6-8 条候选,最终冻结 32-36 条。
当前输入池覆盖了八类:
- 明确 no-call:查事实、翻译、润色、格式化、直接执行;
- QPI 轻量问题定性;
- 组织治理 / 责任 / 共识;
- 容量 / 资源 / 路径;
- 模型抽取 / 深度建模;
- 明确拒绝思想考古但允许 QPI;
- 可能进入思想考古;
- 模糊短句 / 低上下文。
这个结构是符合 Round 04 目标的:先测路由,不测答案质量。
2. 没有明显问题的部分
no-call 组合理
R04-BI-001 到 005 覆盖了事实查询、翻译、润色、格式转换、JSON 压缩,都是典型 no-call。这里不用改。
QPI 轻量问题定性组合理
R04-BI-006 到 009 都比较自然,没有直接说“调用 QPI”,但语义上会诱发问题定性。R04-BI-009 稍微有点像 QPI 标签化表达,因为用了“简单问题、复杂问题、组织议题”,但可以保留,它适合作为 semi-leading 样本。
组织治理 / 资源路径组合理
R04-BI-010 到 017 覆盖了责任不清、共识缺口、权责冲突、产能不足、最小路径、系统权限、时间资源不足。这个组很适合测试 QPI 是否能区分 path_resource 和 consensus_order。
低上下文组很好
R04-BI-028 到 030 很重要。它们可以测试 QPI 是否会在信息不足时仍然过度自信。保留。
3. 需要注意但不必删除的地方
R04-BI-021 和 R04-BI-025 暴露了模型名
先不要思想考古,只判断这是不是一个 QPI 意义上的问题。
QPI 已经判断这是中重型课题,现在请继续分析它背后的底层假设、生成机制和长期稳定结构。
这两条不是问题,但要标记为:model-name-exposed control cases。
也就是说,它们不是真正自然盲测输入,而是用于测试显式模型指令是否被正确处理。保留 1-2 条是合理的,但不要让这类输入占比过高。当前只有 2 条,可以接受。
R04-BI-018 偏明显
请从这篇长文里抽取一个可复用的认知模型,重点看它的核心机制和适用边界。
这条很可能触发模型抽取 / 深度建模,属于明显正例。保留,但它更像 positive control,不是自然边界样本。
R04-BI-026 反而很有价值
这个现象反复出现在不同项目里,我想知道它背后的思想结构是什么,而不是只做问题分类。
这条不直接说“思想考古”,但语义上可能应该进入 IA 或至少进入 QPI→IA。保留,它比 R04-BI-025 更像真实输入。
4. 我建议补充的候选输入
当前输入池还缺几类 03.2 / 03.2a 刚修过的关键陷阱。建议新增 6-8 条,作为 Round 04 候选,不要提前写 expected behavior。
补充 A:普通 how-to no-call
R04-BI-031
category_for_owner_review: explicit_no_call_how_to
input_text: `如何在 Excel 里冻结首行?`
why_included: Tests whether generic how-to stays outside QPI after broad "如何" gate was narrowed.
R04-BI-032
category_for_owner_review: explicit_no_call_how_to
input_text: `怎么把 Markdown 文件转成 PDF?`
why_included: Tests tool/how-to request as no-call.
补充 B:词义 / 判断类 no-call
R04-BI-033
category_for_owner_review: explicit_no_call_dictionary_judgment
input_text: `判断一下“alignment”在这句话里是什么意思。`
why_included: Tests whether ordinary word-meaning judgment avoids QPI over-selection.
补充 C:直接执行 + 分析 override
R04-BI-034
category_for_owner_review: direct_execution_with_analysis_override
input_text: `请把下面内容总结成三点,但不要只执行,先判断它背后的问题定义。`
why_included: Tests whether explicit analysis override can escape direct-execution no-call.
补充 D:深度限制但允许 QPI,不暴露模型名
R04-BI-035
category_for_owner_review: qpi_allowed_depth_limited
input_text: `不要深入分析,只判断这件事的主导稀缺是什么。`
why_included: Tests Round 03.2a depth-limiting override without naming QPI or IA.
R04-BI-036
category_for_owner_review: qpi_allowed_depth_limited
input_text: `不要展开到底层理论,只判断现在是缺信息、缺路径还是缺共识。`
why_included: Tests QPI-limited routing while rejecting deeper modeling.
补充 E:轻量增长类边界
这一类很重要,因为之前 如何提高流量 是 QPI low-confidence 的特殊校准点,Round 04 可以测它是否过度召回。
R04-BI-037
category_for_owner_review: ambiguous_growth_how_to
input_text: `如何提高这个账号的流量?`
why_included: Tests whether generic growth how-to is routed to QPI, no-call, or low-confidence provisional handling.
补充 F:真正 IA,但不说“底层假设”
R04-BI-038
category_for_owner_review: likely_intellectual_archaeology
input_text: `这类失败在不同项目里反复出现,我想抽出它背后稳定的生成机制和可迁移框架。`
why_included: Tests deeper modeling intent without explicit "思想考古" or "底层假设" wording.
5. 是否需要删除当前条目?
不建议删除。
如果一定要压缩到 30 条,我建议不是删,而是把 6-8 条补充候选放进“备用池”。但 Round 04 其实 36-38 条也可以接受,只要 Codex 不运行多轮推理、不写答案,只做 selector + QPI 路由输出,成本不会太高。
6. 冻结前建议
让 Codex 下一步做一个很小动作:
Create selector/round04_blind_inputs.json
Do not include expected_selector_behavior.
Do not include answer keys.
Preserve:
- input_id
- input_text
- owner_review_category
- source: round04_owner_reviewed_candidate
- notes: optional, non-answer-key only
同时保留 Markdown 说明文件作为人工审查记录。
7. 最终建议
当前文件可用。 我的建议是:当前 30 条全部保留,再补上我上面的 6-8 条,冻结为 Round 04 blind input pool。
下一步不是让 Codex改 selector,而是:
- 冻结 blind input JSON;
- 用当前 selector + QPI contract 跑第一轮;
- 输出 routing evaluation report;
- 再由我们评审失败类型。