1670 lines
64 KiB
Markdown
1670 lines
64 KiB
Markdown
# 1
|
||
|
||
之前你给Codex了三次指导，这个是Codex的第3轮反馈，现在开始第3次的评审。
|
||
以下文件已全部放入。
|
||
同时本次我提供了QPI的人工素材，Codex已经全部提炼并加工。
|
||
|
||
- `00_OPEN_THIS_FIRST_CCRA_REVIEW_BRIEF.md`
|
||
- `01_GUIDANCE_PACK_AND_COMPLIANCE_MATRIX.md`
|
||
- `02_CURRENT_ASSET_PACK.md`
|
||
- `03_REPORTS_DIFF_AND_COMMAND_LOG.md`
|
||
- `04_QPI_CASE_PROMOTION_SUMMARY_AND_REVIEW_GUIDE.md`
|
||
- `05_REVIEW_QUESTIONS_FOR_GPT.md`
|
||
- `BUNDLE_FILE_MANIFEST.md`
|
||
- `optional_raw_changed_files.zip`
|
||
|
||
现在检查Codex的工作成果，哪些还有问题，处理Codex的问题，下一步我们做什么？
|
||
|
||
# GPT
|
||
|
||
根据 2026-06-17 的 Round 03 审核包，我的评审结论是：**REVISE，不 block，但不能直接 pass**。
|
||
|
||
我理解这次评审暂时可以定义为：**判断 Codex 是否把 QPI 从静态模型卡推进到了可审计、可校准、可回归的 draft-callable 路由资产，同时不扩大 MVP 边界。**
|
||
|
||
## 1. 总判断
|
||
|
||
**Codex 本轮大方向是对的。**
|
||
它没有扩第三模型，没有升级 stable，没有引入 LLM selector、RAG、前后端、数据库或完整问答系统；QPI 和思想考古仍保持 `draft / B / pending`，这符合当前质量门。审核包也明确把 QPI 定义为“主体—场景—动态”的路由模型，而不是完整解决方案。
|
||
|
||
但本轮不能直接通过，原因是：**selector 的 no-call 安全性被高估了，报告层和实际资产层存在几处不一致，case promotion 已经足够进入 draft-callable 审查，但还没有足够稳到可以称为通过。**
|
||
|
||
我的结论可以写成：
|
||
|
||
> Round 03 framework and QPI case promotion are directionally accepted, but require a Round 03.1 patch before formal pass.
|
||
> QPI may remain “draft-callable” at report level only; model lifecycle state must stay `draft / B / pending`.
|
||
|
||
## 2. Codex 做对了什么
|
||
|
||
第一，**范围控制是合格的**。本轮仍然围绕 `model_library_mvp`，没有引入第三模型、stable 升级、LLM selector、完整问答系统、RAG、前后端或用户系统，这和既定边界一致。
|
||
|
||
第二，**QPI 的路由模型方向是正确的**。本轮把 QPI 从扁平文本分类推进到“某个认知主体在某个场景下，基于知识结构、责任位置、目标、资源和时间压力，对期望—现实落差做 Q/P/I/mixed/no-call 框定”，这比上一轮更接近系统可调用模型。
|
||
|
||
第三，**case promotion 的资产形态是有用的**。62 个 owner-reviewed QPI case digest、83 个 selector calibration input、46 个 QPI regression case、23 个新增组织年终场景 regression case，已经形成了一个可审计的 QPI 案例层。
|
||
|
||
第四，**没有把所有案例都强塞进 regression**。Codex 明确区分 digest、calibration、regression，只有边界、误用、防误召回和 selector-critical 的案例进入 regression，这个原则是对的。
|
||
|
||
## 3. 必须修的问题
|
||
|
||
### 问题 1：selector 当前会过度选择 QPI
|
||
|
||
这是本轮最大问题。
|
||
|
||
我解包检查了 `selector_rules.json` 和 `run_selector_demo.py`。当前 QPI 的 rule base score 是 `50`，再加上 `qpi.model.json` 里的 `selection_priority=9`，即使输入没有任何 QPI 正向触发词，也会得到约 `0.59` 分，高于 `no_call_threshold=0.35`。
|
||
|
||
这意味着，只要没有命中 hard no-call，很多普通执行任务都会被选中 QPI。例如：
|
||
|
||
```text
|
||
帮我把这些学生按宿舍容量排一下床位表。
|
||
谢谢。
|
||
请把下面内容总结成三点。
|
||
列出这段话的错别字。
|
||
```
|
||
|
||
这不是理论风险，而是当前规则的直接结果。
|
||
|
||
尤其严重的是，International College case 002 明确提到要配对一个“简单排床位执行 vs 容量治理问题”的 no-call trap，本轮说明也承认 international-college 多 1 条 calibration input 是因为加入了 simple logistics no-call trap。 但我检查规则后发现，这类输入没有命中 hard no-call，因此仍会选中 QPI。
|
||
|
||
**处理方式：**
|
||
|
||
Codex 需要修改 selector 逻辑，不要让 QPI 只靠 base_score + selection_priority 被选中。至少加一个规则：
|
||
|
||
```text
|
||
如果没有命中：
|
||
- QPI trigger keyword
|
||
- QPI gate signal
|
||
- complexity signal
|
||
- problem-definition task_type
|
||
- explicit analysis override
|
||
则 QPI 不得仅凭 base_score 被 selected。
|
||
```
|
||
|
||
或者把 QPI base_score 降到 20-25，并引入 `default_qpi_when_ambiguous_problem_input`，而不是“任何输入默认 QPI”。
|
||
|
||
---
|
||
|
||
### 问题 2：selector regression 覆盖太窄
|
||
|
||
报告显示 selector regression PASS，但只检查了 10 条 case；而本轮 calibration inputs 已经有 83 条，QPI regression 有 46 条。当前 PASS 只能证明“这 10 条没有失败”，不能证明 selector 对新增 QPI owner case 层已经稳。
|
||
|
||
尤其是上面提到的 simple logistics no-call trap，应该进入 selector regression，而不是只留在 calibration。
|
||
|
||
**处理方式：**
|
||
|
||
Codex 要新增一个 calibration smoke test：
|
||
|
||
```text
|
||
遍历 selector_calibration_inputs.json：
|
||
- expected_selector_behavior = no_call / no_call_or_low_priority 时，不得 selected qpi；
|
||
- expected_selector_behavior = select_qpi 时，必须 selected qpi；
|
||
- expected_selector_behavior = select_intellectual_archaeology 时，必须满足 IA heavy gate 或 QPI 已判断条件。
|
||
```
|
||
|
||
不需要马上让所有 calibration 都变成正式 regression，但至少 no-call / low-priority 类必须自动检查。
|
||
|
||
---
|
||
|
||
### 问题 3：`multi_perspective` 与 `classification_by_viewpoint` 没有被强约束
|
||
|
||
QPI 输出契约里有 `classification_scope` 和 `classification_by_viewpoint`，这是合理的。Codex 也把 `classification_scope`、`is_provisional`、`context_sufficiency`、`missing_context` 等字段列入 runtime required fields。
|
||
|
||
但实际 case digest 中，多个 `classification_scope=multi_perspective` 或 `mixed_or_multi_perspective=inter_viewpoint_divergence` 的案例，并没有结构化填写 `classification_by_viewpoint`。只有 International College case 004 这类样本比较完整。
|
||
|
||
这会造成一个问题：系统知道“这是多视角分歧”，但不知道“哪些视角分别如何分类”。
|
||
|
||
**处理方式：**
|
||
|
||
增加 validator 规则：
|
||
|
||
```text
|
||
if classification_scope == "multi_perspective":
|
||
classification_by_viewpoint must be non-empty
|
||
```
|
||
|
||
如果 digest 层不想完整写，也至少要有 `viewpoint_summary`，否则后续无法审查 inter-viewpoint divergence 是否真的成立。
|
||
|
||
---
|
||
|
||
### 问题 4：`intra_frame_mixed` 命名容易和 `classification=mixed` 混淆
|
||
|
||
本轮区分 `intra_frame_mixed` 和 `inter_viewpoint_divergence` 的方向是对的。Codex 提出 Research Office case 002 从 `inter_viewpoint_divergence` 改为 `intra_frame_mixed`，这个判断我接受；它主要是同一组织框架内把真实科研能力、人员身份、成本证据、合规真实性混在一起，而不是多个主体各自拥有完全不同的问题定义。
|
||
|
||
但当前字段名 `mixed_or_multi_perspective` 容易让人误解：
|
||
有些 case 是 `mixed_or_multi_perspective=intra_frame_mixed`，但 `classification=issue`，这不是一定错误，因为它可以表示“内部有多类稀缺，但主导分类仍是 issue”。不过这个语义需要写清楚。
|
||
|
||
**处理方式：**
|
||
|
||
把字段改名或补充注释：
|
||
|
||
```text
|
||
qpi_complexity_pattern:
|
||
- not_mixed
|
||
- intra_frame_mixed
|
||
- inter_viewpoint_divergence
|
||
```
|
||
|
||
并明确：
|
||
|
||
```text
|
||
qpi_complexity_pattern = intra_frame_mixed
|
||
不必然等于 classification = mixed。
|
||
classification 表示最终路由分类；
|
||
qpi_complexity_pattern 表示判断结构复杂性。
|
||
```
|
||
|
||
---
|
||
|
||
### 问题 5：`misframing_risks` 与 `misclassification_risk` 存在契约漂移
|
||
|
||
QPI structured output contract 使用的是 `misclassification_risk`。但 case digest 层大量使用 `misframing_risks`。这两个词语义接近，但系统调用时不能靠人脑自动对齐。
|
||
|
||
**处理方式：**
|
||
|
||
二选一：
|
||
|
||
```text
|
||
方案 A：digest 层统一改为 misclassification_risk
|
||
方案 B：保留 misframing_risks，但加字段映射：
|
||
misframing_risks -> structured_output_contract.misclassification_risk
|
||
```
|
||
|
||
我建议方案 A。现在模型库还小，不要提前制造别名债务。
|
||
|
||
---
|
||
|
||
### 问题 6：Research Office case 006 应进入 regression，而不是只留 calibration
|
||
|
||
Codex 把 Research Office case 006 判为：
|
||
|
||
```text
|
||
classification: problem
|
||
dominant_scarcity: path_resource
|
||
governance_risk: medium
|
||
```
|
||
|
||
这个判断我接受。它和 International College case 002 的差异是：前者仍以硬容量、空间、设施、路径资源为主；后者因为跨单元挤占、增长承诺、交付风险和组织仲裁缺失，进入 P/I mixed。
|
||
|
||
但正因为这个区别高风险，Research Office case 006 应该进 regression。否则模型很容易以后把所有“容量 + 治理风险”的输入都升维成 Issue。
|
||
|
||
**新增 regression：**
|
||
|
||
```text
|
||
case_qpi_research_capacity_problem_not_issue_001
|
||
|
||
input:
|
||
增长活动已经承诺，但物理空间、床位、设施和服务容量不足。现在主要问题是硬容量无法被行政命令解决，虽然继续扩张会带来治理风险。
|
||
|
||
expected_classification:
|
||
problem
|
||
|
||
expected_dominant_scarcity:
|
||
path_resource
|
||
|
||
failure_signal:
|
||
直接升维为 issue，忽略硬资源约束仍是主导稀缺。
|
||
```
|
||
|
||
---
|
||
|
||
### 问题 7：报告和资产有几处状态不同步
|
||
|
||
我在 raw zip 里看到几个同步问题：
|
||
|
||
1. `qpi.md` 仍写着“当前已有五条回归用例”，但 current asset pack 已经说 QPI regression 是 46 条。
|
||
2. `qpi.md` 的 `last_updated` 仍是 `2026-06-16`，但 Round 03 在 `2026-06-17` 已经改了 QPI contextual routing、case promotion 和 selector calibration。
|
||
3. `content_review_report_v0.2.md` 仍写 QPI regression 17 条，这是 case promotion 前的状态，不再等于当前状态。
|
||
4. optional raw zip 是扁平文件，并且出现两个 `README.md`，如果解压会有覆盖风险。
|
||
5. compliance matrix 声称 IA required runtime fields 已完成，但 optional raw changed files 没有包含 `intellectual_archaeology.model.json` 和 `cards/intellectual_archaeology.md`，所以我无法独立核对 IA model/card 当前内容。
|
||
6. command log 也说明 working tree 尚未 staged/committed，并存在 untracked artifacts。
|
||
|
||
这些不是模型逻辑 blocker，但会影响交接可信度。
|
||
|
||
**处理方式：**
|
||
|
||
Codex 下一包必须：
|
||
|
||
```text
|
||
- 保留目录路径打 zip，不要扁平化；
|
||
- 不要出现重复 README.md；
|
||
- 包含 run_selector_regression.py；
|
||
- 如果报告声称 IA contract 已验证，则附 intellectual_archaeology.model.json 和 cards/intellectual_archaeology.md，哪怕未改；
|
||
- 更新 qpi.md 的 regression count、last_updated、case layer 状态；
|
||
- content_review_report_v0.2.md 要标记为 pre-case-promotion，或更新为 v0.3。
|
||
```
|
||
|
||
## 4. 对 Codex 提问的逐项答复
|
||
|
||
**1. QPI v0.3 contextual routing fields 是否正确？**
|
||
基本正确。`classification_scope`、`is_provisional`、`subject_position`、`scenario_context`、`responsibility_scope`、`context_sufficiency`、`missing_context` 是必要字段。它们把 QPI 从文本分类推进到了上下文路由。问题是还缺“字段间约束”。
|
||
|
||
必须补：
|
||
|
||
```text
|
||
if context_sufficiency == low:
|
||
is_provisional = true
|
||
classification_confidence != high
|
||
missing_context non-empty
|
||
|
||
if classification_scope == multi_perspective:
|
||
classification_by_viewpoint non-empty
|
||
|
||
if classification == no_call:
|
||
recommended_next_step = 不调用
|
||
```
|
||
|
||
**2. 这些字段是否足以防止 false high-confidence classification？**
|
||
字段本身不足。只有 validator 强制依赖关系后才足够。现在是“有字段”，不是“字段能防错”。
|
||
|
||
**3. `intra_frame_mixed` 和 `inter_viewpoint_divergence` 是否分得对？**
|
||
概念方向对，个别案例判断也基本对。但 digest 层需要更强结构化，尤其是 inter-viewpoint divergence 必须列出不同 viewpoint 的 classification。
|
||
|
||
**4. Issue-as-governance-load 是否可接受？**
|
||
可接受，但必须加边界：
|
||
不是只要出现治理负荷就是 Issue。硬资源、硬路径、硬容量仍可能主导 Problem。Research Office case 006 就应该作为“不要过度升维”的保护用例。
|
||
|
||
**5. hard no-call signals 是太宽还是太窄？**
|
||
两者都有。
|
||
|
||
太窄：`帮我把……排一下`、`整理成表格`、`总结成三点` 这类直接执行任务没有被挡住。
|
||
太宽：`润色`、`翻译`、`生成图片` 如果出现在“不要只是润色，请分析背后问题”这类混合请求里，可能误杀。虽然现在有 override phrases，但还不够系统。
|
||
|
||
**6. IA heavy-depth gate 是否足够？**
|
||
方向正确，但证据不足。报告显示 Codex 曾经遇到 IA 被普通复杂 QPI 输入误召回，于是降低 IA base score、提高 no-heavy penalty。 这说明 gate 是必要的，但当前 selector regression 太少，不能说“已经足够”。
|
||
|
||
**7. 62 个 QPI case digest 是否忠实？**
|
||
从我抽查的 International College 和 Research Office 高风险案例看，核心 owner 决策基本被保留了。比如 International College case 002 保留 mixed + path_resource，Research Office case 002 改为 intra_frame_mixed，International College case 006 上调为 trust-system Issue，这些都和 review guide 一致。
|
||
|
||
但我不建议现在给“逐条完全忠实”的结论，因为还需要 Codex 补一个 `digest_traceability_check`：每个 digest 应该能回指 `.cases.md` 的 owner decision 段落。
|
||
|
||
**8. 23 个新增组织 QPI regression 是否合适？**
|
||
大体合适，但漏了至少两类高价值 trap：
|
||
|
||
```text
|
||
- International College case 002 的 simple logistics no-call trap
|
||
- Research Office case 006 的 Problem-not-Issue boundary trap
|
||
```
|
||
|
||
另外建议再加一条：
|
||
|
||
```text
|
||
multi_perspective_requires_classification_by_viewpoint
|
||
```
|
||
|
||
**9. 有没有过度 promotion？**
|
||
没有严重过度 promotion。Research Office case 001 作为 umbrella regression 可以保留，因为它保护“研究身份模拟”这个高层误框定。但需要标记它是 umbrella，不要把它当成普通局部 case。
|
||
|
||
**10. no-call calibration 是否窄而安全？**
|
||
目前不安全。不是因为 no-call 样本错，而是 selector scoring 让 QPI 默认分太高。必须先修 selector。
|
||
|
||
## 5. 给 Codex 的 Round 03.1 修补指令
|
||
|
||
可以把下面这段直接交给 Codex。
|
||
|
||
```text
|
||
Round 03.1 Patch Scope
|
||
|
||
Do not add a third model.
|
||
Do not upgrade QPI or Intellectual Archaeology to stable.
|
||
Do not introduce LLM selector, RAG, database, frontend, backend, or full QA system.
|
||
This patch only fixes selector behavior, regression coverage, contract consistency, and review bundle hygiene.
|
||
|
||
Required fixes:
|
||
|
||
1. selector/run_selector_demo.py
|
||
- QPI must not be selected only by base_score + selection_priority.
|
||
- Add a positive-signal requirement unless task_type/pipeline_position explicitly says problem definition.
|
||
- Direct execution inputs such as “帮我把…排一下”, “整理成表格”, “总结成三点”, “列出”, “格式化”, “改成”, “只要清单” should no-call or low-priority unless explicit analysis override exists.
|
||
- Preserve explicit analysis override behavior.
|
||
|
||
2. selector/selector_rules.json
|
||
- Lower QPI base_score or introduce a separate default_qpi_when_ambiguous_problem_input rule.
|
||
- Normalize rule-level selection_priority scale. Do not use 95/80 if model schema uses 1-10, or clearly mark rule priority as selector_weight_priority.
|
||
- Add direct_execution_no_call_signals.
|
||
- Keep IA heavy-depth gate.
|
||
|
||
3. tests/qpi.regression.json
|
||
Add:
|
||
- case_qpi_international_logistics_no_call_001
|
||
- case_qpi_research_capacity_problem_not_issue_001
|
||
- case_qpi_multi_perspective_requires_viewpoint_output_001
|
||
- case_qpi_low_context_provisional_no_high_confidence_001
|
||
- case_qpi_direct_summary_no_call_001
|
||
- case_qpi_analysis_override_should_call_001
|
||
|
||
4. tests/regression_cases.json
|
||
- Sync all new QPI cases into aggregate file.
|
||
|
||
5. selector calibration smoke test
|
||
- Add a script or test that checks selector_calibration_inputs.json.
|
||
- For expected_selector_behavior = no_call / no_call_or_low_priority, QPI must not be selected.
|
||
- For select_qpi, QPI must be selected.
|
||
- Report failures separately from full regression.
|
||
|
||
6. qpi_case_digests.json
|
||
- Normalize misframing_risks to misclassification_risk, or add explicit alias mapping.
|
||
- If classification_scope = multi_perspective, require classification_by_viewpoint or viewpoint_summary.
|
||
- Rename or document mixed_or_multi_perspective as qpi_complexity_pattern.
|
||
|
||
7. qpi.md and reports
|
||
- Update qpi.md regression count from stale 5-case wording.
|
||
- Update last_updated if QPI card changed in Round 03.
|
||
- Update content_review_report_v0.2.md to v0.3 or mark it as pre-case-promotion.
|
||
- Ensure report counts match current asset pack.
|
||
|
||
8. review bundle hygiene
|
||
- Preserve source paths in optional_raw_changed_files.zip.
|
||
- Remove duplicate README collision.
|
||
- Include run_selector_regression.py.
|
||
- Include intellectual_archaeology.model.json and cards/intellectual_archaeology.md if IA contract completion is claimed.
|
||
- Exclude __pycache__.
|
||
- Provide clean git status or explicit untracked artifact list.
|
||
```
|
||
|
||
## 6. 下一步我们做什么
|
||
|
||
**现在不进入第四模型，不做平台，不做 RAG，不做前后端。**
|
||
|
||
下一步应该是一个很小的修补回合：**Round 03.1 selector/no-call/regression patch**。
|
||
|
||
我建议顺序如下：
|
||
|
||
1. 让 Codex 先修上面的 Round 03.1，不要做任何新功能。
|
||
2. Codex 回传一个小包，只包含 selector、regression、qpi digest/schema/report 同步相关文件。
|
||
3. 我们再做一次短评审。通过后，把 Round 03 正式定为：
|
||
**QPI case layer accepted for draft-callable calibration; lifecycle remains draft/B/pending。**
|
||
4. 然后进入 Round 04：
|
||
**QPI 内容稳定化与真实输入 blind test**，用 20-30 条你没有提前标注的新输入测试 QPI 是否稳定区分 Q/P/I/mixed/no-call。
|
||
5. Round 04 之后再处理思想考古学的深度门，不要和 QPI selector 修补混在一起。
|
||
|
||
最终判断：**Codex 这轮不是失败，而是“工程框架基本成型，但 selector 安全门还没真正关上”。先小修，不返工。**
|
||
|
||
# 2
|
||
|
||
尽管参与了整个建设，包括QPI，思想考古都来自于我的文章，我还提供了8个QPI的原始素材案例，协助Codex做审核提炼。
|
||
但是当前项目的运作机制，我还没有完全搞清楚。
|
||
我不禁会想，“我的原始文章加素材总共不超过10万字，现在这个项目已经1100多个文件，1.67M大小，用的Tokens更是几千万，我们在做什么？”
|
||
|
||
能不能出一个说明文档，我们的“数据治理”思路，运作机制，包括这些Selector、regression是在做什么，及将来QPI会怎么用起来。
|
||
这个只是我想到的，你可以在这个基础上更丰富充分一些。
|
||
这个文档既可以我自己阅读，对齐思路，也可以交给别人去从0了解。
|
||
|
||
根据 2026-06-17 的 Round 03 包和 2026-06-16 的长期治理协议，我已经写了一份说明文档。它不是只解释 QPI，而是解释：**以 QPI 为样板，你的自有认知模型如何从文章和素材变成可调用、可测试、可治理的软件资产**。当前项目本来就定位为 `model_library_mvp`，目标是验证少量核心模型能否被整理成人读 Markdown、机器 JSON、来源证据、回归测试、最小规则 selector 和本地校验对象，而不是做完整前端、后端、RAG 或平台。
|
||
|
||
文档已生成：
|
||
|
||
[下载：CCRA_数据治理与模型调用机制说明_v0.1.md](sandbox:/mnt/data/CCRA_数据治理与模型调用机制说明_v0.1.md)
|
||
|
||
这份文档的核心判断是：
|
||
|
||
> 我们不是在用几千万 tokens “处理十万字材料”，而是在把文章中隐含的认知模型编译成可追溯、可审查、可调用、可拒绝调用、可回归测试、可交给运行时系统使用的软件资产。
|
||
|
||
我在文档里专门解释了几件事：
|
||
|
||
1. **为什么文件会变多**
|
||
原始文章只是“原矿”。要成为模型库资产，还需要来源记录、证据片段、人读模型卡、机器模型卡、输出契约、调用规则、selector、calibration、regression、validation、review bundle。模型抽取链路本身就要求从原始文章进入 source、excerpt、Markdown card、JSON card、regression、selector、index、validation、CCRA review，而不是做文章摘要。
|
||
|
||
2. **数据治理到底治理什么**
|
||
文档把治理分成来源治理、结构治理、调用治理、输出治理、边界治理、生命周期治理。核心是防止模型后续漂移成“看起来像你的思想，但已经无法回到原文，也无法稳定调用”。
|
||
|
||
3. **selector 在做什么**
|
||
selector 被定义为模型库的入口调度器和误召回防火墙。它不负责回答问题，而是判断当前输入是否需要模型加工、该调用哪些模型、哪些模型必须拒绝、是否命中 no-call、每个模型的分数和理由是什么。当前 selector 仍是 rule-based，不是 LLM selector；这符合当前阶段“先可审计，再智能化”的原则。
|
||
|
||
4. **regression 在做什么**
|
||
regression 不是普通样例库，而是模型边界保护机制。它检查该调用时是否调用、不该调用时是否拒绝、是否把 Q/P/I/mixed/no-call 判错、是否过度下潜、是否过度升维、selector 是否误召回。协议里也明确 regression 要覆盖 positive、boundary、misuse、no_call、selector_gate、pipeline。
|
||
|
||
5. **digest、calibration、regression 的区别**
|
||
我把 `.cases.md`、case digest、calibration input、regression case 分开解释：
|
||
`.cases.md` 是人读审阅稿；digest 是可审计案例摘要；calibration 是给 selector 调方向；regression 是以后每次改规则都要守住的边界钉子。Round 03 当前已有 62 个 QPI case digest、83 个 selector calibration input、46 个 QPI regression case、23 个新增组织年终场景 regression case。
|
||
|
||
6. **QPI 未来怎么用起来**
|
||
QPI 被放在“模型如何用起来”的代表位置，而不是文档中心。文档解释了 QPI 作为前置路由模型，会在用户输入后判断主体、场景、责任范围、期望—现实落差、主导稀缺物，然后输出 Q / P / I / mixed / no-call、置信度、证据缺口、误分类风险和下一步模型候选。Round 03 也明确 QPI 是 subject-context-dynamic routing，不是扁平文本分类，也不是完整解决方案系统。
|
||
|
||
7. **思想考古学和未来其他模型怎么用起来**
|
||
文档第 10、11、12 节专门写了：未来所有模型都要具备人读解释、机器定义、来源证据、调用规则、输出契约、回归案例、审核状态。思想考古学被定义为中重型问题的深度建模模型，不是默认深挖流程；必须遵守最小充分下潜原则。
|
||
|
||
8. **这个文档应该放哪里**
|
||
我建议把它放进：
|
||
`knowledge_assets/09_数据治理与模型调用机制说明.md`
|
||
理由是它回答的是“以后一直怎么做”，不是某一轮临时 PASS/FAIL。现有质量门文件也明确：长期背景、核心模型地图、模型卡结构规范、稳固性评级、产品规划过程记录、长期指导协议适合进入知识库；本轮 validation report、command log、临时 changed files manifest 等不适合进入知识库。
|
||
|
||
我建议下一步让 Codex 不要扩新模型，先做两个小动作：第一，把这份说明文档入库；第二，按它补一个 `docs/FILE_TAXONOMY.md`，把 canonical、generated、review archive、temporary 四类文件身份明确下来。这样你看到 1100 个文件时，就能知道哪些是真正模型资产，哪些只是过程证据或可清理产物。
|
||
|
||
# 3
|
||
|
||
我没有把前面说明文档直接入库，而是去掉了`对话式答复、临时质疑回应和 Round 03.1 当时性的建议`。
|
||
现在你的知识库里有这个`09_数据治理与模型调用机制说明`。
|
||
|
||
Round 3.1相关内容已经全部上传了。现在请检查3.1的修复情况。
|
||
为了避免与之前回合的文档发生同名冲突，我在文件名末尾加了`03.1`
|
||
|
||
|
||
判断下一步我们做什么。
|
||
|
||
|
||
## 核心判断
|
||
|
||
**Round 03.1 结论：REVISE，不 block。**
|
||
|
||
Codex 这轮确实修掉了 Round 03 最大的问题：**QPI 不能再只靠 base_score + selection_priority 被默认选中**。直接执行类输入、简单排床位、摘要、表格整理、窄义翻译、事实查询这些 no-call 场景也明显补强了。03.1 的包声明本轮只修 selector 过度选择、direct-execution no-call、calibration smoke、QPI regression、digest 字段漂移、QPI card 计数和 review bundle hygiene，不扩第三模型、不升 stable、不加 LLM selector、不做 RAG/前后端，这个范围控制是合格的。
|
||
|
||
但是还不能 pass，因为我解包实测后发现一个新的关键漏洞：**IA / 思想考古的负触发还不是硬拒绝。用户明确说“先不要思想考古”时，在特定句式下仍然可能选中思想考古。** 这说明 03.1 已经解决 QPI 过召回，但还没完全解决“模型级拒绝调用”的治理问题。
|
||
|
||
所以我的判断是：
|
||
|
||
> 03.1 大方向通过，修复有效；但需要一个极小的 03.2 selector negative-gate patch。
|
||
> 不需要返工，不进入新模型，不进入平台化，但也不要直接进入 Round 04 blind test。
|
||
|
||
---
|
||
|
||
## 1. 03.1 已经修好的部分
|
||
|
||
### 1.1 QPI 默认过度选择基本修掉了
|
||
|
||
03.1 把 QPI rule base score 降到 25，并加入 `qpi_missing_positive_signal_penalty`。现在 QPI 需要正向信号，不能只靠基础分和优先级进入 selected。Patch matrix 也明确说 QPI 不得仅靠 base_score + selection_priority 被选中，并已加入 direct execution no-call signals。
|
||
|
||
我实测这些输入现在都不会选 QPI：
|
||
|
||
```text
|
||
帮我把这些学生按宿舍容量排一下床位表。
|
||
请把下面内容总结成三点。
|
||
列出这段话的错别字。
|
||
谢谢。
|
||
这个政策有没有提到补贴？
|
||
生成图片：一个猫。
|
||
```
|
||
|
||
这说明上轮我指出的 “QPI 被默认召回” 主问题已经被有效压下去。
|
||
|
||
### 1.2 calibration smoke 已经有价值
|
||
|
||
03.1 新增 `scripts/run_selector_calibration_smoke.py`，并检查了 85 条 calibration inputs；命令日志显示 selector calibration smoke PASS，85 条全部检查。
|
||
|
||
这一步应该保留为长期 gate。它的价值是：以后 selector 改权重、改触发词、改 no-call 时，不只跑 7 条 selector regression，而是把 calibration 层也过一遍。
|
||
|
||
不过这个 smoke test 还要加强，后面说。
|
||
|
||
### 1.3 QPI regression 扩展是合格的
|
||
|
||
03.1 新增了 6 条我上轮要求的 QPI regression：
|
||
|
||
```text
|
||
case_qpi_international_logistics_no_call_001
|
||
case_qpi_research_capacity_problem_not_issue_001
|
||
case_qpi_multi_perspective_requires_viewpoint_output_001
|
||
case_qpi_low_context_provisional_no_high_confidence_001
|
||
case_qpi_direct_summary_no_call_001
|
||
case_qpi_analysis_override_should_call_001
|
||
```
|
||
|
||
当前 QPI regression 是 52 条，aggregate regression 是 69 条，单元测试报告为 17 tests。
|
||
|
||
这一步补得对，尤其是：
|
||
|
||
* simple logistics no-call；
|
||
* Research Office capacity problem not issue；
|
||
* low context 不得 high confidence；
|
||
* multi-perspective 必须有 viewpoint trace；
|
||
* analysis override 可以覆盖直接执行 no-call。
|
||
|
||
这些都是高价值边界钉子。
|
||
|
||
### 1.4 digest 字段漂移基本解决
|
||
|
||
`misframing_risks` 已统一为 `misclassification_risk`，`mixed_or_multi_perspective` 已改为 `qpi_complexity_pattern`，并且 validator 要求 multi-perspective digest 必须有 `classification_by_viewpoint` 或 `viewpoint_summary`。Patch matrix 也列明这几项已完成。
|
||
|
||
我检查 raw zip 里的 `qpi_case_digests.json`：
|
||
|
||
* 旧字段 `misframing_risks`：0 个；
|
||
* 旧字段 `mixed_or_multi_perspective`：0 个；
|
||
* `qpi_complexity_pattern` 三类都有；
|
||
* 10 个 multi-perspective / inter-viewpoint divergence case 都已有 viewpoint detail 或 viewpoint summary。
|
||
|
||
这部分可以接受。
|
||
|
||
### 1.5 review bundle hygiene 明显改善
|
||
|
||
03.1 的 raw zip 保留了 source-relative paths，不再是扁平 zip；IA model/card 也被包含进来；`knowledge_assets/` 被排除在 review zip 外，因为你已经手动同步长期知识资产。manifest 对这个策略也写得清楚。
|
||
|
||
这比 Round 03 好很多。
|
||
|
||
---
|
||
|
||
## 2. 仍然存在的问题
|
||
|
||
### 问题 1：IA 负触发不是硬拒绝
|
||
|
||
这是必须修的问题。
|
||
|
||
命令日志说，Codex 加了 `先不要思想考古` 作为 IA negative trigger，用来保护 QPI-before-IA routing。 但我实测发现：
|
||
|
||
```text
|
||
QPI 已判断：这是 Issue。先不要思想考古，只做问题定性复核。
|
||
```
|
||
|
||
当前结果仍可能选中：
|
||
|
||
```text
|
||
selected = ["qpi", "intellectual_archaeology"]
|
||
```
|
||
|
||
原因是：
|
||
|
||
* “思想考古”同时命中 IA trigger；
|
||
* “思想考古”也命中 IA heavy signal；
|
||
* “QPI 已判断”又给 IA 加分；
|
||
* negative penalty 虽然扣分，但不够把 IA 打到 threshold 以下。
|
||
|
||
所以这里不是触发词缺失，而是机制问题：
|
||
|
||
> 对某个模型的明确拒绝语，不应该只是 penalty，而应该是 model-level hard exclusion。
|
||
|
||
也就是说：
|
||
|
||
```text
|
||
不要思想考古
|
||
先不要思想考古
|
||
不要调用思想考古
|
||
只做 QPI，不做思想考古
|
||
```
|
||
|
||
应该直接 reject `intellectual_archaeology`，除非用户后文明确反转，例如“刚才说错了，现在请做思想考古”。
|
||
|
||
### 问题 2：calibration smoke 现在还不够严格
|
||
|
||
目前 smoke test 对 `expected_selector_behavior = no_call / no_call_or_low_priority` 的检查逻辑主要是：
|
||
|
||
```text
|
||
不能选 qpi
|
||
```
|
||
|
||
但严格来说，no-call 应该检查：
|
||
|
||
```text
|
||
selected_models == []
|
||
no_call == true
|
||
```
|
||
|
||
否则未来可能出现一种漏洞：QPI 没选，但 IA 被误选，smoke 仍然 PASS。
|
||
|
||
这次实际 85 条 no-call 并没有出现这个问题，但测试逻辑本身还不够硬。既然它要成为长期 gate，就应该现在补强。
|
||
|
||
### 问题 3：`如何` / `判断` 仍然过宽
|
||
|
||
我实测：
|
||
|
||
```text
|
||
如何在 Excel 里冻结首行？
|
||
如何把 Markdown 转 PDF？
|
||
判断这个词是什么意思。
|
||
```
|
||
|
||
当前仍会选 QPI。
|
||
|
||
原因是 `qpi_gate_signals` 里有非常宽的词：
|
||
|
||
```text
|
||
如何
|
||
判断
|
||
```
|
||
|
||
这在组织治理、模型调用、问题定性语境里有用，但在普通工具问答和事实问答里太宽。它会把普通 how-to / dictionary / tutorial 输入误路由到 QPI。
|
||
|
||
这不是 03.1 的核心 blocker，因为当前项目还不是完整问答系统；但如果下一步要做 blind test，这个问题一定会暴露。
|
||
|
||
建议把它从单词级信号改成复合信号，例如：
|
||
|
||
```text
|
||
如何判断这是什么问题
|
||
如何定义这个问题
|
||
如何路由
|
||
如何区分 Q/P/I
|
||
判断这是问题还是课题
|
||
判断主导稀缺
|
||
```
|
||
|
||
不要保留裸 `如何`、裸 `判断`。
|
||
|
||
### 问题 4：`select_qpi` 默认是否要拒绝 IA，需要更明确
|
||
|
||
当前 calibration smoke 对 `select_qpi` 只检查 QPI 是否被选中，不检查 IA 是否也被选中。现在实际没有问题，但规则上应该明确：
|
||
|
||
* `select_qpi`：默认只要求 QPI；
|
||
* `select_qpi_reject_ia`：明确要求 IA 不得选；
|
||
* `select_qpi_allow_ia`：如果未来有这种情况，再显式声明。
|
||
|
||
目前可以不大改，但建议在 smoke report 中输出 “unexpected extra models”，至少让人看到。
|
||
|
||
---
|
||
|
||
## 3. 对 03.1 审查问题的直接回答
|
||
|
||
### 1. pass / revise / block？
|
||
|
||
**REVISE。**
|
||
|
||
不是 block，因为主要修复有效；不是 pass，因为 IA negative gate 还有实测漏洞。
|
||
|
||
### 2. selector no-call 是否安全到可进入 draft-callable review？
|
||
|
||
**QPI no-call 基本安全；整体 selector 还差一个 IA model-level hard exclusion。**
|
||
|
||
03.1 已经足以证明 QPI 过度召回被压住，但 selector 作为整体还不能正式 pass。
|
||
|
||
### 3. calibration smoke 是否应该成为永久 gate？
|
||
|
||
**应该，而且要加强。**
|
||
|
||
长期 gate 应该检查：
|
||
|
||
```text
|
||
expected=no_call:
|
||
selected_models == []
|
||
no_call == true
|
||
|
||
expected=no_call_or_low_priority:
|
||
qpi not selected
|
||
intellectual_archaeology not selected
|
||
no_call preferably true
|
||
|
||
expected=select_qpi_reject_ia:
|
||
qpi selected
|
||
intellectual_archaeology not selected
|
||
|
||
expected=select_intellectual_archaeology:
|
||
IA selected
|
||
heavy-depth gate or QPI-completed gate exists
|
||
no model-level negative trigger hit
|
||
```
|
||
|
||
### 4. 还缺哪些 no-call / override traps？
|
||
|
||
至少补 5 条：
|
||
|
||
```text
|
||
case_ia_negative_explicit_do_not_call_001
|
||
输入：QPI 已判断：这是 Issue。先不要思想考古，只做问题定性复核。
|
||
期望：select qpi, reject intellectual_archaeology
|
||
|
||
case_ia_negative_only_qpi_001
|
||
输入：不要思想考古，只做 QPI 复核。
|
||
期望：select qpi, reject intellectual_archaeology
|
||
|
||
case_qpi_how_to_excel_no_call_001
|
||
输入：如何在 Excel 里冻结首行？
|
||
期望：no_call
|
||
|
||
case_qpi_how_to_markdown_pdf_no_call_001
|
||
输入：如何把 Markdown 转 PDF？
|
||
期望：no_call
|
||
|
||
case_qpi_dictionary_judgment_no_call_001
|
||
输入：判断这个词是什么意思。
|
||
期望：no_call
|
||
```
|
||
|
||
### 5. digest field normalization 是否可接受？
|
||
|
||
**可接受。**
|
||
|
||
`misclassification_risk` 和 `qpi_complexity_pattern` 已经把上轮的字段漂移问题压住。multi-perspective 的 viewpoint traceability 也足够进入 draft-callable review。
|
||
|
||
### 6. QPI 生命周期是否继续保持 `draft / B / pending`？
|
||
|
||
**必须保持。**
|
||
|
||
当前质量门文件也明确：模型不能因为 schema、contract、index、selector demo 或 validation 通过就升 stable；核心模型升级必须经过 evidence review、content review、regression review、selector review、Owner / CCRA review。
|
||
|
||
03.1 没有改变这个判断。
|
||
|
||
---
|
||
|
||
## 4. 给 Codex 的 03.2 小修指令
|
||
|
||
可以直接交给 Codex：
|
||
|
||
```text
|
||
Round 03.2 Selector Negative-Gate Patch
|
||
|
||
Scope:
|
||
- Do not add a third model.
|
||
- Do not upgrade QPI or Intellectual Archaeology.
|
||
- Do not introduce LLM selector.
|
||
- Do not introduce RAG, database, frontend, backend, user system, or full QA.
|
||
- This is a tiny selector and test patch only.
|
||
|
||
Required fixes:
|
||
|
||
1. selector/selector_rules.json
|
||
- Add model-level hard exclusion signals, at least:
|
||
intellectual_archaeology:
|
||
- 不要思想考古
|
||
- 先不要思想考古
|
||
- 不调用思想考古
|
||
- 只做 QPI
|
||
- 只做问题定性
|
||
- Remove or narrow broad QPI gate signals:
|
||
- remove bare “如何”
|
||
- remove or narrow bare “判断”
|
||
- Replace them with compound QPI problem-definition phrases:
|
||
- 如何判断这是什么问题
|
||
- 如何定义这个问题
|
||
- 如何区分 Q/P/I
|
||
- 判断主导稀缺
|
||
- 判断这是问题还是课题
|
||
- 判断应该调用哪个模型
|
||
|
||
2. scripts/run_selector_demo.py
|
||
- If a model-level hard exclusion signal hits, reject that model regardless of score.
|
||
- Model-specific negative triggers like “不要思想考古” must not merely subtract penalty when they explicitly refuse that model.
|
||
- Preserve explicit analysis override for QPI, but do not let QPI override re-enable IA when user explicitly says not to call IA.
|
||
|
||
3. scripts/run_selector_calibration_smoke.py
|
||
- For expected no_call, require selected_models == [] and no_call == true.
|
||
- For no_call_or_low_priority, require no QPI and no IA selection.
|
||
- For select_qpi_reject_ia, require QPI selected and IA rejected.
|
||
- If selected models contain extra unexpected models, report warning or failure according to expected behavior.
|
||
- Fail if expected select_intellectual_archaeology input contains an IA hard exclusion signal.
|
||
|
||
4. tests / calibration
|
||
Add:
|
||
- case_ia_negative_explicit_do_not_call_001
|
||
- case_ia_negative_only_qpi_001
|
||
- case_qpi_how_to_excel_no_call_001
|
||
- case_qpi_how_to_markdown_pdf_no_call_001
|
||
- case_qpi_dictionary_judgment_no_call_001
|
||
|
||
5. reports
|
||
- Re-run:
|
||
python scripts\run_selector_regression.py
|
||
python scripts\run_selector_calibration_smoke.py
|
||
python scripts\validate_model_library.py
|
||
python -m unittest discover -s tests -p "test*.py" -v
|
||
- Update selector regression report and calibration smoke report.
|
||
```
|
||
|
||
---
|
||
|
||
## 5. 下一步我们做什么
|
||
|
||
**下一步不是 Round 04，也不是新模型。**
|
||
|
||
应该先做一个非常小的 **Round 03.2**：
|
||
|
||
> 目标：把 selector 从“QPI no-call 修好了”推进到“模型级拒绝调用也稳定”。
|
||
|
||
完成 03.2 后，如果我复查通过，就可以正式把 Round 03 系列关闭，结论写成：
|
||
|
||
```text
|
||
QPI and Intellectual Archaeology remain draft / B / pending.
|
||
QPI is accepted as draft-callable routing asset at report level.
|
||
Selector v0.2 passes no-call, calibration smoke, model-level exclusion, and QPI-before-IA gates.
|
||
Proceed to Round 04 blind input evaluation.
|
||
```
|
||
|
||
然后 Round 04 才做：
|
||
|
||
1. 准备 20-30 条你没有提前标注的新输入；
|
||
2. 混合轻量执行、事实查询、QPI 问题定性、组织治理、模型抽取、思想考古触发场景；
|
||
3. 让 selector + QPI 输出结构化结果；
|
||
4. 不先看答案质量，先看路由是否正确；
|
||
5. 把失败样本分为：
|
||
|
||
* selector 失败；
|
||
* QPI 分类失败；
|
||
* 输出契约失败；
|
||
* 证据缺口处理失败；
|
||
* 过度调用 / 调用不足。
|
||
|
||
我的建议：**让 Codex 只做 03.2 小补丁，不允许顺手做 Round 04。**
|
||
这次离 pass 已经很近了，不要扩大范围。
|
||
|
||
# 4
|
||
|
||
3.2的更新已经全部上传，后缀名都增加了`03.2`以和之前的区分。
|
||
`BUNDLE_FILE_MANIFEST_03.2` 是文件清单记录。
|
||
|
||
现在评审，并判断下一步
|
||
|
||
根据 2026-06-17 的 Round 03.2 审核包和我对 raw zip 的实测结果，**Round 03.2 结论：REVISE-light，不 block，但还不建议直接进入 Round 04。**
|
||
|
||
更准确地说：**03.2 的主问题已经修掉了，但我发现一个同源的优先级边界漏洞。** 这个漏洞很小，不需要返工，也不需要开大回合，但建议让 Codex 做一个 **03.2a 微补丁** 后再正式关闭 Round 03。
|
||
|
||
## 1. 总判断
|
||
|
||
03.2 的范围控制是合格的。它明确只修 selector negative-gate，不新增第三模型、不升级 QPI / 思想考古生命周期、不引入 LLM selector、不做 RAG、数据库、前后端、用户系统，也不启动 Round 04 blind testing；模型状态仍保持 `qpi: draft / B / pending`、`intellectual_archaeology: draft / B / pending`。
|
||
|
||
03.2 的核心声明也基本兑现了：IA 明确拒绝从 score penalty 改成 model-level hard exclusion；裸 `如何`、`判断` 被移除；no-call / no-call_or_low_priority / select_qpi_reject_ia 的 calibration smoke 变严格；并新增了五条 trap。
|
||
|
||
但我解包实测后发现：**全局 hard no-call 里的“不要展开 / 不要深入分析”仍然会压过“只做 QPI / 只做问题定性”。** 这导致用户本意是“不要进入思想考古，只做轻量 QPI 定性”时，系统可能直接 no-call，连 QPI 也不选。
|
||
|
||
所以这次不是 block，但也不是完整 pass。
|
||
|
||
---
|
||
|
||
## 2. 已经修好的部分
|
||
|
||
### 2.1 IA 明确拒绝已经能硬排除
|
||
|
||
03.2 针对上轮问题加入了 IA hard exclusion triggers，包括：
|
||
|
||
```text
|
||
不要思想考古
|
||
先不要思想考古
|
||
不要调用思想考古
|
||
不调用思想考古
|
||
只做 QPI
|
||
只做问题定性
|
||
```
|
||
|
||
我实测这些输入现在行为正确：
|
||
|
||
```text
|
||
QPI 已判断：这是 Issue。先不要思想考古，只做问题定性复核。
|
||
不要思想考古，只做 QPI 复核。
|
||
```
|
||
|
||
结果是：**QPI selected，intellectual_archaeology rejected**。这符合 03.2 的修复目标。当前 asset pack 也声明这两类输入现在会选择 QPI 并拒绝 IA。
|
||
|
||
### 2.2 how-to / dictionary no-call 已修好
|
||
|
||
我实测以下输入已经 no-call：
|
||
|
||
```text
|
||
如何在 Excel 里冻结首行？
|
||
如何把 Markdown 转 PDF？
|
||
判断这个词是什么意思。
|
||
```
|
||
|
||
结果是：**selected_models = []，no_call = true**。这与 03.2 当前资产包声明一致。
|
||
|
||
### 2.3 calibration smoke 已经足够成为长期 gate 的雏形
|
||
|
||
03.2 把 calibration smoke 加严：
|
||
|
||
```text
|
||
no_call 要求 selected_models == [] 且 no_call == true
|
||
no_call_or_low_priority 要求 QPI 和 IA 都不得 selected
|
||
select_qpi_reject_ia 要求 QPI selected 且 IA rejected
|
||
select_intellectual_archaeology 若命中 IA hard exclusion 则失败
|
||
```
|
||
|
||
这是正确方向。命令日志显示当前本地检查全部通过：index、unit tests、model library validation、card contract、selector demo、selector regression、selector calibration smoke、model/card sync 均 PASS；selector regression 为 18 个 selector-relevant cases，calibration smoke 为 90 inputs、0 failures、0 warnings。
|
||
|
||
这一步应该长期保留。它符合我们在数据治理文档里定义的 selector / regression 角色：selector 是入口调度器和误召回防火墙，regression 是模型边界保护机制。
|
||
|
||
---
|
||
|
||
## 3. 还没修好的关键边界
|
||
|
||
### 问题：全局 hard no-call 把“限制深度”误解成“不调用任何模型”
|
||
|
||
我实测以下输入：
|
||
|
||
```text
|
||
不要展开到思想考古，只做 QPI 复核。
|
||
不要展开到思想考古，只做问题定性。
|
||
不要深入分析，只做问题定性。
|
||
不要深入分析，只做 QPI。
|
||
不要深入分析背后的理论，只判断这是问题还是课题。
|
||
不要展开，只判断主导稀缺。
|
||
```
|
||
|
||
当前结果是：
|
||
|
||
```text
|
||
selected_models = []
|
||
no_call = true
|
||
```
|
||
|
||
也就是说，系统把“不要展开 / 不要深入分析”解释成了全局 no-call，而不是“不要进入思想考古，但仍然可以做 QPI 定性”。
|
||
|
||
这和 03.2 的目标有冲突。03.2 的 Review Questions 里专门问：当用户说 `只做 QPI` 或 `只做问题定性` 时，是否可以只拒绝 IA 但仍允许 QPI；这个方向是对的。 但当前实现只覆盖了没有 `不要展开 / 不要深入分析` 的句式，一旦这些全局 hard no-call 词出现，QPI 也被一起挡掉。
|
||
|
||
这是一个**优先级问题**，不是大范围逻辑问题。
|
||
|
||
应该区分：
|
||
|
||
```text
|
||
直接执行 no-call：
|
||
只改错别字、翻译这句话、生成图片、整理成表格、列出……
|
||
=> 全局 no-call
|
||
|
||
限制深度 / 限制展开：
|
||
不要展开、不要深入分析
|
||
=> 默认 no-call，但如果同时出现“只做 QPI / 只做问题定性 / 只判断主导稀缺”，则应允许 QPI，拒绝 IA
|
||
```
|
||
|
||
---
|
||
|
||
## 4. 对 03.2 审查问题的逐项答复
|
||
|
||
### 1. model-level hard exclusion 是否正确处理 IA 明确拒绝？
|
||
|
||
**基本正确，但有一个上位 hard no-call 优先级漏洞。**
|
||
|
||
如果输入是：
|
||
|
||
```text
|
||
不要思想考古，只做 QPI 复核。
|
||
```
|
||
|
||
正确。
|
||
|
||
如果输入是：
|
||
|
||
```text
|
||
不要展开到思想考古，只做 QPI 复核。
|
||
```
|
||
|
||
当前不正确，因为全局 `不要展开` 先触发 no-call，导致 QPI 也被拒绝。
|
||
|
||
### 2. 当前 hard exclusion phrases 是否足够关闭 Round 03？
|
||
|
||
**短语本身足够，优先级还不够。**
|
||
|
||
需要补的不是更多 IA refusal phrase，而是处理 `不要展开 / 不要深入分析 + 只做 QPI / 只做问题定性` 的组合语义。
|
||
|
||
### 3. 只拒绝 IA、仍允许 QPI 是否可接受？
|
||
|
||
**可接受，而且这是正确设计。**
|
||
|
||
`只做 QPI` 和 `只做问题定性` 的意思不是“什么都不做”，而是“不要调用更深模型”。因此应当：
|
||
|
||
```text
|
||
qpi: selected
|
||
intellectual_archaeology: rejected
|
||
no_call: false
|
||
```
|
||
|
||
### 4. 移除裸 `如何` 和 `判断` 是否足够减少 QPI 过选？
|
||
|
||
**基本足够进入下一阶段，但要把 `如何提高流量？` 列入 Round 04 观察点。**
|
||
|
||
我实测：
|
||
|
||
```text
|
||
如何在 Excel 里冻结首行？ => no_call
|
||
如何把 Markdown 转 PDF？ => no_call
|
||
判断这个词是什么意思。 => no_call
|
||
如何提高销售额？ => no_call
|
||
如何提高学习效率？ => no_call
|
||
```
|
||
|
||
这说明裸 `如何 / 判断` 过召回问题已基本压住。
|
||
|
||
但当前规则里仍保留了一个明确的 QPI gate：
|
||
|
||
```text
|
||
如何提高流量
|
||
```
|
||
|
||
这是来自 calibration 的 `select_qpi_low_confidence` 案例。它可以暂时保留，因为它是一个“上下文不足但可能需要 QPI provisional 判断”的测试点；但 Round 04 blind test 要重点看这类普通增长类 how-to 是否会造成 QPI 过度介入。
|
||
|
||
### 5. calibration smoke 是否足够成为长期 selector gate？
|
||
|
||
**可以成为长期 gate，但要再加 2 条 depth-limiting override case。**
|
||
|
||
现在的 smoke 已经比 03.1 严格，90 inputs 全部 PASS。 但要补上我这次发现的组合边界，否则长期 gate 会漏掉“限制深度但仍需 QPI”的场景。
|
||
|
||
### 6. Round 03 是否现在可以关闭？
|
||
|
||
**还差一个极小补丁。**
|
||
|
||
我的建议不是开 Round 03.3，而是做 **03.2a micro-patch**。修完后不需要再大评审，只要回传小包，我复核几个输入即可关闭 Round 03。
|
||
|
||
---
|
||
|
||
## 5. 给 Codex 的 03.2a 微补丁指令
|
||
|
||
可以直接交给 Codex：
|
||
|
||
```text
|
||
Round 03.2a Micro Patch: Depth-Limiting Override For QPI
|
||
|
||
Scope:
|
||
- Do not add a third model.
|
||
- Do not upgrade QPI or Intellectual Archaeology.
|
||
- Do not introduce LLM selector.
|
||
- Do not introduce RAG, database, frontend, backend, user system, or Round 04 blind test.
|
||
- This is a tiny selector precedence patch only.
|
||
|
||
Problem:
|
||
Global hard no-call signals such as “不要展开” and “不要深入分析” currently block QPI even when the user explicitly says “只做 QPI”, “只做问题定性”, or “只判断主导稀缺”.
|
||
These phrases should mean “do not go deeper / reject IA”, not “reject all models”, when paired with explicit QPI-limited-analysis intent.
|
||
|
||
Required behavior:
|
||
|
||
Input:
|
||
不要展开到思想考古，只做 QPI 复核。
|
||
|
||
Expected:
|
||
selected_models = ["qpi"]
|
||
intellectual_archaeology rejected
|
||
no_call = false
|
||
|
||
Input:
|
||
不要展开到思想考古，只做问题定性。
|
||
|
||
Expected:
|
||
selected_models = ["qpi"]
|
||
intellectual_archaeology rejected
|
||
no_call = false
|
||
|
||
Input:
|
||
不要深入分析，只做问题定性。
|
||
|
||
Expected:
|
||
selected_models = ["qpi"]
|
||
intellectual_archaeology rejected
|
||
no_call = false
|
||
|
||
Input:
|
||
不要深入分析背后的理论，只判断这是问题还是课题。
|
||
|
||
Expected:
|
||
selected_models = ["qpi"]
|
||
intellectual_archaeology rejected
|
||
no_call = false
|
||
|
||
Input:
|
||
不要展开，只判断主导稀缺。
|
||
|
||
Expected:
|
||
selected_models = ["qpi"]
|
||
intellectual_archaeology rejected
|
||
no_call = false
|
||
|
||
Implementation recommendation:
|
||
|
||
1. selector/selector_rules.json
|
||
Add a separate list:
|
||
qpi_limited_analysis_override_phrases:
|
||
- 只做 QPI
|
||
- 只做问题定性
|
||
- 只做问题定性复核
|
||
- 只判断主导稀缺
|
||
- 只判断这是问题还是课题
|
||
- 只判断问题类型
|
||
|
||
2. scripts/run_selector_demo.py
|
||
Modify hard_no_call gate:
|
||
- If hard_no_call_hits include depth-limiting phrases such as “不要展开” or “不要深入分析”
|
||
- and qpi_limited_analysis_override_phrases is hit
|
||
- then do not return global hard_no_call_result.
|
||
- Continue scoring.
|
||
- QPI may be selected.
|
||
- IA must still be rejected through hard_exclusion_triggers.
|
||
|
||
3. Do not remove “不要展开” or “不要深入分析” from hard no-call globally.
|
||
They are still useful for true no-call requests.
|
||
|
||
4. Add selector regression / calibration smoke cases:
|
||
- case_qpi_depth_limited_qpi_only_001
|
||
- case_qpi_depth_limited_problem_definition_001
|
||
- case_qpi_depth_limited_dominant_scarcity_001
|
||
|
||
5. Re-run:
|
||
python scripts\run_selector_regression.py
|
||
python scripts\run_selector_calibration_smoke.py
|
||
python scripts\validate_model_library.py
|
||
python -m unittest discover -s tests -p "test*.py" -v
|
||
```
|
||
|
||
---
|
||
|
||
## 6. 下一步判断
|
||
|
||
**下一步：不要进入 Round 04，先做 03.2a 微修。**
|
||
|
||
我建议流程是：
|
||
|
||
1. Codex 只做 03.2a，不做任何新功能。
|
||
2. 回传极小包即可，重点文件是：
|
||
|
||
```text
|
||
selector/selector_rules.json
|
||
scripts/run_selector_demo.py
|
||
scripts/run_selector_calibration_smoke.py
|
||
tests/qpi.regression.json
|
||
tests/regression_cases.json
|
||
selector/selector_calibration_inputs.json
|
||
reports/selector_regression_report_v0.2.md
|
||
reports/selector_calibration_smoke_report.md
|
||
```
|
||
3. 我复测上面 5 条 failing input。
|
||
4. 如果通过，Round 03 正式关闭。
|
||
5. 然后进入 Round 04。
|
||
|
||
Round 03 关闭时可以写成：
|
||
|
||
```text
|
||
QPI and Intellectual Archaeology remain draft / B / pending.
|
||
QPI is accepted as a draft-callable routing asset at report level.
|
||
Selector v0.2 passes no-call, calibration smoke, model-level exclusion, QPI-before-IA, and depth-limiting override gates.
|
||
Proceed to Round 04 blind input evaluation.
|
||
```
|
||
|
||
---
|
||
|
||
## 7. Round 04 应该做什么，但现在先别做
|
||
|
||
Round 04 不应该扩第三模型，也不应该做平台。它应该是：
|
||
|
||
> Blind input routing evaluation。
|
||
|
||
也就是拿 20-30 条你没有提前标注的新输入，先不评答案质量，只评：
|
||
|
||
```text
|
||
是否 no-call
|
||
是否选 QPI
|
||
是否拒绝 IA
|
||
是否需要 IA
|
||
QPI 是否输出 provisional
|
||
是否误把普通 how-to 当 QPI
|
||
是否误把轻量问题深挖
|
||
是否漏掉真正需要问题定性的复杂输入
|
||
```
|
||
|
||
换句话说，Round 04 是“真实输入路由盲测”，不是“回答系统开发”。
|
||
|
||
---
|
||
|
||
## 8. 最终结论
|
||
|
||
**03.2 主修复有效，Codex 做对了 90%。**
|
||
|
||
但因为我找到一个具体可复现的失败类：
|
||
|
||
```text
|
||
不要展开 / 不要深入分析
|
||
+
|
||
只做 QPI / 只做问题定性
|
||
```
|
||
|
||
所以当前结论是：
|
||
|
||
```text
|
||
Round 03.2: REVISE-light
|
||
不 block
|
||
不返工
|
||
不扩范围
|
||
做 03.2a 微补丁后关闭 Round 03
|
||
```
|
||
|
||
这次不要让 Codex 顺手做 Round 04。只修 selector 优先级。
|
||
|
||
|
||
# 5
|
||
|
||
0.32a的文档已经全部上传，请再次检查。
|
||
并判断下一步做什么？
|
||
|
||
## 核心判断
|
||
|
||
**Round 03.2a 可以 PASS。Round 03 系列可以正式关闭。**
|
||
|
||
我检查了 03.2a 的说明包、patch matrix、asset pack、validation log 和 raw zip。03.2a 的修复目标很窄：只修 `不要展开 / 不要深入分析 + 只做 QPI / 只做问题定性` 被误判成全局 no-call 的优先级问题；不扩第三模型、不升级 QPI / 思想考古、不引入 LLM selector、不做 RAG、数据库、前后端、用户系统，也不启动 Round 04，这个范围控制合格。
|
||
|
||
我解包后复测了上轮失败的 5 类输入：
|
||
|
||
```text
|
||
不要展开到思想考古，只做 QPI 复核。
|
||
不要展开到思想考古，只做问题定性。
|
||
不要深入分析，只做问题定性。
|
||
不要深入分析背后的理论，只判断这是问题还是课题。
|
||
不要展开，只判断主导稀缺。
|
||
```
|
||
|
||
现在结果都符合预期：
|
||
|
||
```text
|
||
selected_models = ["qpi"]
|
||
intellectual_archaeology = rejected
|
||
no_call = false
|
||
```
|
||
|
||
同时，单独的：
|
||
|
||
```text
|
||
不要展开。
|
||
不要深入分析。
|
||
```
|
||
|
||
仍然保持全局 no-call。这说明 03.2a 没有把 hard no-call 拆坏，而是正确加入了 QPI-limited override。
|
||
|
||
## 已通过的关键点
|
||
|
||
1. **depth-limiting override 生效**
|
||
`不要展开 / 不要深入分析` 默认仍是 no-call，但当它和 `只做 QPI / 只做问题定性 / 只判断主导稀缺` 组合时，会继续进入 QPI scoring，而不是全局拒绝。Patch matrix 明确说明已新增 `depth_limiting_no_call_signals` 和 `qpi_limited_analysis_override_phrases`，并修改 hard no-call precedence。
|
||
|
||
2. **IA 仍然被拒绝**
|
||
QPI-limited judgment phrases 已加入 IA hard exclusion triggers，所以这些场景不会重新打开思想考古。
|
||
|
||
3. **regression / calibration 已补齐**
|
||
03.2a 新增了 3 条 regression case 和 5 条 calibration input；当前 QPI regression 为 58 条，aggregate regression 为 77 条，selector calibration input 为 95 条。当前 asset pack 也列出本轮 canonical changed assets 包括 selector rules、calibration inputs、QPI regression、aggregate regression、regression index 和 selector demo。
|
||
|
||
4. **本地检查全部 PASS**
|
||
validation log 记录了 red evidence：补丁前这 3 条 regression 和 5 条 calibration 失败；补丁后 `rebuild_indexes`、unit tests、`validate_model_library`、card contract、selector demo、selector regression、selector calibration smoke、model/card sync 都通过。
|
||
|
||
5. **模型生命周期没有被误升级**
|
||
当前仍保持：
|
||
|
||
```text
|
||
qpi: draft / B / pending
|
||
intellectual_archaeology: draft / B / pending
|
||
```
|
||
|
||
这符合长期质量门：工程 contract、selector demo、validation pass 不能直接升级 stable；模型升级仍需 evidence review、content review、regression review、selector review、Owner / CCRA review。
|
||
|
||
## 小的非阻塞观察
|
||
|
||
`cards/qpi.md` 里仍把 `不要展开` 放在 QPI 负向触发条件里。现在 selector 已经有更细的例外规则，所以这不构成 blocker；但后续文档同步时，可以补一句：
|
||
|
||
```text
|
||
“不要展开 / 不要深入分析”默认抑制 QPI；但如果同时出现“只做 QPI / 只做问题定性 / 只判断主导稀缺”等限定分析意图，则允许 QPI，拒绝思想考古。
|
||
```
|
||
|
||
这个可以放到 Round 04 之后顺手同步，不需要再开修复轮。
|
||
|
||
## 对 03.2a 审查问题的回答
|
||
|
||
1. **是否正确把 `不要展开 / 不要深入分析 + 只做 QPI / 只做问题定性` 当成 QPI-limited analysis？**
|
||
是。现在不是 global no-call，而是选 QPI、拒绝 IA。
|
||
|
||
2. **IA 是否在 5 个 depth-limiting override case 中都被拒绝？**
|
||
是。hard exclusion 生效。
|
||
|
||
3. **没有 QPI-limited intent 时，depth-limiting phrases 继续保持 no-call / low-depth 是否可接受？**
|
||
可接受，而且应该保留。`不要展开。`、`不要深入分析。` 这种单独输入不应强行进入 QPI。
|
||
|
||
4. **Round 03 是否可以关闭？**
|
||
可以。
|
||
|
||
## Round 03 正式关闭结论
|
||
|
||
可以把结论写入 Codex / 项目记录：
|
||
|
||
```text
|
||
Round 03 closed.
|
||
|
||
QPI and Intellectual Archaeology remain draft / B / pending.
|
||
QPI is accepted as a draft-callable routing asset at report level.
|
||
Selector v0.2 passes no-call, calibration smoke, model-level exclusion, QPI-before-IA, and depth-limiting override gates.
|
||
Proceed to Round 04 blind input evaluation.
|
||
```
|
||
|
||
注意：这里的 **draft-callable** 只能是评审报告语言，不改变 JSON model lifecycle status。
|
||
|
||
## 下一步做什么
|
||
|
||
**下一步进入 Round 04：Blind Input Routing Evaluation。**
|
||
|
||
但 Round 04 不做新模型、不做平台、不做前端、不做 RAG、不做完整回答系统。它只验证：
|
||
|
||
> 在真实新输入里，selector + QPI 的路由是否稳定。
|
||
|
||
建议 Round 04 范围如下：
|
||
|
||
1. 准备 25-30 条你没有提前标注的新输入。
|
||
2. 输入类型要混合：
|
||
|
||
```text
|
||
明确 no-call：查事实、翻译、润色、格式化、直接执行
|
||
QPI 轻量问题定性
|
||
组织治理 / 责任 / 共识类输入
|
||
容量 / 资源 / 路径类输入
|
||
模型抽取 / 深度建模类输入
|
||
明确拒绝思想考古但允许 QPI 的输入
|
||
真正应该进入思想考古的输入
|
||
模糊短句 / 低上下文输入
|
||
```
|
||
3. Codex 只输出路由结果，不评最终答案质量：
|
||
|
||
```text
|
||
selected_models
|
||
rejected_models
|
||
no_call
|
||
QPI classification
|
||
classification_confidence
|
||
evidence_gap
|
||
next_model_candidates
|
||
rejection reasons
|
||
```
|
||
4. 我们评审失败类型：
|
||
|
||
```text
|
||
selector 误召回
|
||
selector 漏召回
|
||
QPI 分类错误
|
||
QPI 置信度过高
|
||
IA 误召回
|
||
IA 漏召回
|
||
no-call 错误
|
||
evidence_gap 缺失
|
||
next_model_candidates 不合理
|
||
```
|
||
|
||
给 Codex 的下一轮指令应非常窄：
|
||
|
||
```text
|
||
Round 04: Blind Input Routing Evaluation only.
|
||
Do not modify selector rules first.
|
||
Do not add a third model.
|
||
Do not build QA.
|
||
Do not implement RAG / frontend / backend.
|
||
Run the current selector + QPI contract on blind inputs, produce evaluation report, then wait for CCRA review.
|
||
```
|
||
|
||
我的建议：**可以开始 Round 04，但不要让 Codex先改规则。先测，再根据失败样本决定下一轮修什么。**
|
||
|
||
# 6
|
||
|
||
我要在新会话中与你讨论Round 04的话，你需要哪些资料作为上下文？还是，让Codex准备一套单独的？
|
||
|
||
最开始，你的知识库规划有
|
||
* 03_qpi.md
|
||
* 04_intellectual_archaeology.md
|
||
|
||
只是之前一直在调整没有稳定，这个我还是作为上传文件，而不作为知识库的内容是么？
|
||
|
||
## 核心判断
|
||
|
||
新会话里讨论 Round 04，**最好让 Codex 准备一套单独的 Round 04 上下文包**。不要依赖我“记得前面三轮”，也不要把 03、03.1、03.2、03.2a 的所有文件都重新上传。
|
||
|
||
你的知识库现在已经有稳定背景层：项目是 `model_library_mvp`，目标是建立 file-first 认知模型库 MVP，让 QPI 和思想考古具备可读、可追溯、可调用、可测试、可路由能力，而不是做前端、后端、RAG、平台或完整问答系统。 也有 09 数据治理说明，已经解释了文章、模型卡、selector、regression、validation、review bundle 的职责。
|
||
|
||
所以新会话只需要补充 **Round 04 当前状态和本轮材料**。
|
||
|
||
---
|
||
|
||
## 一、让 Codex 准备一套 Round 04 独立包
|
||
|
||
建议文件名这样：
|
||
|
||
```text
|
||
00_OPEN_THIS_FIRST_ROUND04_BRIEF.md
|
||
01_ROUND04_SCOPE_AND_NON_GOALS.md
|
||
02_CURRENT_RUNTIME_ASSET_PACK.md
|
||
03_BLIND_INPUT_SET.md 或 .json
|
||
04_ROUTING_OUTPUT_REPORT.md
|
||
05_FAILURE_ANALYSIS_GUIDE.md
|
||
06_VALIDATION_AND_COMMAND_LOG.md
|
||
BUNDLE_FILE_MANIFEST_ROUND04.md
|
||
optional_raw_runtime_files_round04.zip
|
||
```
|
||
|
||
如果 Round 04 还没跑，先让 Codex 准备：
|
||
|
||
```text
|
||
00_OPEN_THIS_FIRST_ROUND04_BRIEF.md
|
||
01_ROUND04_SCOPE_AND_NON_GOALS.md
|
||
02_CURRENT_RUNTIME_ASSET_PACK.md
|
||
03_BLIND_INPUT_SET_FOR_RUN.md
|
||
BUNDLE_FILE_MANIFEST_ROUND04_PREP.md
|
||
optional_raw_runtime_files_round04_prep.zip
|
||
```
|
||
|
||
Round 04 跑完后，再补：
|
||
|
||
```text
|
||
04_ROUTING_OUTPUT_REPORT.md
|
||
05_FAILURE_ANALYSIS_REPORT.md
|
||
06_VALIDATION_AND_COMMAND_LOG.md
|
||
```
|
||
|
||
---
|
||
|
||
## 二、Round 04 包里必须说明什么
|
||
|
||
### 1. Round 03 关闭摘要
|
||
|
||
不要重新上传 03 全套，但要有一段简短 closure summary：
|
||
|
||
```text
|
||
Round 03 closed after 03.2a.
|
||
|
||
QPI and Intellectual Archaeology remain draft / B / pending.
|
||
QPI is accepted as a draft-callable routing asset at report level.
|
||
Selector v0.2 passes:
|
||
- no-call gate
|
||
- calibration smoke
|
||
- model-level IA exclusion
|
||
- QPI-before-IA gate
|
||
- depth-limiting override gate
|
||
|
||
Proceed to Round 04 blind input routing evaluation.
|
||
```
|
||
|
||
注意：`draft-callable` 只能是评审语言，不能改 JSON 生命周期。质量门里明确模型不能因为 schema、selector demo、validation pass 就升级 stable，仍要经过 evidence、content、regression、selector、Owner / CCRA review。
|
||
|
||
### 2. Round 04 的目标
|
||
|
||
Round 04 只验证：
|
||
|
||
```text
|
||
真实新输入下，selector + QPI + IA gate 的路由是否稳定。
|
||
```
|
||
|
||
不是验证最终答案质量，不写完整解决方案，不扩第三模型，不做平台。
|
||
|
||
### 3. Round 04 的非目标
|
||
|
||
必须写清楚：
|
||
|
||
```text
|
||
Do not add a third model.
|
||
Do not upgrade QPI or Intellectual Archaeology.
|
||
Do not introduce LLM selector.
|
||
Do not implement RAG, vector database, frontend, backend, user account, or QA product.
|
||
Do not modify selector rules before blind test.
|
||
Run first, analyze failures later.
|
||
```
|
||
|
||
### 4. 当前 runtime 资产
|
||
|
||
至少包含这些当前状态文件，最好放在 raw zip 里：
|
||
|
||
```text
|
||
selector/selector_rules.json
|
||
selector/selector_calibration_inputs.json
|
||
models/qpi.model.json
|
||
models/intellectual_archaeology.model.json
|
||
cards/qpi.md
|
||
cards/intellectual_archaeology.md
|
||
tests/qpi.regression.json
|
||
tests/intellectual_archaeology.regression.json
|
||
tests/regression_cases.json
|
||
scripts/run_selector_demo.py
|
||
scripts/run_selector_regression.py
|
||
scripts/run_selector_calibration_smoke.py
|
||
reports/selector_regression_report_v0.2.md
|
||
reports/selector_calibration_smoke_report.md
|
||
reports/validation_report.md
|
||
```
|
||
|
||
不一定每次都要我精读全部，但新会话里有这些，我就能在需要时抽查。
|
||
|
||
### 5. Blind input set
|
||
|
||
Round 04 最关键的是 blind inputs。建议 25-30 条，分布如下：
|
||
|
||
```text
|
||
明确 no-call：事实查询、翻译、润色、格式化、直接执行
|
||
普通 how-to：Excel、Markdown、工具使用、查定义
|
||
QPI 轻量定性：只判断这是 Q/P/I，不展开
|
||
组织治理类：共识、责任、权力、指标、审计、信任
|
||
资源路径类：容量、资源、流程、SOP、路径断裂
|
||
模型抽取类：从文章中提炼模型
|
||
思想考古触发类：底层假设、深层机制、哲学基岩，但必须满足 gate
|
||
明确拒绝思想考古但允许 QPI
|
||
低上下文短句
|
||
```
|
||
|
||
最好做成 JSON：
|
||
|
||
```json
|
||
[
|
||
{
|
||
"input_id": "round04_001",
|
||
"input_text": "如何在 Excel 里冻结首行？",
|
||
"input_source": "owner_blind",
|
||
"visible_to_codex": true
|
||
}
|
||
]
|
||
```
|
||
|
||
### 6. Owner 预期标签要不要给 Codex？
|
||
|
||
不建议一开始给 Codex。
|
||
|
||
最好分两份：
|
||
|
||
```text
|
||
03_BLIND_INPUT_SET_FOR_CODEX.json
|
||
```
|
||
|
||
只给输入，不给答案。
|
||
|
||
另一个：
|
||
|
||
```text
|
||
03B_OWNER_EXPECTED_ROUTING_PRIVATE.md
|
||
```
|
||
|
||
可以不交给 Codex，只给我评审时用，或者等 Codex 跑完后再上传。
|
||
|
||
这样 Round 04 才是真盲测。
|
||
|
||
---
|
||
|
||
## 三、你新会话里给我的最小资料
|
||
|
||
如果你想在新会话里直接找我评审 Round 04，最小上传这些：
|
||
|
||
```text
|
||
00_OPEN_THIS_FIRST_ROUND04_BRIEF.md
|
||
03_BLIND_INPUT_SET_FOR_CODEX.json
|
||
04_ROUTING_OUTPUT_REPORT.md
|
||
05_FAILURE_ANALYSIS_REPORT.md
|
||
06_VALIDATION_AND_COMMAND_LOG.md
|
||
BUNDLE_FILE_MANIFEST_ROUND04.md
|
||
optional_raw_runtime_files_round04.zip
|
||
```
|
||
|
||
如果你还没让 Codex 跑，只是想和我一起设计 Round 04 blind inputs，则只需要：
|
||
|
||
```text
|
||
00_OPEN_THIS_FIRST_ROUND04_PREP_BRIEF.md
|
||
当前 selector 关闭结论摘要
|
||
你准备的 25-30 条候选输入
|
||
```
|
||
|
||
我会帮你判断输入分布是否足够测出问题。
|
||
|
||
---
|
||
|
||
## 四、关于 `03_qpi.md` 和 `04_intellectual_archaeology.md`
|
||
|
||
我的建议是：**暂时不要把当前 repo 里的 QPI / 思想考古 model card 原样放进知识库。**
|
||
|
||
原因是：
|
||
|
||
1. 它们还处在 `draft / B / pending`。
|
||
2. 当前真正 source of truth 是 repo 里的：
|
||
|
||
```text
|
||
models/qpi.model.json
|
||
cards/qpi.md
|
||
models/intellectual_archaeology.model.json
|
||
cards/intellectual_archaeology.md
|
||
```
|
||
|
||
长期协议也明确完整模型内容以这些模型、卡片、source、tests 文件为 source of truth，而 index 和说明文档不是模型内容本体。
|
||
3. 如果你把当前模型卡放进知识库，之后 Codex 改了 repo 版本，但知识库没同步，就会出现“双重真相”。
|
||
|
||
所以现在更稳的做法是：
|
||
|
||
### 当前阶段
|
||
|
||
`03_qpi.md` 和 `04_intellectual_archaeology.md` 继续作为 **每轮上传文件 / review bundle raw files**，不要作为稳定知识库内容。
|
||
|
||
### 什么时候可以进知识库？
|
||
|
||
等 Round 04 或后续 blind test 通过后，可以做两份“知识库版模型说明”，但它们不应该等同于 repo 原始 card，而应是稳定解释资产：
|
||
|
||
```text
|
||
03_QPI模型机制说明.md
|
||
04_思想考古学模型机制说明.md
|
||
```
|
||
|
||
它们应写明：
|
||
|
||
```text
|
||
本文档是稳定解释层，不是操作性 source of truth。
|
||
操作性 source of truth 仍在：
|
||
- models/qpi.model.json
|
||
- cards/qpi.md
|
||
- tests/qpi.regression.json
|
||
- selector/selector_rules.json
|
||
```
|
||
|
||
也就是说，知识库里可以放“稳定解释版”，不要放“仍在变动的模型卡原件”。
|
||
|
||
---
|
||
|
||
## 五、现在知识库应该保留什么
|
||
|
||
适合放知识库的是这类：
|
||
|
||
```text
|
||
00_用户背景与产品上下文.md
|
||
01_核心模型地图.md
|
||
02_模型卡结构规范.md
|
||
06_模型稳固性评级规则.md
|
||
08_CCRA模型库MVP质量门与交接协议.md
|
||
09_数据治理与模型调用机制说明.md
|
||
```
|
||
|
||
这些回答的是“长期怎么做”。
|
||
|
||
不适合进知识库的是：
|
||
|
||
```text
|
||
Round 03.2a brief
|
||
validation log
|
||
patch matrix
|
||
selector regression report
|
||
当前 qpi.md 原件
|
||
当前 intellectual_archaeology.md 原件
|
||
optional_raw_changed_files.zip
|
||
```
|
||
|
||
这些回答的是“这一轮发生了什么”。
|
||
|
||
---
|
||
|
||
## 六、给 Codex 的指令可以这样写
|
||
|
||
```text
|
||
请准备 Round 04 独立上下文包，用于新 ChatGPT / CCRA 会话评审。
|
||
|
||
要求：
|
||
1. 不依赖 Round 03 历史文件，只保留 Round 03 closure summary。
|
||
2. 不上传全部旧 review bundle。
|
||
3. 包含当前 runtime source files 的 raw zip。
|
||
4. 包含 blind input set。
|
||
5. Codex 不得提前修改 selector rules。
|
||
6. Codex 只运行当前 selector + QPI / IA gate，并输出 routing result。
|
||
7. 输出报告必须包含 selected_models、rejected_models、no_call、QPI classification、confidence、evidence_gap、next_model_candidates、rejection reasons。
|
||
8. 不做答案质量评估，不写完整解决方案。
|
||
```
|
||
|
||
---
|
||
|
||
## 最终建议
|
||
|
||
新会话中：**让 Codex 准备 Round 04 standalone pack。**
|
||
|
||
`03_qpi.md` 和 `04_intellectual_archaeology.md`：**现阶段继续作为上传文件，不作为知识库稳定内容。**
|
||
|
||
等 Round 04 blind routing 通过后，再把它们整理成“稳定解释版知识库文档”，而不是直接把 repo 里的动态模型卡塞进知识库。
|