154 lines
6.1 KiB
Markdown
154 lines
6.1 KiB
Markdown
# ChatGPT 交接文档：模型库 MVP 第二轮内容稳定化
|
||
|
||
## 审核摘要
|
||
|
||
本轮依据：
|
||
|
||
- `2026-06-16-核心模型抽取样板 v0.1.md`
|
||
- `CCRA_Codex指导意见_Index更新策略与下一轮执行_v0.2_2026-06-16.md`
|
||
- `CCRA_Codex指导意见_模型库MVP第二轮内容稳定化_v0.3_2026-06-16.md`
|
||
|
||
本轮目标：
|
||
|
||
- 不扩展第三模型。
|
||
- 不接入完整问题回答系统。
|
||
- 不引入 LLM selector。
|
||
- 不升级 stable。
|
||
- 优先完成 QPI / 思想考古内容稳定化、证据矩阵、回归扩展、selector 防误召回和 index drift 检查。
|
||
|
||
当前状态：
|
||
|
||
- QPI: `draft / B / pending`
|
||
- 思想考古: `draft / B / pending`
|
||
|
||
请求 CCRA 审核：
|
||
|
||
1. 内容稳定化是否达标。
|
||
2. evidence coverage 是否足够。
|
||
3. regression cases 是否足够。
|
||
4. selector v0.2 是否避免误召回。
|
||
5. 是否允许进入下一阶段。
|
||
|
||
## 1. 本轮 Codex 接收的指导文件
|
||
|
||
- `reports/Codex新会话交接文档_模型库MVP_2026-06-16.md`
|
||
- `C:\Users\wangq\Documents\Codex\knowledge-vault\work\internal\强哥的思想宇宙\GPT成果\CCRA_Codex指导意见_Index更新策略与下一轮执行_v0.2_2026-06-16.md`
|
||
- `C:\Users\wangq\Documents\Codex\knowledge-vault\work\internal\强哥的思想宇宙\GPT成果\CCRA_Codex指导意见_模型库MVP第二轮内容稳定化_v0.3_2026-06-16.md`
|
||
- 用户明确约束：不扩展第三模型、不接完整问题回答系统、不引入 LLM selector、不升级 stable。
|
||
|
||
## 2. 本轮实际完成任务
|
||
|
||
- 建立 `docs/CONTENT_STABILIZATION_PROTOCOL.md`。
|
||
- 建立字段级 `sources/evidence_coverage.matrix.json` 和 `reports/evidence_coverage_report_v0.2.md`。
|
||
- 修复 `sources/source_excerpts.json` 的 `quote_status`、`source_location`，并补充 QPI 暴力降维 / 恶意升维 evidence。
|
||
- 扩展 source article / source excerpt schema 枚举与 validator 检查。
|
||
- 强化 QPI JSON 和 Markdown card 输出契约。
|
||
- 强化思想考古 JSON 和 Markdown card 停止门。
|
||
- 扩展 regression schema 的可评估字段。
|
||
- 拆分 regression cases 为每模型文件，并保持 aggregate 文件。
|
||
- 每模型扩展到 17 条 regression cases。
|
||
- selector 升级到 v0.2 规则版，保留 no LLM。
|
||
- 新增 `scripts/run_selector_regression.py`。
|
||
- 新增 `scripts/check_model_card_sync.py`。
|
||
- 生成 content review、model review status、next action、command log、schema notes、changed files manifest、repo tree 等审核材料。
|
||
|
||
## 3. 未完成任务及原因
|
||
|
||
- 未升级 `stable`：用户和 CCRA 明确禁止，本轮只允许 draft-callable 审查结论。
|
||
- 未扩展第三模型：用户和 CCRA 明确要求先稳定 QPI / 思想考古。
|
||
- 未接入完整问题回答系统：属于非目标。
|
||
- 未引入 LLM selector：selector v0.2 仍为规则 selector。
|
||
- 未建立 `selector_score_breakdown` 的运行时数据仓库：当前以静态报告和 selector demo 输出说明 score breakdown。
|
||
|
||
## 4. 关键新增 / 修改文件
|
||
|
||
详见：
|
||
|
||
- `reports/changed_files_manifest.md`
|
||
|
||
核心新增文件：
|
||
|
||
- `docs/CONTENT_STABILIZATION_PROTOCOL.md`
|
||
- `sources/evidence_coverage.matrix.json`
|
||
- `tests/qpi.regression.json`
|
||
- `tests/intellectual_archaeology.regression.json`
|
||
- `scripts/run_selector_regression.py`
|
||
- `scripts/check_model_card_sync.py`
|
||
- `reports/content_review_report_v0.2.md`
|
||
- `reports/model_review_status.json`
|
||
- `reports/next_action_register_v0.2.md`
|
||
- `reports/changed_files_manifest.md`
|
||
- `reports/command_log.md`
|
||
- `reports/open_questions_for_CCRA.md`
|
||
- `reports/schema_change_notes.md`
|
||
|
||
## 5. 执行命令与结果
|
||
|
||
详见：
|
||
|
||
- `reports/command_log.md`
|
||
|
||
摘要：
|
||
|
||
| Command | Result |
|
||
| --- | --- |
|
||
| `python scripts\rebuild_indexes.py --check` | PASS |
|
||
| `python scripts\check_card_contract.py` | PASS |
|
||
| `python scripts\validate_model_library.py` | PASS |
|
||
| `python scripts\run_selector_demo.py` | PASS |
|
||
| `python scripts\run_selector_regression.py` | PASS |
|
||
| `python scripts\check_model_card_sync.py` | PASS |
|
||
| `python -m unittest discover -s tests -p "test*.py" -v` | PASS, 14 tests |
|
||
|
||
## 6. 实现取舍
|
||
|
||
- `draft-callable` 没有写入模型 JSON，仅作为 review report 结论，避免过早扩展状态 schema。
|
||
- `reports/index_check_report.md` 作为审核友好摘要补充；实际脚本仍写 `reports/index_rebuild_report.md`。
|
||
- `reports/content_review_report.md`、`reports/evidence_coverage_matrix.md`、`reports/selector_regression_report.md` 作为无版本审核入口，指向 v0.2 正本。
|
||
- regression per-model 文件作为人审 source of truth，`tests/regression_cases.json` 保持 aggregate 供 validator 使用。
|
||
- selector v0.2 只做规则评分和拒绝理由，不做回答生成。
|
||
|
||
## 7. 需要 CCRA / 用户确认的问题
|
||
|
||
详见：
|
||
|
||
- `reports/open_questions_for_CCRA.md`
|
||
|
||
核心问题：
|
||
|
||
1. QPI mixed case 的 `dominant_scarcity` 仲裁是否足够。
|
||
2. QPI 输出契约中的 `problem_owner`、`time_scale`、`dominant_scarcity`、`evidence_gap` 是否应进入 schema required。
|
||
3. 思想考古 `recommended_max_depth` / `stop_reason` / `no_deeper_reason` 是否应进入 schema required。
|
||
4. selector v0.2 阈值是否需要基于真实输入校准。
|
||
5. 是否继续保持 `draft / B / pending`。
|
||
6. 是否允许之后讨论第三模型，默认答案仍为否。
|
||
|
||
## 8. 当前模型状态判断
|
||
|
||
| Model | Status | Stability | Regression Status | Draft-callable | Stable Allowed |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| `qpi` | draft | B | pending | yes | no |
|
||
| `intellectual_archaeology` | draft | B | pending | yes | no |
|
||
|
||
## 9. 审核包入口
|
||
|
||
- `models/model_index.json`
|
||
- `cards/card_index.md`
|
||
- `models/qpi.model.json`
|
||
- `models/intellectual_archaeology.model.json`
|
||
- `cards/qpi.md`
|
||
- `cards/intellectual_archaeology.md`
|
||
- `sources/source_articles.json`
|
||
- `sources/source_excerpts.json`
|
||
- `sources/evidence_coverage.matrix.json`
|
||
- `tests/qpi.regression.json`
|
||
- `tests/intellectual_archaeology.regression.json`
|
||
- `tests/regression_cases.json`
|
||
- `selector/selector_rules.json`
|
||
- `selector/selector_examples.json`
|
||
- `reports/content_review_report_v0.2.md`
|
||
- `reports/validation_report.md`
|
||
- `reports/index_check_report.md`
|
||
- `reports/selector_regression_report_v0.2.md`
|
||
- `reports/model_card_sync_report_v0.2.md`
|