wantsong
/
the-mindscape-of-bro-tsong
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
the-mindscape-of-bro-tsong/reports/ChatGPT交接文档_模型库MVP_第二轮内容稳定化...

6.1 KiB
Raw Blame History

ChatGPT 交接文档：模型库 MVP 第二轮内容稳定化

审核摘要

本轮依据：

  • 2026-06-16-核心模型抽取样板 v0.1.md
  • CCRA_Codex指导意见_Index更新策略与下一轮执行_v0.2_2026-06-16.md
  • CCRA_Codex指导意见_模型库MVP第二轮内容稳定化_v0.3_2026-06-16.md

本轮目标：

  • 不扩展第三模型。
  • 不接入完整问题回答系统。
  • 不引入 LLM selector。
  • 不升级 stable。
  • 优先完成 QPI / 思想考古内容稳定化、证据矩阵、回归扩展、selector 防误召回和 index drift 检查。

当前状态：

  • QPI: draft / B / pending
  • 思想考古: draft / B / pending

请求 CCRA 审核：

  1. 内容稳定化是否达标。
  2. evidence coverage 是否足够。
  3. regression cases 是否足够。
  4. selector v0.2 是否避免误召回。
  5. 是否允许进入下一阶段。

1. 本轮 Codex 接收的指导文件

  • reports/Codex新会话交接文档_模型库MVP_2026-06-16.md
  • C:\Users\wangq\Documents\Codex\knowledge-vault\work\internal\强哥的思想宇宙\GPT成果\CCRA_Codex指导意见_Index更新策略与下一轮执行_v0.2_2026-06-16.md
  • C:\Users\wangq\Documents\Codex\knowledge-vault\work\internal\强哥的思想宇宙\GPT成果\CCRA_Codex指导意见_模型库MVP第二轮内容稳定化_v0.3_2026-06-16.md
  • 用户明确约束：不扩展第三模型、不接完整问题回答系统、不引入 LLM selector、不升级 stable。

2. 本轮实际完成任务

  • 建立 docs/CONTENT_STABILIZATION_PROTOCOL.md。
  • 建立字段级 sources/evidence_coverage.matrix.json 和 reports/evidence_coverage_report_v0.2.md。
  • 修复 sources/source_excerpts.json 的 quote_status、source_location，并补充 QPI 暴力降维 / 恶意升维 evidence。
  • 扩展 source article / source excerpt schema 枚举与 validator 检查。
  • 强化 QPI JSON 和 Markdown card 输出契约。
  • 强化思想考古 JSON 和 Markdown card 停止门。
  • 扩展 regression schema 的可评估字段。
  • 拆分 regression cases 为每模型文件，并保持 aggregate 文件。
  • 每模型扩展到 17 条 regression cases。
  • selector 升级到 v0.2 规则版，保留 no LLM。
  • 新增 scripts/run_selector_regression.py。
  • 新增 scripts/check_model_card_sync.py。
  • 生成 content review、model review status、next action、command log、schema notes、changed files manifest、repo tree 等审核材料。

3. 未完成任务及原因

  • 未升级 stable：用户和 CCRA 明确禁止，本轮只允许 draft-callable 审查结论。
  • 未扩展第三模型：用户和 CCRA 明确要求先稳定 QPI / 思想考古。
  • 未接入完整问题回答系统：属于非目标。
  • 未引入 LLM selector：selector v0.2 仍为规则 selector。
  • 未建立 selector_score_breakdown 的运行时数据仓库：当前以静态报告和 selector demo 输出说明 score breakdown。

4. 关键新增 / 修改文件

详见：

  • reports/changed_files_manifest.md

核心新增文件：

  • docs/CONTENT_STABILIZATION_PROTOCOL.md
  • sources/evidence_coverage.matrix.json
  • tests/qpi.regression.json
  • tests/intellectual_archaeology.regression.json
  • scripts/run_selector_regression.py
  • scripts/check_model_card_sync.py
  • reports/content_review_report_v0.2.md
  • reports/model_review_status.json
  • reports/next_action_register_v0.2.md
  • reports/changed_files_manifest.md
  • reports/command_log.md
  • reports/open_questions_for_CCRA.md
  • reports/schema_change_notes.md

5. 执行命令与结果

详见：

  • reports/command_log.md

摘要：

Command Result
python scripts\rebuild_indexes.py --check PASS
python scripts\check_card_contract.py PASS
python scripts\validate_model_library.py PASS
python scripts\run_selector_demo.py PASS
python scripts\run_selector_regression.py PASS
python scripts\check_model_card_sync.py PASS
python -m unittest discover -s tests -p "test*.py" -v PASS, 14 tests

6. 实现取舍

  • draft-callable 没有写入模型 JSON，仅作为 review report 结论，避免过早扩展状态 schema。
  • reports/index_check_report.md 作为审核友好摘要补充；实际脚本仍写 reports/index_rebuild_report.md。
  • reports/content_review_report.md、reports/evidence_coverage_matrix.md、reports/selector_regression_report.md 作为无版本审核入口，指向 v0.2 正本。
  • regression per-model 文件作为人审 source of truth，tests/regression_cases.json 保持 aggregate 供 validator 使用。
  • selector v0.2 只做规则评分和拒绝理由，不做回答生成。

7. 需要 CCRA / 用户确认的问题

详见：

  • reports/open_questions_for_CCRA.md

核心问题：

  1. QPI mixed case 的 dominant_scarcity 仲裁是否足够。
  2. QPI 输出契约中的 problem_owner、time_scale、dominant_scarcity、evidence_gap 是否应进入 schema required。
  3. 思想考古 recommended_max_depth / stop_reason / no_deeper_reason 是否应进入 schema required。
  4. selector v0.2 阈值是否需要基于真实输入校准。
  5. 是否继续保持 draft / B / pending。
  6. 是否允许之后讨论第三模型，默认答案仍为否。

8. 当前模型状态判断

Model Status Stability Regression Status Draft-callable Stable Allowed
qpi draft B pending yes no
intellectual_archaeology draft B pending yes no

9. 审核包入口

  • models/model_index.json
  • cards/card_index.md
  • models/qpi.model.json
  • models/intellectual_archaeology.model.json
  • cards/qpi.md
  • cards/intellectual_archaeology.md
  • sources/source_articles.json
  • sources/source_excerpts.json
  • sources/evidence_coverage.matrix.json
  • tests/qpi.regression.json
  • tests/intellectual_archaeology.regression.json
  • tests/regression_cases.json
  • selector/selector_rules.json
  • selector/selector_examples.json
  • reports/content_review_report_v0.2.md
  • reports/validation_report.md
  • reports/index_check_report.md
  • reports/selector_regression_report_v0.2.md
  • reports/model_card_sync_report_v0.2.md