the-mindscape-of-bro-tsong/knowledge_assets/08_CCRA模型库MVP质量门与交接协议.md

8.8 KiB
Raw Permalink Blame History

CCRA 模型库 MVP 质量门与交接协议

version: 0.1

last_updated: 2026-06-16

status: active

1. 协议来源

本文件综合以下 CCRA 指导文件:

  • 2026-06-16-核心模型抽取样板 v0.1.md
  • CCRA_Codex指导意见_Index更新策略与下一轮执行_v0.2_2026-06-16.md
  • CCRA_Codex指导意见_模型库MVP第二轮内容稳定化_v0.3_2026-06-16.md
  • CCRA_下一轮审核包压缩上传协议_v0.1_2026-06-16.md

如果模型质量规则之间发生冲突,优先级为:

v0.3 内容稳定化
> v0.2 Index 策略
> v0.1 核心模型抽取样板

审核包压缩上传协议只约束交接与上传方式,不覆盖模型质量规则。

2. 当前阶段边界

当前阶段是 model_library_mvp

本阶段目标是建立 file-first 认知模型库 MVP让 QPI 和思想考古学两个样板模型具备:

  • 可读Markdown card 可供人审查。
  • 可追溯source article 和 source excerpt 能支撑字段来源。
  • 可调用JSON model card 有稳定输出契约。
  • 可测试regression cases 能覆盖正例、边界和误用。
  • 可路由rule-based selector 能推荐和拒绝模型。

本阶段不做:

  • 完整前端
  • 后端服务
  • 数据库
  • RAG
  • 知识图谱
  • 用户系统
  • 认证 / 支付
  • 商业平台
  • 多人协作系统
  • 完整问题回答系统
  • LLM selector

3. 模型抽取链路

核心模型进入模型库时,应按以下链路组织:

原始文章 / 代表文本
-> source article record
-> source evidence excerpts
-> Markdown card
-> JSON model card
-> regression cases
-> selector rules / examples
-> model/card indexes
-> validation report
-> CCRA review

模型抽取不是文章摘要。抽取目标是得到可复用、可边界化、可验证、可被 selector 调用的认知模型资产。

GPT / CCRA 规划文件不能直接当作本地执行规则。Codex 必须先将规划本地化为:

  • local rules
  • schemas
  • workflow gates
  • indexes
  • validation tools
  • owner / CCRA review points

4. Index 维护规则

models/model_index.json 是机器可读模型注册表。

cards/card_index.md 是人读模型卡索引。

二者是导航层和注册表,不是模型内容本体。

完整模型内容仍以以下文件为 source of truth

  • models/*.model.json
  • cards/*.md
  • sources/source_articles.json
  • sources/source_excerpts.json
  • tests/*.regression.json

Index 维护采用混合策略:

每次资产变化后增量同步
+
关键节点全量重建或全量校验

关键节点包括:

  • ChatGPT / CCRA / owner 交接前
  • release 前
  • schema 变化后
  • 批量扩展模型后
  • 模型状态升级前
  • selector 依赖模型注册表前
  • 发现 index drift 后

5. 内容稳定化质量门

工程 contract 通过不等于内容稳定。

模型不能仅因为以下事项通过就升级:

  • JSON 可解析
  • schema pass
  • Markdown required headings 存在
  • selector demo 能运行
  • index drift check pass

核心模型升级必须经过:

  • evidence review
  • content review
  • regression review
  • selector review
  • owner / CCRA review

QPI 和思想考古在通过内容审查前保持:

  • status: draft
  • stability_level: B
  • regression_status: pendingin_progress

不得仅因 schema、contract、selector demo 或本地 validation 通过而升级为 stable。

6. Evidence Coverage 规则

source excerpt 必须区分证据状态。

字段级 evidence coverage 至少区分:

  • direct_source: 原文直接支撑。
  • derived_from_source: 从原文合理推导。
  • product_decision: 产品化调用或 selector 规则。
  • red_team_inference: 边界、误用、防误召回推导。
  • owner_decision: Owner / CCRA 人工判断。

source excerpt 应包含:

  • quote_status
  • source_location

quote_status 取值:

  • exact: 准确原文摘录。
  • condensed: 压缩摘录。
  • paraphrased: 转述。

如果 quote_status=exactraw_excerpt 不应包含未说明的省略号。

如果摘录为了节省篇幅而压缩,必须使用 quote_status=condensed,并在 notes 中说明。

7. QPI 强化要求

QPI 是前置路由模型,不是完整解决方案。

QPI 输出契约必须能支持稳定路由,至少包含:

  • problem_owner
  • problem_source
  • time_scale
  • scarcity_profile
  • dominant_scarcity
  • classification
  • classification_confidence
  • evidence_gap
  • misclassification_risk
  • recommended_next_step
  • next_model_candidates

QPI 必须能处理:

  • Question: 数据匮乏。
  • Problem: 路径、方法或资源匮乏。
  • Issue: 共识、确定性或动态秩序匮乏。
  • mixed state: 多类匮乏物同时存在。
  • no-call: 明确事实查询、纯改写、直接执行等不需要问题定性场景。

QPI 必须识别误用风险:

  • 暴力降维
  • 恶意升维
  • 手段错配

8. 思想考古强化要求

思想考古学是深度建模模型,不是默认分析流程。

它必须保留七层结构:

  1. application
  2. domain
  3. process
  4. purpose
  5. core_mechanism
  6. human_capability
  7. philosophical_bedrock

但不得默认七层全量展开。

输出契约必须包含:

  • should_call
  • entry_reason
  • recommended_max_depth
  • layers_to_analyze
  • stop_reason
  • no_deeper_reason
  • assumptions_by_layer
  • validation_needed
  • action_implication

思想考古必须遵守最小充分下潜原则:

如果继续下潜不再改变判断、路径、验证方式或行动边界,就应停止。

不应调用思想考古的场景包括:

  • 明确事实查询。
  • 低风险轻量改写。
  • 用户只需要直接执行。
  • 缺少足够材料,无法区分真实假设和空泛哲学化表达。

9. Regression 扩展要求

样板阶段每个核心模型至少 5 条 regression cases。

进入内容稳定化阶段后,每个核心模型至少 15 条 regression cases。

Regression cases 应覆盖:

  • positive
  • boundary
  • misuse
  • no_call
  • selector_gate
  • pipeline

Regression tests 不只是代码测试,也用于检验:

  • 模型是否被正确调用。
  • 不该调用时是否能拒绝。
  • 混合型输入是否能暴露证据缺口。
  • selector 是否误召回。
  • 模型是否过度下潜或过度升维。

按模型拆分的 regression 文件可以作为人审 source of truth聚合文件可以供 validator 使用。

10. Selector v0.2 原则

selector 继续 rule-based。

暂不引入 LLM selector。

selector v0.2 应优先补强:

  • negative trigger first
  • no-call threshold
  • negative trigger penalty
  • score breakdown
  • rejected model reasons
  • QPI-before-IA gate
  • selector regression tests

selector 输出应包含:

  • selected models
  • rejected models
  • scores
  • reasons
  • penalties
  • no-call status
  • routing notes

思想考古不应仅因为出现“底层”“模型”“哲学”等词就被召回。问题定义未完成时,应先通过 QPI。

11. CCRA 审核包规则

新会话不要上传 30 个分散文件。

由 Codex 本地生成。ccra_review_bundle/ 是审核包归档根目录,不直接平铺放置单轮文件。每一轮应创建独立目录:

ccra_review_bundle/
  round-02_2026-06-16_second-audit/
  round-03_2026-06-17_contract-hardening-selector-calibration/

单轮目录内部保持压缩上传协议的标准文件名:

ccra_review_bundle/round-NN_YYYY-MM-DD_topic/
  00_OPEN_THIS_FIRST_CCRA_REVIEW_BRIEF.md
  01_GUIDANCE_PACK_AND_COMPLIANCE_MATRIX.md
  02_CURRENT_ASSET_PACK.md
  03_REPORTS_DIFF_AND_COMMAND_LOG.md
  BUNDLE_FILE_MANIFEST.md
  optional_raw_changed_files.zip

推荐上传顺序:

第一批:

  • 00_OPEN_THIS_FIRST_CCRA_REVIEW_BRIEF.md
  • 01_GUIDANCE_PACK_AND_COMPLIANCE_MATRIX.md
  • 03_REPORTS_DIFF_AND_COMMAND_LOG.md

如果仍然过大,先上传:

  • 00_OPEN_THIS_FIRST_CCRA_REVIEW_BRIEF.md
  • 03_REPORTS_DIFF_AND_COMMAND_LOG.md

第二批按 CCRA 要求补:

  • 02_CURRENT_ASSET_PACK.md
  • optional_raw_changed_files.zip
  • 或 CCRA 指定的原始文件

12. 知识库边界规则

适合放入知识库:

  • 稳定长期背景文件。
  • 核心模型地图。
  • 模型卡结构规范。
  • 稳固性评级规则。
  • 产品规划过程记录。
  • 已定稿的 CCRA 长期指导协议。

不适合放入知识库:

  • 本轮 validation report。
  • command log。
  • 临时 changed files manifest。
  • 临时 selector regression report。
  • 临时 content review report。
  • 未审定的中间状态文件。
  • 下一轮审核包合并文档整体。

判断标准:

回答“以后一直怎么做”的文档,可以进知识库。
回答“这轮做了什么、改了什么、哪些 PASS/FAIL”的文档不进知识库。

13. 推荐分工

Codex:

  • 本地执行者。
  • 校验脚本运行者。
  • 审核包生成器。
  • 预审疑点整理者。

CCRA:

  • 产品质量门槛判断者。
  • 模型产品化审查者。
  • 是否进入下一阶段的判断者。

Codex 不应替代 CCRA 做最终内容质量审查。