the-mindscape-of-bro-tsong/knowledge_assets/08_CCRA模型库MVP质量门与交接协议.md

384 lines
8.8 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# CCRA 模型库 MVP 质量门与交接协议
version: 0.1
last_updated: 2026-06-16
status: active
## 1. 协议来源
本文件综合以下 CCRA 指导文件:
- `2026-06-16-核心模型抽取样板 v0.1.md`
- `CCRA_Codex指导意见_Index更新策略与下一轮执行_v0.2_2026-06-16.md`
- `CCRA_Codex指导意见_模型库MVP第二轮内容稳定化_v0.3_2026-06-16.md`
- `CCRA_下一轮审核包压缩上传协议_v0.1_2026-06-16.md`
如果模型质量规则之间发生冲突,优先级为:
```text
v0.3 内容稳定化
> v0.2 Index 策略
> v0.1 核心模型抽取样板
```
审核包压缩上传协议只约束交接与上传方式,不覆盖模型质量规则。
## 2. 当前阶段边界
当前阶段是 `model_library_mvp`
本阶段目标是建立 file-first 认知模型库 MVP让 QPI 和思想考古学两个样板模型具备:
- 可读Markdown card 可供人审查。
- 可追溯source article 和 source excerpt 能支撑字段来源。
- 可调用JSON model card 有稳定输出契约。
- 可测试regression cases 能覆盖正例、边界和误用。
- 可路由rule-based selector 能推荐和拒绝模型。
本阶段不做:
- 完整前端
- 后端服务
- 数据库
- RAG
- 知识图谱
- 用户系统
- 认证 / 支付
- 商业平台
- 多人协作系统
- 完整问题回答系统
- LLM selector
## 3. 模型抽取链路
核心模型进入模型库时,应按以下链路组织:
```text
原始文章 / 代表文本
-> source article record
-> source evidence excerpts
-> Markdown card
-> JSON model card
-> regression cases
-> selector rules / examples
-> model/card indexes
-> validation report
-> CCRA review
```
模型抽取不是文章摘要。抽取目标是得到可复用、可边界化、可验证、可被 selector 调用的认知模型资产。
GPT / CCRA 规划文件不能直接当作本地执行规则。Codex 必须先将规划本地化为:
- local rules
- schemas
- workflow gates
- indexes
- validation tools
- owner / CCRA review points
## 4. Index 维护规则
`models/model_index.json` 是机器可读模型注册表。
`cards/card_index.md` 是人读模型卡索引。
二者是导航层和注册表,不是模型内容本体。
完整模型内容仍以以下文件为 source of truth
- `models/*.model.json`
- `cards/*.md`
- `sources/source_articles.json`
- `sources/source_excerpts.json`
- `tests/*.regression.json`
Index 维护采用混合策略:
```text
每次资产变化后增量同步
+
关键节点全量重建或全量校验
```
关键节点包括:
- ChatGPT / CCRA / owner 交接前
- release 前
- schema 变化后
- 批量扩展模型后
- 模型状态升级前
- selector 依赖模型注册表前
- 发现 index drift 后
## 5. 内容稳定化质量门
工程 contract 通过不等于内容稳定。
模型不能仅因为以下事项通过就升级:
- JSON 可解析
- schema pass
- Markdown required headings 存在
- selector demo 能运行
- index drift check pass
核心模型升级必须经过:
- evidence review
- content review
- regression review
- selector review
- owner / CCRA review
QPI 和思想考古在通过内容审查前保持:
- `status: draft`
- `stability_level: B`
- `regression_status: pending``in_progress`
不得仅因 schema、contract、selector demo 或本地 validation 通过而升级为 stable。
## 6. Evidence Coverage 规则
source excerpt 必须区分证据状态。
字段级 evidence coverage 至少区分:
- `direct_source`: 原文直接支撑。
- `derived_from_source`: 从原文合理推导。
- `product_decision`: 产品化调用或 selector 规则。
- `red_team_inference`: 边界、误用、防误召回推导。
- `owner_decision`: Owner / CCRA 人工判断。
source excerpt 应包含:
- `quote_status`
- `source_location`
`quote_status` 取值:
- `exact`: 准确原文摘录。
- `condensed`: 压缩摘录。
- `paraphrased`: 转述。
如果 `quote_status=exact``raw_excerpt` 不应包含未说明的省略号。
如果摘录为了节省篇幅而压缩,必须使用 `quote_status=condensed`,并在 notes 中说明。
## 7. QPI 强化要求
QPI 是前置路由模型,不是完整解决方案。
QPI 输出契约必须能支持稳定路由,至少包含:
- `problem_owner`
- `problem_source`
- `time_scale`
- `scarcity_profile`
- `dominant_scarcity`
- `classification`
- `classification_confidence`
- `evidence_gap`
- `misclassification_risk`
- `recommended_next_step`
- `next_model_candidates`
QPI 必须能处理:
- Question: 数据匮乏。
- Problem: 路径、方法或资源匮乏。
- Issue: 共识、确定性或动态秩序匮乏。
- mixed state: 多类匮乏物同时存在。
- no-call: 明确事实查询、纯改写、直接执行等不需要问题定性场景。
QPI 必须识别误用风险:
- 暴力降维
- 恶意升维
- 手段错配
## 8. 思想考古强化要求
思想考古学是深度建模模型,不是默认分析流程。
它必须保留七层结构:
1. application
2. domain
3. process
4. purpose
5. core_mechanism
6. human_capability
7. philosophical_bedrock
但不得默认七层全量展开。
输出契约必须包含:
- `should_call`
- `entry_reason`
- `recommended_max_depth`
- `layers_to_analyze`
- `stop_reason`
- `no_deeper_reason`
- `assumptions_by_layer`
- `validation_needed`
- `action_implication`
思想考古必须遵守最小充分下潜原则:
```text
如果继续下潜不再改变判断、路径、验证方式或行动边界,就应停止。
```
不应调用思想考古的场景包括:
- 明确事实查询。
- 低风险轻量改写。
- 用户只需要直接执行。
- 缺少足够材料,无法区分真实假设和空泛哲学化表达。
## 9. Regression 扩展要求
样板阶段每个核心模型至少 5 条 regression cases。
进入内容稳定化阶段后,每个核心模型至少 15 条 regression cases。
Regression cases 应覆盖:
- positive
- boundary
- misuse
- no_call
- selector_gate
- pipeline
Regression tests 不只是代码测试,也用于检验:
- 模型是否被正确调用。
- 不该调用时是否能拒绝。
- 混合型输入是否能暴露证据缺口。
- selector 是否误召回。
- 模型是否过度下潜或过度升维。
按模型拆分的 regression 文件可以作为人审 source of truth聚合文件可以供 validator 使用。
## 10. Selector v0.2 原则
selector 继续 rule-based。
暂不引入 LLM selector。
selector v0.2 应优先补强:
- negative trigger first
- no-call threshold
- negative trigger penalty
- score breakdown
- rejected model reasons
- QPI-before-IA gate
- selector regression tests
selector 输出应包含:
- selected models
- rejected models
- scores
- reasons
- penalties
- no-call status
- routing notes
思想考古不应仅因为出现“底层”“模型”“哲学”等词就被召回。问题定义未完成时,应先通过 QPI。
## 11. CCRA 审核包规则
新会话不要上传 30 个分散文件。
由 Codex 本地生成。`ccra_review_bundle/` 是审核包归档根目录,不直接平铺放置单轮文件。每一轮应创建独立目录:
```text
ccra_review_bundle/
round-02_2026-06-16_second-audit/
round-03_2026-06-17_contract-hardening-selector-calibration/
```
单轮目录内部保持压缩上传协议的标准文件名:
```text
ccra_review_bundle/round-NN_YYYY-MM-DD_topic/
00_OPEN_THIS_FIRST_CCRA_REVIEW_BRIEF.md
01_GUIDANCE_PACK_AND_COMPLIANCE_MATRIX.md
02_CURRENT_ASSET_PACK.md
03_REPORTS_DIFF_AND_COMMAND_LOG.md
BUNDLE_FILE_MANIFEST.md
optional_raw_changed_files.zip
```
推荐上传顺序:
第一批:
- `00_OPEN_THIS_FIRST_CCRA_REVIEW_BRIEF.md`
- `01_GUIDANCE_PACK_AND_COMPLIANCE_MATRIX.md`
- `03_REPORTS_DIFF_AND_COMMAND_LOG.md`
如果仍然过大,先上传:
- `00_OPEN_THIS_FIRST_CCRA_REVIEW_BRIEF.md`
- `03_REPORTS_DIFF_AND_COMMAND_LOG.md`
第二批按 CCRA 要求补:
- `02_CURRENT_ASSET_PACK.md`
- `optional_raw_changed_files.zip`
- 或 CCRA 指定的原始文件
## 12. 知识库边界规则
适合放入知识库:
- 稳定长期背景文件。
- 核心模型地图。
- 模型卡结构规范。
- 稳固性评级规则。
- 产品规划过程记录。
- 已定稿的 CCRA 长期指导协议。
不适合放入知识库:
- 本轮 validation report。
- command log。
- 临时 changed files manifest。
- 临时 selector regression report。
- 临时 content review report。
- 未审定的中间状态文件。
- 下一轮审核包合并文档整体。
判断标准:
```text
回答“以后一直怎么做”的文档,可以进知识库。
回答“这轮做了什么、改了什么、哪些 PASS/FAIL”的文档不进知识库。
```
## 13. 推荐分工
Codex:
- 本地执行者。
- 校验脚本运行者。
- 审核包生成器。
- 预审疑点整理者。
CCRA:
- 产品质量门槛判断者。
- 模型产品化审查者。
- 是否进入下一阶段的判断者。
Codex 不应替代 CCRA 做最终内容质量审查。