54 lines
2.4 KiB
JSON
54 lines
2.4 KiB
JSON
{
|
|
"$schema": "https://json-schema.org/draft/2020-12/schema",
|
|
"title": "Regression Case",
|
|
"description": "认知模型回归测试用例 schema。",
|
|
"type": "object",
|
|
"required": [
|
|
"case_id",
|
|
"model_id",
|
|
"case_type",
|
|
"input",
|
|
"expected_behavior",
|
|
"failure_signal"
|
|
],
|
|
"properties": {
|
|
"case_id": {"type": "string", "description": "测试用例 ID。"},
|
|
"model_id": {"type": "string", "description": "被测试模型 ID。"},
|
|
"case_type": {
|
|
"type": "string",
|
|
"description": "用例类型。",
|
|
"enum": ["positive", "boundary", "misuse", "no_call", "selector_gate", "pipeline"]
|
|
},
|
|
"input": {"type": "string", "description": "测试输入。"},
|
|
"expected_behavior": {"type": "string", "description": "期望行为。"},
|
|
"failure_signal": {"type": "string", "description": "失败信号。"},
|
|
"expected_output_elements": {"type": "array", "description": "期望输出包含的要素。", "items": {"type": "string"}},
|
|
"should_call_model": {"type": "boolean", "description": "该模型是否应该被调用。"},
|
|
"expected_primary_model": {"type": "string", "description": "期望首选模型 ID。"},
|
|
"negative_expected_models": {"type": "array", "description": "不应被召回的模型 ID。", "items": {"type": "string"}},
|
|
"expected_classification": {
|
|
"type": "string",
|
|
"description": "QPI 分类期望。",
|
|
"enum": ["question", "problem", "issue", "mixed", "no_call", "not_applicable"]
|
|
},
|
|
"expected_dominant_scarcity": {
|
|
"type": "string",
|
|
"description": "期望主导匮乏物。",
|
|
"enum": ["data", "path_resource", "consensus_order", "mixed", "unknown", "not_applicable"]
|
|
},
|
|
"expected_max_depth": {
|
|
"type": "string",
|
|
"description": "思想考古期望最大下潜层级。",
|
|
"enum": ["application", "domain", "process", "purpose", "core_mechanism", "human_capability", "philosophical_bedrock", "no_call", "not_applicable"]
|
|
},
|
|
"minimum_required_elements": {"type": "array", "description": "必须出现的输出元素。", "items": {"type": "string"}},
|
|
"forbidden_elements": {"type": "array", "description": "不应出现的输出元素。", "items": {"type": "string"}},
|
|
"evaluation_mode": {
|
|
"type": "string",
|
|
"description": "评估模式。",
|
|
"enum": ["manual", "keyword", "structured", "semantic"]
|
|
},
|
|
"notes": {"type": "string", "description": "补充说明。"}
|
|
}
|
|
}
|