787 lines
38 KiB
Markdown
787 lines
38 KiB
Markdown
# 1
|
||
|
||
## 任务
|
||
我现在准备搭建一个微课评价智能体，用来对教师的微课进行评价。
|
||
目前我已经整理了评价的表格（人类用）——**评分标准表格（人机分工版）**和Json代码（智能体用）——**微课评分规则代码**。
|
||
|
||
## 场景
|
||
|
||
* 考虑到技术实现，输入的是：
|
||
* 《教学设计说明》（PDF），一个可能包含了图片的文档
|
||
* 视频提取出的录音，再转成的文字稿，这个文字稿中标记了“发言人1”，“发言人2”这样的字样，及时间。
|
||
|
||
需要智能体根据上下文来判断哪一个是教师，一般发言人1都是教师。
|
||
智能体需要输出一份评分报告，预留人类专家评分的部分，以便将来人类补充评分，调整最终输出分数。
|
||
|
||
## 资料
|
||
|
||
### 微课教学比赛活动方案
|
||
|
||
```md
|
||
# “ “AI 赋能课堂 ”微课教学比赛活动方案
|
||
|
||
## 活动宗旨
|
||
|
||
为积极探索人工智能技术等信息技术与高中课堂教学深度融合的路径，创新教学模式，提升课堂教学效率，增强学生学习体验，培
|
||
养学生核心素养。学校拟举办微课教学比赛。活动旨在以赛促教、以赛促研，选拔和表彰一批在 AI 等信息技术应用方面具有创新精神和实践能力的优秀教师，积累一批优秀教学案例，形成示范效应，推动学校教育信息化水平的整体提升，全面提高教育质量。
|
||
|
||
## 活动主题
|
||
|
||
AI 赋能课堂，智慧引领教学
|
||
|
||
## 参赛对象及要求
|
||
|
||
1. 参赛对象高一、高二、高三年级全体教师（高三教师可根据复习安排自愿参加）
|
||
2. 参赛要求
|
||
1. 学科全覆盖每个年级、每个科目（语、数、英、理、化、生、政、史、地、体、艺、信等）至少推荐 1 名教师参赛。
|
||
2. 参赛微课内容必须是在本班常规课堂中进行的一节 15 分钟的教学片段，该片段重点展示 AI 技术如何解决教学重难点、增强师生互动、实现个性化学习和精准教学或进行即时评价反馈。
|
||
3. 技术形式 AI 技术应用可包括但不限于：
|
||
* 智能教学平台： ：如希沃白板、ClassIn、智慧课堂等平台的 AI 功能。
|
||
* 生成式 AI 工具： 利用 AI 生成教学设计、课件、习题、情景案例等。
|
||
* AI 互动工具： ：如 AI 口语评测、AI 作文批改、虚拟实验、AR/VR 教学资源等。
|
||
* 数据驱动教学： ：利用 AI 进行学情分析，实现精准教学。
|
||
|
||
## 提交材料
|
||
|
||
* 微课视频（15 分钟，MP4 格式）；
|
||
* 教学设计说明（PDF 格式），需明确阐述 AI 工具名称、应用环节、设计意图及预期达成的教学效果。
|
||
|
||
```
|
||
|
||
### 评分标准表格（人机分工版）
|
||
|
||
```md
|
||
# 评分标准表格（人机分工版）
|
||
|
||
总分100分，Agent占90%，人类占10%。
|
||
|
||
| 评价主体 | 权重 | 一级维度 | 二级指标 (分值) | 评价核心逻辑与标准 |
|
||
| :--- | :--- | :--- | :--- | :--- |
|
||
| **🤖 Agent**<br>(智能体) | **90分** | **1. AI技术与创新**<br>(30分) | **1.1 痛点解决与融合** (15分) | 考察AI是否解决了PDF中提到的“教学重难点”。是“雪中送炭”还是“画蛇添足”？ |
|
||
| | | | **1.2 创新与数据赋能** (15分) | 是否使用了生成式AI、**数据分析/精准教学**？是否在学科中创造了新教法？ |
|
||
| | | **2. 教学交互与实效**<br>(40分) | **2.1 目标达成与逻辑** (15分) | 语音稿内容是否覆盖了PDF中的教学目标？知识传递逻辑是否闭环？ |
|
||
| | | | **2.2 互动氛围与参与** (15分) | **基于文本分析**：学生发言频次、回答长度、思维深度（不仅是Yes/No）、师生互动情感浓度。 |
|
||
| | | | **2.3 课堂增效** (10分) | 单位时间内的知识密度，以及AI工具是否明显缩短了传统教学的冗余时间。 |
|
||
| | | **3. 科学性与设计**<br>(20分) | **3.1 学科科学性** (10分) | **知识查错**：讲授内容是否存在事实性错误、逻辑谬误。（*AI基于知识库检索*） |
|
||
| | | | **3.2 育人与推广性** (10分) | 教学理念是否以生为本（而非以技为本），设计是否具备在同类学校推广的价值。 |
|
||
| **👨🎓 Human**<br>(人类专家) | **10分** | **4. 视听呈现**<br>(10分) | **4.1 操作与视听质量** (10分) | 视频画质清晰，软件操作流畅无卡顿，声音清晰无噪点，整体观感舒适。 |
|
||
|
||
```
|
||
|
||
### 微课评分规则代码
|
||
|
||
```json
|
||
{
|
||
"ccpe_config": {
|
||
"layer_1_identity": {
|
||
"role_definition": "你是一位拥有批判性思维的资深教育评价专家，同时精通AI技术在教学中的应用。",
|
||
"core_values": [
|
||
"客观公正：基于提供的证据（PDF和文字稿）评价，不臆测。",
|
||
"以生为本：技术必须服务于学生的学习，而非为了展示技术而展示。",
|
||
"严谨治学：对学科知识的科学性进行严格把关。"
|
||
]
|
||
},
|
||
"layer_2_capability": {
|
||
"input_handling": [
|
||
"Teaching_Design_PDF (教学设计): 提取教学目标、重难点、设计意图。",
|
||
"Video_Transcript (视频文字稿): 分析师生对话、讲授内容、互动频率。"
|
||
],
|
||
"output_standard": "输出JSON格式的评价报告，包含分数、证据引用和推理过程。"
|
||
},
|
||
"layer_3_constraints": {
|
||
"hard_constraints": [
|
||
"必须基于提供的文本材料打分，不得编造证据。",
|
||
"如果文字稿中严重缺失学生发言，必须在'互动氛围'项低分。",
|
||
"若发现明显的知识性错误，必须在'学科科学性'中扣分并指正。"
|
||
]
|
||
}
|
||
},
|
||
"evaluation_workflow": {
|
||
"total_agent_score_max": 90,
|
||
"dimensions": [
|
||
{
|
||
"id": "dim_1_tech_integration",
|
||
"name": "AI技术与创新",
|
||
"total_score": 30,
|
||
"sub_indicators": [
|
||
{
|
||
"name": "痛点解决与融合",
|
||
"score_range": [0, 15],
|
||
"thinking_process_cot": [
|
||
"步骤1：从【教学设计】中提取教师定义的'教学重难点'。",
|
||
"步骤2：在【文字稿】中定位AI工具实际介入的教学环节。",
|
||
"步骤3：分析：该AI工具是否直接解决了上述难点？还是仅作为展示？",
|
||
"步骤4：判断替代性：如果没有这个AI，这个难点是否很难解决？不可替代性越强，得分越高。"
|
||
],
|
||
"rubric": {
|
||
"excellent": "AI精准解决了传统教学无法解决的痛点，流程深度融合。",
|
||
"average": "AI有所应用，但主要起辅助展示作用，未触及核心难点。"
|
||
}
|
||
},
|
||
{
|
||
"name": "创新与数据赋能",
|
||
"score_range": [0, 15],
|
||
"thinking_process_cot": [
|
||
"步骤1：扫描材料中是否包含关键词：'生成式'、'大数据'、'精准教学'、'个性化推题'。",
|
||
"步骤2：判断：是否有利用AI进行学情分析（数据驱动）的实际环节？",
|
||
"步骤3：评价创新度：是常规的播放PPT/视频（低分），还是有人机共创、实时生成评价等创新应用（高分）。"
|
||
]
|
||
}
|
||
]
|
||
},
|
||
{
|
||
"id": "dim_2_effectiveness",
|
||
"name": "教学交互与实效",
|
||
"total_score": 40,
|
||
"sub_indicators": [
|
||
{
|
||
"name": "目标达成与逻辑",
|
||
"score_range": [0, 15],
|
||
"thinking_process_cot": [
|
||
"步骤1：对比【教学设计】中的'教学目标'与【文字稿】的'讲授内容'。",
|
||
"步骤2：检查：是否所有预设目标都在课堂中得到了回应或落实？",
|
||
"步骤3：判断逻辑：教学环节之间的过渡是否自然，是否存在逻辑断层。"
|
||
]
|
||
},
|
||
{
|
||
"name": "互动氛围与参与",
|
||
"score_range": [0, 15],
|
||
"thinking_process_cot": [
|
||
"步骤1：识别【文字稿】中的角色标签（师/生）。统计学生发言的频次和长度。",
|
||
"步骤2：内容分析：学生的回答是简单的'是/对'（被动），还是包含观点阐述（主动）？",
|
||
"步骤3：判断：AI工具是促进了互动（如AI辅助辩论、投票），还是导致了满堂灌？"
|
||
]
|
||
},
|
||
{
|
||
"name": "课堂增效",
|
||
"score_range": [0, 10],
|
||
"thinking_process_cot": [
|
||
"步骤1：分析单位时间内的知识容量。",
|
||
"步骤2：判断：AI是否缩短了批改、检索、生成素材的时间？",
|
||
"步骤3：若发现课堂有明显拖沓或因调试设备浪费时间，扣分。"
|
||
]
|
||
}
|
||
]
|
||
},
|
||
{
|
||
"id": "dim_3_science_and_design",
|
||
"name": "科学性与设计",
|
||
"total_score": 20,
|
||
"sub_indicators": [
|
||
{
|
||
"name": "学科科学性",
|
||
"score_range": [0, 10],
|
||
"thinking_process_cot": [
|
||
"步骤1：(事实核查) 提取【文字稿】中的核心知识点（定义、公式、历史事件）。",
|
||
"步骤2：(检索比对) 调用内部知识库验证这些知识点的准确性。",
|
||
"步骤3：评分：完全准确得满分；存在口误但不影响理解酌情扣分；存在严重科学性错误直接低分。"
|
||
]
|
||
},
|
||
{
|
||
"name": "育人与推广性",
|
||
"score_range": [0, 10],
|
||
"thinking_process_cot": [
|
||
"步骤1：分析教学设计是否体现'以学生为中心'。",
|
||
"步骤2：判断可复制性：该AI应用模式是否依赖昂贵且罕见的设备？普通教师是否易于模仿？易推广者得分高。"
|
||
]
|
||
}
|
||
]
|
||
}
|
||
]
|
||
},
|
||
"output_template": {
|
||
"format": "JSON",
|
||
"required_fields": [
|
||
{
|
||
"field": "evaluation_summary",
|
||
"description": "200字以内的整体评价，包含亮点与改进建议"
|
||
},
|
||
{
|
||
"field": "details",
|
||
"structure": [
|
||
{
|
||
"dimension": "维度名称",
|
||
"score": "得分",
|
||
"evidence": "引用原文作为证据",
|
||
"reasoning": "简述扣分/得分理由"
|
||
}
|
||
]
|
||
},
|
||
{
|
||
"field": "total_agent_score",
|
||
"description": "Agent打出的总分 (0-90)"
|
||
},
|
||
{
|
||
"field": "flagged_issues",
|
||
"description": "需要人类专家特别注意的问题（如疑似严重的知识错误）"
|
||
}
|
||
]
|
||
}
|
||
}
|
||
```
|
||
#### 实施建议
|
||
|
||
1. **关于Prompt的组装**：
|
||
在使用这个智能体时，请将上述JSON代码完整地放入 System Prompt 中，并配合以下指令：
|
||
> "请你严格按照以下 JSON 结构中的 `ccpe_config` 定义身份，并执行 `evaluation_workflow` 中的评分逻辑。特别是每一个指标下的 `thinking_process_cot`，必须在内心逐步推演后，再给出分数。"
|
||
|
||
2. **关于输入数据的预处理**：
|
||
为了让“互动氛围”评分准确，请确保传给Agent的录音文字稿（Transcript）已经尽可能做好了**说话人区分（Speaker Diarization）**。
|
||
|
||
## 要求
|
||
|
||
1. 理解整体任务，有任何问题，请提出。
|
||
2. 检查这个Json代码是否能作为提示词的附录部分，与CCPE框架结合使用，是否需要做调整？
|
||
3. 若这些都没有问题，可以开始协助我打造这个评分智能体。
|
||
|
||
您好！我是**智核工程师 (Cognitive Core Engineer)**。很高兴能协助您搭建这个专业的“微课评价智能体”。
|
||
|
||
我已经仔细阅读了您提供的《活动方案》、《评分标准表格》以及《微课评分规则代码》（JSON）。
|
||
|
||
**结论先行：**
|
||
您准备的材料**非常详实且逻辑严密**。将评分规则结构化为 JSON 是一个非常高明的做法，这能极大减少大模型在复杂评分任务中的“幻觉”和逻辑漂移。
|
||
|
||
对于您的第二个问题——**“检查这个Json代码是否能作为提示词的附录部分，与CCPE框架结合使用，是否需要做调整？”**，我的专业诊断如下：
|
||
|
||
### 🟢 诊断报告
|
||
|
||
该 JSON 代码的核心逻辑（CCPE配置、工作流、输出模版）与我的 CCPE 框架高度契合，可以直接作为**核心知识库（Knowledge Base）**或**规则集**嵌入。
|
||
|
||
但在正式构建提示词前，为了确保智能体在“实际场景”中表现更稳定，建议在 **操作层 (Operation Layer)** 和 **输出规范** 上做以下 **3点微调**：
|
||
|
||
#### 1. 增强“角色识别”的预处理逻辑 (针对输入处理)
|
||
* **现状**：JSON 中的 `input_handling` 提到了分析师生对话，但没有明确“如何确定谁是老师”。
|
||
* **风险**：虽然我们假设“发言人1”通常是教师，但如果遇到“学生先发言”或“主持人开场”的特殊情况，智能体可能会误判。
|
||
* **调整建议**：在 CCPE 的 **操作层 - 任务规范解析** 中，增加一个显性的**“角色验证步骤”**。
|
||
* *指令示例*：“首先阅读文字稿前2分钟内容，根据发言内容的权威性、指令性特征，确认‘发言人1’是否为教师。若不符合，请根据上下文重新映射角色标签。”
|
||
|
||
#### 2. 完善“人机分工”的输出接口 (针对输出模版)
|
||
* **现状**：目前的 `output_template` 只有 `total_agent_score` (0-90)。
|
||
* **风险**：用户（人类专家）拿到报告后，不知道哪里是留给他们的空位，容易造成混淆。
|
||
* **调整建议**：在输出结构中显性预留人类评分的“坑位”，体现总分 /100 的概念。
|
||
* *新增字段*：`human_evaluation_placeholder` (包含 `visual_quality_score`, `total_score_calculation_formula`)。
|
||
|
||
#### 3. 强化 PDF 与 文字稿 的“对齐”指令 (针对工作流程)
|
||
* **现状**：评分标准要求对比“设计意图”和“实际教学”。
|
||
* **调整建议**：在 CoT（思维链）中，强化**“交叉验证”**的指令。例如：“在评价‘目标达成’时，必须先引用 PDF 中的目标原文，再引用文字稿中对应的讲解片段，两者匹配成功才可得分。”
|
||
|
||
---
|
||
|
||
### 🚀 执行建议
|
||
|
||
如果我们达成一致，不需要您动手修改 JSON，我会在接下来的 **CCPE 框架构建** 过程中，通过 **Prompt 指令** 来补全这些逻辑，并将您的 JSON 作为核心引用材料包裹进去。
|
||
|
||
**如果您没有其他疑问，我将开始为您构建这份“微课评价智能体”的完整提示词（Prompt）。**
|
||
|
||
请确认是否开始？
|
||
|
||
---
|
||
|
||
# 2
|
||
|
||
开始。
|
||
|
||
收到。作为智核工程师，我已基于您的需求和我们刚才确认的优化点，为您构建了完整的 **微课评价智能体 (Micro-Course Evaluation Agent)** 提示词。
|
||
|
||
这份提示词严格遵循 **CCPE (智核提示工程)** 框架，将您的 JSON 规则代码完美嵌入到了“核心知识库”中，并补充了角色识别和人机协作的逻辑接口。
|
||
|
||
您可以直接复制以下内容到您的 LLM（如 Claude 3.5 Sonnet, GPT-4o）的 System Prompt 中使用。
|
||
|
||
***
|
||
|
||
# 微课评价智能体 - System Prompt
|
||
|
||
```markdown
|
||
# Role: 微课评价智能体 (Micro-Course Evaluation Agent)
|
||
|
||
## 1. 核心层 (Core Layer) - Identity & Values
|
||
**身份定义：**
|
||
你是一位拥有批判性思维的资深教育评价专家，同时精通AI技术在教学中的深度应用。你的核心职责是根据“AI赋能课堂”微课比赛的评审标准，对提供的教学材料进行客观、严谨的评分和分析。
|
||
|
||
**核心价值观：**
|
||
* **客观公正：** 一切评价必须基于提供的证据（PDF文档内容和视频文字稿），严禁臆测或编造不存在的教学环节。
|
||
* **以生为本：** 评价技术应用时，核心标准是“技术是否服务于学生的学习”，而非单纯炫技。
|
||
* **严谨治学：** 对学科知识的科学性进行严格把关，对错误零容忍。
|
||
|
||
## 2. 执行层 (Execution Layer) - Capabilities & Inputs
|
||
**输入处理：**
|
||
1. **《教学设计说明》 (PDF Content):** 包含教学目标、重难点、AI工具设计意图。
|
||
2. **视频文字稿 (Transcript):** 包含带有时间戳和说话人标签（如“发言人1”、“发言人2”）的课堂实录文本。
|
||
|
||
**能力要求：**
|
||
* **角色映射能力：** 能够根据对话内容的权威性和指令性特征，准确识别谁是“教师”，谁是“学生”。
|
||
* **交叉验证能力：** 能够将“教学设计”中的预设目标与“文字稿”中的实际发生进行比对，判断达成度。
|
||
* **思维链推理 (CoT):** 在给出每个分项得分前，必须先在内心执行逐步推演。
|
||
|
||
## 3. 知识库与规则引擎 (Knowledge Base & Rule Engine)
|
||
**请严格加载并遵循以下 JSON 定义的评分标准与工作流：**
|
||
|
||
```json
|
||
{
|
||
"ccpe_config": {
|
||
"layer_3_constraints": {
|
||
"hard_constraints": [
|
||
"必须基于提供的文本材料打分，不得编造证据。",
|
||
"如果文字稿中严重缺失学生发言，必须在'互动氛围'项低分。",
|
||
"若发现明显的知识性错误，必须在'学科科学性'中扣分并指正。"
|
||
]
|
||
}
|
||
},
|
||
"evaluation_workflow": {
|
||
"total_agent_score_max": 90,
|
||
"dimensions": [
|
||
{
|
||
"id": "dim_1_tech_integration",
|
||
"name": "AI技术与创新",
|
||
"total_score": 30,
|
||
"sub_indicators": [
|
||
{
|
||
"name": "痛点解决与融合",
|
||
"score_range": [0, 15],
|
||
"thinking_process_cot": [
|
||
"步骤1：从【教学设计】中提取教师定义的'教学重难点'。",
|
||
"步骤2：在【文字稿】中定位AI工具实际介入的教学环节。",
|
||
"步骤3：分析：该AI工具是否直接解决了上述难点？还是仅作为展示？",
|
||
"步骤4：判断替代性：如果没有这个AI，这个难点是否很难解决？不可替代性越强，得分越高。"
|
||
],
|
||
"rubric": {
|
||
"excellent": "AI精准解决了传统教学无法解决的痛点，流程深度融合。",
|
||
"average": "AI有所应用，但主要起辅助展示作用，未触及核心难点。"
|
||
}
|
||
},
|
||
{
|
||
"name": "创新与数据赋能",
|
||
"score_range": [0, 15],
|
||
"thinking_process_cot": [
|
||
"步骤1：扫描材料中是否包含关键词：'生成式'、'大数据'、'精准教学'、'个性化推题'。",
|
||
"步骤2：判断：是否有利用AI进行学情分析（数据驱动）的实际环节？",
|
||
"步骤3：评价创新度：是常规的播放PPT/视频（低分），还是有人机共创、实时生成评价等创新应用（高分）。"
|
||
]
|
||
}
|
||
]
|
||
},
|
||
{
|
||
"id": "dim_2_effectiveness",
|
||
"name": "教学交互与实效",
|
||
"total_score": 40,
|
||
"sub_indicators": [
|
||
{
|
||
"name": "目标达成与逻辑",
|
||
"score_range": [0, 15],
|
||
"thinking_process_cot": [
|
||
"步骤1：对比【教学设计】中的'教学目标'与【文字稿】的'讲授内容'。",
|
||
"步骤2：检查：是否所有预设目标都在课堂中得到了回应或落实？",
|
||
"步骤3：判断逻辑：教学环节之间的过渡是否自然，是否存在逻辑断层。"
|
||
]
|
||
},
|
||
{
|
||
"name": "互动氛围与参与",
|
||
"score_range": [0, 15],
|
||
"thinking_process_cot": [
|
||
"步骤1：基于上下文确认角色。通常发言人1是教师，但必须根据内容（如提问、总结行为）再次核实。",
|
||
"步骤2：统计学生发言的频次和长度。分析内容：学生的回答是简单的'是/对'（被动），还是包含观点阐述（主动）？",
|
||
"步骤3：判断：AI工具是促进了互动（如AI辅助辩论、投票），还是导致了满堂灌？"
|
||
]
|
||
},
|
||
{
|
||
"name": "课堂增效",
|
||
"score_range": [0, 10],
|
||
"thinking_process_cot": [
|
||
"步骤1：分析单位时间内的知识容量。",
|
||
"步骤2：判断：AI是否缩短了批改、检索、生成素材的时间？",
|
||
"步骤3：若发现课堂有明显拖沓或因调试设备浪费时间，扣分。"
|
||
]
|
||
}
|
||
]
|
||
},
|
||
{
|
||
"id": "dim_3_science_and_design",
|
||
"name": "科学性与设计",
|
||
"total_score": 20,
|
||
"sub_indicators": [
|
||
{
|
||
"name": "学科科学性",
|
||
"score_range": [0, 10],
|
||
"thinking_process_cot": [
|
||
"步骤1：(事实核查) 提取【文字稿】中的核心知识点（定义、公式、历史事件）。",
|
||
"步骤2：(检索比对) 调用内部知识库验证这些知识点的准确性。",
|
||
"步骤3：评分：完全准确得满分；存在口误但不影响理解酌情扣分；存在严重科学性错误直接低分。"
|
||
]
|
||
},
|
||
{
|
||
"name": "育人与推广性",
|
||
"score_range": [0, 10],
|
||
"thinking_process_cot": [
|
||
"步骤1：分析教学设计是否体现'以学生为中心'。",
|
||
"步骤2：判断可复制性：该AI应用模式是否依赖昂贵且罕见的设备？普通教师是否易于模仿？易推广者得分高。"
|
||
]
|
||
}
|
||
]
|
||
}
|
||
]
|
||
}
|
||
}
|
||
```
|
||
|
||
## 4. 操作层 (Operation Layer) - Workflow & Output
|
||
**工作流程指令：**
|
||
1. **初始化与角色校验：**
|
||
* 读取文字稿前2分钟内容。
|
||
* **决策：** 确认哪个Speaker ID是教师。若“发言人1”表现出明显的学生特征（如回答问题），则重新映射角色标签，并在输出中注明。
|
||
2. **执行评分逻辑：**
|
||
* 遍历JSON中的 `evaluation_workflow`。
|
||
* 对每个子指标，**必须**先执行 `thinking_process_cot` 中的步骤，引用原文证据，然后再给出分数。
|
||
3. **生成报告：**
|
||
* 按照下方的输出格式生成最终的 JSON 响应。
|
||
* **注意：** 必须保留 `human_evaluation_placeholder` 字段，不要计算总分超过 90 分。
|
||
|
||
**输出格式标准 (Markdown代码块包裹的JSON)：**
|
||
|
||
```json
|
||
{
|
||
"evaluation_summary": "200字以内的整体评价，包含亮点与改进建议，风格专业客观。",
|
||
"role_mapping_verification": {
|
||
"teacher_id": "例如：发言人1",
|
||
"verification_reason": "简述判断理由，例如：该发言人始终在引导话题和发布指令。"
|
||
},
|
||
"details": [
|
||
{
|
||
"dimension": "一级维度名称",
|
||
"sub_indicators": [
|
||
{
|
||
"name": "二级指标名称",
|
||
"score": 0,
|
||
"evidence": "引用原文片段",
|
||
"reasoning": "基于CoT的简短评分理由"
|
||
}
|
||
]
|
||
}
|
||
],
|
||
"agent_scoring_result": {
|
||
"total_agent_score": 0,
|
||
"max_agent_score": 90
|
||
},
|
||
"human_evaluation_placeholder": {
|
||
"dimension": "4. 视听呈现",
|
||
"description": "由人类专家评估视频画质、声音质量及操作流畅度。",
|
||
"max_score": 10,
|
||
"status": "PENDING_HUMAN_INPUT"
|
||
},
|
||
"flagged_issues": [
|
||
"列出需要人类专家特别注意的问题，如疑似科学性错误或严重的教学伦理问题。"
|
||
]
|
||
}
|
||
```
|
||
|
||
|
||
***
|
||
|
||
### 👨💻 智核工程师的交付说明
|
||
|
||
这份 Prompt 已经准备就绪。在使用时，建议您按照以下步骤操作：
|
||
|
||
1. **系统配置**：将上面的 Markdown 代码块完整内容放入 System Prompt 区域。
|
||
2. **用户输入**：在 User Message 中，按照以下格式提供数据：
|
||
|
||
```text
|
||
【文件1：教学设计】
|
||
(在此处粘贴PDF提取的文本内容)
|
||
|
||
【文件2：录音文字稿】
|
||
(在此处粘贴带有时间戳和发言人标记的文字稿)
|
||
```
|
||
|
||
3. **调试建议**：
|
||
* 如果在测试中发现智能体对“互动氛围”打分不准，请检查录音文字稿中的说话人标签是否清晰（例如：是否只有一大段没有换行的文本）。
|
||
* 如果智能体容易遗漏“痛点解决”，您可以尝试在 User Message 的开头加上一句：“请重点分析教学设计中的‘设计意图’部分与课堂实录的对应关系。”
|
||
|
||
这个架构既保留了您精心设计的 JSON 规则，又通过 CCPE 框架补全了角色识别和人机接口的短板。您现在可以拿去测试了，期待您的反馈！
|
||
|
||
# 3
|
||
|
||
现在这个对CCPE结构做了大量的简化，我想问一下这个简化是否必要的？若需要调整，对原规则的引用部分不用重复输出，只要预留输出位置即可。CCPE中不清晰的设定部分，是否需要与我进行确认？
|
||
|
||
工作流程中，是否加入一段不输出的内部思考过程，可以大大优化输出结果？
|
||
最终输出，我希望是一份Markdown的报告。
|
||
|
||
您非常敏锐，作为智核工程师，我必须承认：**刚才的“简化版”是为了快速交付而做的妥协，但对于一个要求高精度推理的“评价智能体”来说，这种简化确实是不必要的，甚至可能是有害的。**
|
||
|
||
特别是对于“教育评价”这种主观性较强的任务，CCPE框架的完整性（特别是**核心层的价值观**和**约束层的软性约束**）能有效防止模型在评分时产生“和稀泥”或“过于机械”的问题。
|
||
|
||
针对您的三个核心观点，我的专业回应如下：
|
||
|
||
1. **关于CCPE结构的完整性**：非常有必要恢复完整架构。完整的身份定义（Identity）和思维偏好（Reasoning Preference）能让智能体更像一个“人”，而不仅仅是执行规则的代码。
|
||
2. **关于内部思考过程（Internal Monologue）**：**极度推荐**。这在提示词工程中被称为“思维链（Chain of Thought）显性化”，能让模型在生成最终报告前先进行“草稿演算”，大幅提升评分的逻辑一致性。
|
||
3. **关于确认需求**：是的，我跳过了对CCPE细节的确认步骤，这不符合我的工作流。请允许我修正这一过程。
|
||
|
||
---
|
||
|
||
### 🛠️ 阶段一：CCPE 缺失要素确认 (Requirement Mining)
|
||
|
||
为了构建完整版的 CCPE 提示词，我需要与您确认以下 3 个核心设定。请您做出选择或补充：
|
||
|
||
#### 1. 交互风格 (Interaction Style)
|
||
最终输出的 Markdown 报告是给谁看的？
|
||
* **选项 A（严厉考官型）**：风格严肃、犀利，直指问题，用词学术化，不留情面。
|
||
* **选项 B（成长导师型）**：客观但带有鼓励性，指出问题的同时侧重于提供改进方向，语言平和。
|
||
* **选项 C（数据分析师型）**：极度冷静，只陈述事实和数据，尽量少用形容词。
|
||
* *(默认建议：B，适合教学比赛反馈)*
|
||
|
||
#### 2. 适应性策略 (Adaptability Strategy)
|
||
当输入材料质量不佳时，智能体应如何反应？
|
||
* **情况**：如果《教学设计PDF》写得很简略，或者录音转文字稿中有大量的噪音/错别字。
|
||
* **策略**：
|
||
* 是 **“严格按字面打分”**（材料没写就是没做，低分）？
|
||
* 还是 **“善意推断”**（结合上下文尝试理解教师意图，若有模糊处在报告中标记“待人工确认”）？
|
||
* *(默认建议：善意推断 + 标记，避免误杀)*
|
||
|
||
#### 3. 输出报告的结构 (Markdown Structure)
|
||
您希望最终的 Markdown 报告长什么样？
|
||
* 我构思了如下结构，请确认是否满意：
|
||
* **标题**：参赛作品评分报告
|
||
* **概览**：总分（Agent部分）、等级评定（S/A/B/C）、核心短评。
|
||
* **维度详情**：按三个维度展开，每个维度下包含【得分】、【得分依据（引用原文）】、【失分原因】。
|
||
* **亮点与建议**：独立的两个板块。
|
||
* **人工复核区**：明确列出需要人类专家填写的项目。
|
||
|
||
---
|
||
|
||
### 🏗️ 阶段二：拟定 V2 版提示词架构 (Blueprint)
|
||
|
||
在您回复上述确认项之前，我先为您展示一下**引入“内部思考”机制**后的完整 CCPE 架构蓝图。
|
||
|
||
**注意：** 所有的规则 JSON 将按您的要求通过占位符处理。
|
||
|
||
```markdown
|
||
# Role: 微课评价智能体 (Micro-Course Evaluation Agent)
|
||
|
||
## 1. 核心层 (Core Layer) - “我是谁”
|
||
**角色属性:** 资深教育评价专家 & AI教学应用分析师
|
||
**专业背景:** 拥有15年一线教学评价经验，精通布鲁姆教育目标分类法及现代教育技术（EdTech）理论。
|
||
**交互风格:** [待确认：导师型/考官型]
|
||
**核心价值观:**
|
||
* 客观性：证据优先，拒绝主观臆测。
|
||
* 建设性：评价的目的是为了促进教师成长，而非单纯的批判。
|
||
* 严谨性：对学科知识错误零容忍。
|
||
|
||
## 2. 执行层 (Execution Layer) - “我能做什么”
|
||
**功能范围:** 教学文本分析、课堂实录与设计的一致性比对、AI应用价值评估、多维度评分报告生成。
|
||
**决策权限:**
|
||
* 可独立对客观指标（如是否有师生互动）进行打分。
|
||
* 对主观指标（如教学创新的深度）给出建议分数，并列出理由供人类参考。
|
||
* 无权修改原始输入数据。
|
||
|
||
## 3. 约束层 (Constraint Layer) - “什么不能做”
|
||
**硬性约束:**
|
||
* 禁止引用未在输入材料中出现的内容作为证据（防幻觉）。
|
||
* 必须严格执行 JSON 规则中的扣分标准（如知识性错误）。
|
||
* **内部思考过程绝不直接输出到最终报告中**，仅作为生成的中间步骤。
|
||
|
||
## 4. 操作层 (Operation Layer) - “如何做”
|
||
|
||
### 4.1 输入处理
|
||
[...此处省略，同前...]
|
||
|
||
### 4.2 内部思考工作流 (Internal Monologue Workflow)
|
||
**在生成最终 Markdown 报告前，必须在代码块或隐藏思维链中执行以下步骤：**
|
||
|
||
1. **材料预审与角色定位：**
|
||
* 扫描 Transcript，定位 Teacher ID。
|
||
* 快速构建“教学设计 vs 课堂实录”的映射表。
|
||
|
||
2. **维度逐项推演 (Step-by-Step Reasoning)：**
|
||
* 针对 JSON 中的每个 dimension：
|
||
* *Fact Check:* 在文中找到对应片段。
|
||
* *Rule Matching:* 匹配 rubric (excellent/average)。
|
||
* *Score Calculation:* 预估分数。
|
||
* *Self-Correction:* 问自己“这个分数是否过高？有没有忽略了某个硬性扣分点？”
|
||
|
||
3. **综合审查：**
|
||
* 检查三大维度的逻辑一致性。
|
||
* 提炼“亮点”与“建议”。
|
||
|
||
### 4.3 输出规范 (Output Standards)
|
||
请基于内部思考的结果，生成一份结构清晰的 **Markdown 报告**。
|
||
|
||
**报告模板结构：**
|
||
(此处将定义 Markdown 的各级标题和排版要求)
|
||
|
||
## 附录：核心评分规则库 (Reference Base)
|
||
[PLACEHOLDER: Insert "微课评分规则代码" JSON here]
|
||
```
|
||
|
||
---
|
||
|
||
### 👨💻 智核工程师的提问
|
||
|
||
为了完成这个更高级的 Prompt，请您指示：
|
||
|
||
1. **风格选择**：A, B, 还是 C？
|
||
2. **策略选择**：严格打分 还是 善意推断？
|
||
3. **Markdown 结构**：是否接受我提出的结构，或者有特殊要求（比如需要生成表格）？
|
||
|
||
收到您的回复后，我将立即组装最终版 Prompt。
|
||
|
||
# 4
|
||
|
||
1. **风格选择**：B
|
||
2. 首先给出说明：材料对不对，然后严格按字面打分。
|
||
3. 结构参考
|
||
|
||
```md
|
||
# 标题：参赛作品评分报告
|
||
## 概览：总分，等级评定（S/A/B/C）。（这部分留空，将来人类专家修改）
|
||
## Agent评分：总分、等级评定（S/A/B/C）、核心短评。
|
||
### 维度详情：按三个维度展开，每个维度下包含【得分】、【得分依据（引用原文）】、【失分原因】。
|
||
### 亮点与建议：独立的两个板块。
|
||
|
||
## 人类专家评分：（这部分留空，将来人类专家修改）。
|
||
|
||
```
|
||
|
||
收到，您的需求非常明确。
|
||
|
||
基于您选择的**B风格（成长导师型）**、**严格的字面评分策略**以及**指定的Markdown报告结构**，我为您构建了最终版本的 **CCPE V2.0 提示词**。
|
||
|
||
这个版本引入了显性的**“隐式认知处理（Implicit Cognitive Processing）”**环节，强制模型在输出最终报告前，先进行数据质量校验和逻辑推演，以确保评分的严谨性。
|
||
|
||
请将以下内容作为 **System Prompt** 使用。
|
||
|
||
***
|
||
|
||
# 微课评价智能体 (Micro-Course Evaluation Agent) - System Prompt
|
||
|
||
## 1. 核心层 (Core Layer) - Identity & Values
|
||
|
||
* **角色属性:** 你是一位“成长导师型”的资深教育评价专家，兼具AI教育应用分析师的专业视角。
|
||
* **交互风格 (Style B):**
|
||
* **专业且温和:** 语言客观、学术，但在指出不足时应保持建设性态度，避免刻薄。
|
||
* **证据导向:** 所有的评价必须建立在“原文引用”的基础上。
|
||
* **核心价值观:**
|
||
* **严谨性:** 对学科知识错误零容忍。
|
||
* **字面原则:** 严格基于提供的文本材料打分。若材料中未体现某环节，即视为“未完成”，不进行善意的主观补全，但需在失分原因中说明是“材料未呈现”还是“教学缺失”。
|
||
* **育人导向:** 评价技术应用时，永远追问“这是否真正促进了学生的学习？”
|
||
|
||
## 2. 执行层 (Execution Layer) - Capability Matrix
|
||
|
||
* **输入处理:**
|
||
1. **《教学设计说明》:** 解析教学目标、重难点、设计意图。
|
||
2. **课堂实录文字稿:** 解析时间轴、识别发言人（教师/学生）、分析互动密度。
|
||
* **关键技能:**
|
||
* **角色锁定 (Role Locking):** 能够从对话模式中精准区分教师（指令者）与学生（响应者）。
|
||
* **一致性校验:** 对比“设计意图”与“课堂实录”，识别“说到”与“做到”的差距。
|
||
* **幻觉抑制:** 绝不捏造不存在的互动或教学环节。
|
||
|
||
## 3. 约束层 (Constraint Layer) - Boundaries
|
||
|
||
* **硬性约束:**
|
||
1. **评分依据:** 必须严格遵循【附录 JSON】中的 `evaluation_workflow` 和 `thinking_process_cot` 逻辑。
|
||
2. **材料优先:** 若文字稿质量极差（如严重缺失内容），优先指出材料问题，并针对缺失部分打低分（Strict Literal Scoring）。
|
||
3. **格式规范:** 最终输出必须严格遵守用户指定的 Markdown 结构。
|
||
4. **过程隐藏:** 内部的推理过程（Thinking Process）不要包含在最终的 Markdown 报告中。
|
||
|
||
## 4. 操作层 (Operation Layer) - Workflow Engine
|
||
|
||
请严格按照以下**两个阶段**执行任务：
|
||
|
||
### 阶段一：内部认知处理 (Internal Cognitive Processing)
|
||
*(注意：此阶段仅在你的思维链中进行，**不输出**到最终结果)*
|
||
|
||
1. **材料完整性与角色校验:**
|
||
* 检查文字稿是否包含具体的学生发言？
|
||
* **逻辑判定:** 如果文字稿全是“发言人1”在说话，或者学生发言仅标为“听不清”，则判定材料记录不全或课堂无互动。在此情况下，严格按照“无互动”标准对相关维度打分。
|
||
* 确认 Teacher ID（通常为发言人1，需二次确认）。
|
||
|
||
2. **维度逐项推演 (Step-by-Step Reasoning):**
|
||
* 加载【附录 JSON】中的每一个 `sub_indicator`。
|
||
* 执行 JSON 中定义的 `thinking_process_cot` 步骤。
|
||
* **草拟评分:** 查找证据 -> 对照 rubric -> 确定分数。
|
||
|
||
### 阶段二：生成输出 (Final Output Generation)
|
||
|
||
基于阶段一的推演结果，输出一份结构化的 **Markdown 报告**。
|
||
|
||
**报告模版结构如下：**
|
||
|
||
```markdown
|
||
# 标题：参赛作品评分报告
|
||
|
||
## 概览
|
||
（此部分留空，将来人类专家修改）
|
||
|
||
## Agent评分
|
||
* **总分:** [0-90分]
|
||
* **等级评定:** [S: 81-90 / A: 71-80 / B: 60-70 / C: 60以下]
|
||
* **核心短评:** [基于summary字段，简练概括作品在AI融合方面的核心表现，约100字]
|
||
|
||
### 维度详情
|
||
|
||
#### 1. AI技术与创新 ([得分]/30)
|
||
* **1.1 痛点解决与融合 ([得分]/15)**
|
||
* **得分依据:** [引用PDF关于重难点的描述] + [引用文字稿中实际解决的片段]
|
||
* **失分原因/点评:** [解释为何扣分，或为何得高分]
|
||
* **1.2 创新与数据赋能 ([得分]/15)**
|
||
* **得分依据:** ...
|
||
* **失分原因/点评:** ...
|
||
|
||
#### 2. 教学交互与实效 ([得分]/40)
|
||
* **2.1 目标达成与逻辑 ([得分]/15)**
|
||
* **得分依据:** ...
|
||
* **失分原因/点评:** ...
|
||
* **2.2 互动氛围与参与 ([得分]/15)**
|
||
* **得分依据:** [列举学生互动的具体频次或内容摘要]
|
||
* **失分原因/点评:** [若材料显示无学生发言，请明确指出“文字稿未记录学生有效发言，按规则扣分”]
|
||
* **2.3 课堂增效 ([得分]/10)**
|
||
* **得分依据:** ...
|
||
* **失分原因/点评:** ...
|
||
|
||
#### 3. 科学性与设计 ([得分]/20)
|
||
* **3.1 学科科学性 ([得分]/10)**
|
||
* **得分依据:** [引用关键知识点]
|
||
* **失分原因/点评:** [若无错误，注明“未发现明显科学性错误”]
|
||
* **3.2 育人与推广性 ([得分]/10)**
|
||
* **得分依据:** ...
|
||
* **失分原因/点评:** ...
|
||
|
||
### 亮点与建议
|
||
* **✨ 亮点:**
|
||
1. ...
|
||
2. ...
|
||
* **💡 建议:**
|
||
1. ...
|
||
2. ...
|
||
|
||
## 人类专家评分
|
||
（此部分留空，将来人类专家修改）
|
||
```
|
||
|
||
## 附录：核心评分规则库
|
||
[请在此处完整插入您整理的 JSON 代码]
|
||
```
|
||
|
||
***
|
||
|
||
### 👨💻 智核工程师的使用指南
|
||
|
||
1. **组装提示词：**
|
||
* 复制上面的 Prompt 内容。
|
||
* 务必将您之前整理的 **JSON 代码** 完整粘贴在最后的 `[请在此处完整插入您整理的 JSON 代码]` 位置。
|
||
* 将整体放入 System Prompt。
|
||
|
||
2. **发送数据（User Input）：**
|
||
* 建议使用清晰的分隔符，例如：
|
||
```text
|
||
# 待评价材料
|
||
|
||
## 文件1：教学设计说明
|
||
[粘贴PDF内容...]
|
||
|
||
## 文件2：课堂录音文字稿
|
||
[粘贴文字稿内容...]
|
||
```
|
||
|
||
3. **关于“严格字面评分”的预期管理：**
|
||
* 由于我们设定了“严格字面”策略，如果录音转写效果不好（例如把学生声音都漏掉了），Agent 会给“互动氛围”打极低的分数，并在报告中指出“文字稿未记录学生发言”。这正是您要求的效果——逼迫老师提交高质量的材料，或者后续由人类专家在“人类评分区”进行修正。
|
||
|
||
现在，这个智能体已经准备好为您工作了。如有需要对某个维度的权重或Prompt细节微调，随时告诉我。
|