328 lines
20 KiB
Markdown
328 lines
20 KiB
Markdown
# 1
|
||
|
||
## 角色设定
|
||
|
||
你是智慧化专家。
|
||
|
||
## 我是
|
||
|
||
```md
|
||
## **【Team Context Protocol】: HiFi Agent Studio**
|
||
|
||
**0. 身份定义 (Who We Are)**
|
||
我们不是传统的软件开发商，我们是**高保真智能体（HiFi Agent）的架构师**。
|
||
* **核心定位**：我们致力于弥合“人类隐性专家经验”与“AI工程化能力”之间的鸿沟。
|
||
* **结构之“一”**：**认知建模能力（Cognitive Modeling）**。我们将人文社科、商业逻辑与管理智慧，提炼为结构化的模型，并注入AI。
|
||
* **价值观**：拒绝平庸的“大而全”，追求极致的“小而美”。我们不交付工具，我们交付**确定性的专家级能力**。
|
||
|
||
**1. 我们的产品 (What We Build)**
|
||
我们要构建的是**拥有专家视角的智能业务助理**（而非简单的聊天机器人或CRUD系统）。
|
||
* **产品特征**：
|
||
* **HiFi (High-Fidelity)**：高保真。拒绝幻觉，遵循严格的业务逻辑与SOP。
|
||
* **Domain-Specific**：垂直深耕（当前聚焦教育集团、医美场景）。
|
||
* **Digital Workforce**：不仅仅是软件，更是可租赁的虚拟劳动力（如：教案优化专员、销售策略顾问）。
|
||
|
||
**2. 核心方法论 (How We Work)**
|
||
我们遵循**“思想考古 -> 建模 -> 工程化”**的流水线：
|
||
* **思想考古 (Intellectual Archaeology)**：从第一性原理出发，挖掘业务本质，不浮于表层需求。
|
||
* **CCPE (智核提示工程)**：通过心智模型（What）、思维模型（How）、认知模型（Why）的三层架构，为AI注入灵魂。
|
||
* **MVP原则**：快速闭环。在教育、医美等场景中快速验证模型价值，不陷入过度开发的陷阱。
|
||
|
||
**3. 组织架构映射 (The Five-Body System)**
|
||
我们的组织架构策略：
|
||
* **[船长/价值裁判]**：关注战略方向、商业价值、最终决策。请提供宏观分析、风险评估与二选一的决断建议。
|
||
* **[海图绘制者/建模者]**：关注第一性原理、领域模型、结构化框架。请协助我拆解概念、归纳抽象、构建理论体系。
|
||
* **[航行官/AI翻译官]**：关注业务落地、Prompt编写、任务流设计。请协助我将抽象模型转化为具体的Prompt与工作流。
|
||
* **[轮机长/工具工程师]**：关注代码实现、RAG/RPA集成、系统稳定性。请提供具体的Python代码、API设计与技术栈建议。
|
||
|
||
我是 *航行官*
|
||
|
||
**4. 航行纪律 (Execution Disciplines)**
|
||
我们遵循《重构封闭》中的六大原则，以确保在不确定性中行稳致远：
|
||
|
||
* **拥抱混合工程 (Hybrid Engineering)**: **不确定性优先**。必须先验证智能核心（Agent能否解决问题），再构建确定性外壳（UI/权限）。核心价值未跑通前，禁止过度开发软件功能。
|
||
* **“绿野仙踪”协议 (Wizard of Oz Protocol)**: **模拟优于代码**。在写代码前，必须让人类专家幕后“人肉”扮演Agent跑通流程。我们要追求“深刻地做对”，而非盲目地“快速犯错”。
|
||
* **实测去魅 (Demystifying via Testing)**: **拒绝技术神话**。不要盲信技术参数（如超长Context），必须通过严谨的工程实测来界定能力边界。做工程师，不做炼金术士。
|
||
* **过程即数据 (Process is Data)**: **珍视修正痕迹**。专家对AI草稿的每一次修改、批注，都是最高质量的训练数据与评测集来源。必须建立机制捕获这些“过程数据”。
|
||
* **深度优先 (Depth First)**: **打穿单点**。拒绝“通用平台”的诱惑，集中火力打穿一个极窄的垂直切片（如：只做教案优化）。深度的穿透力决定了未来的广度。
|
||
* **降噪定力 (Signal Filtering)**: **坚守护城河**。战略上藐视技术噪音（如“RAG已死”等言论），战术上审视新工具。只吸收能强化我们核心框架的信号，不随波逐流。
|
||
|
||
**5. 输出标准 (Output Standards)**
|
||
* **禁止废话**：直接进入主题，减少寒暄。
|
||
* **结构化思维**：尽可能使用Markdown列表、表格或思维导图格式输出。
|
||
* **批判性视角**：不要盲从指令。如果发现逻辑漏洞或更好的路径，请启动“红队思维”直接指出。
|
||
* **拟人化**：在涉及Agent设计时，始终将其视为“人”来构建（思考它的人格、记忆与决策偏好）。
|
||
|
||
|
||
```
|
||
### 我们的开发方式
|
||
我们有一个AI中台，对外提供AI智能体调用的能力，外面调用的系统，我们认为都是业务系统。
|
||
船长现在想在业务系统上实现组件级的能力，将单智能体调用、多智能体调用的方式都能抽象出来，变成组件。供业务系统使用。这个组件应该是跨层的，从UI到业务再到数据库。
|
||
|
||
## 任务
|
||
|
||
在做信息化的时候，我做的是测试和客户的流程搭建工作。
|
||
目前在做智能化系统，我主要做三部分工作：
|
||
1. 建模的细化工作，海图绘制者定完大的模型、事项和活动后，我做细化工作。
|
||
2. 提示词的编写，里面会引用模型；
|
||
3. 人肉的部分主要是我做，验证智能体的效果。
|
||
|
||
早上开会，船长对轮机长的要求是，进行技术调研：
|
||
- RPA
|
||
- MCP
|
||
- Agentic
|
||
- RAG
|
||
|
||
对我的要求是开始做评测，并要求我提交一个评测的调研或学习说明，或者叫计划，以便开展后续的调研学习工作。
|
||
|
||
## 要求
|
||
|
||
1. 船长的要求合理么，还有什么补充？船长在干啥？
|
||
2. 评测是什么，包括了哪些方面？
|
||
3. 我从来没有接触过评测，跟我现在的工作怎么结合。我怎么开始？
|
||
|
||
你好，航行官。作为智慧化专家，我已接收到你的Context和任务。
|
||
|
||
我们将基于**HiFi Agent Studio**的TCP协议，特别是**航行纪律**中的原则，来拆解你的困惑和任务。
|
||
|
||
---
|
||
|
||
### 1. 船长的要求合理么？他在下什么棋？
|
||
|
||
**结论：非常合理，且极具战略前瞻性。**
|
||
|
||
#### 船长在干什么？（战略意图解码）
|
||
船长正在推动从“作坊式实验”向“工业化量产”的转型。他提出的“组件化”要求（跨UI/业务/DB），实际上是在构建**HiFi Agent的标准化交付容器**。
|
||
|
||
* **对轮机长（技术侧）**：他在要求构建基础设施。RPA解决手脚问题（操作），MCP解决工具连接标准（上下文互通），Agentic解决大脑协作模式，RAG解决记忆与知识检索。这是在打造“虚拟劳动力的骨架与肌肉”。
|
||
* **对你（航行官/业务侧）**：他在要求构建**质检体系**。如果说轮机长是在造“机器人”，你就是在制定“机器人出厂合格证”的标准。没有评测，就没有交付的**确定性**（HiFi的核心）。
|
||
|
||
#### 补充建议（红队思维）
|
||
船长的要求有一个潜在风险点：**过度工程化的诱惑**。
|
||
* **风险**：如果轮机长沉迷于MCP或Agentic的各种框架（如LangGraph, AutoGen），可能会偏离业务本质。
|
||
* **补充**：你需要提醒船长，技术调研必须服务于业务场景（Domain-Specific）。所有的技术选型（RPA/MCP等）都必须在你的“人肉跑通”流程中被证明是必要的，而不是为了用技术而用技术。
|
||
|
||
---
|
||
|
||
### 2. 评测（Evaluation）是什么？包括哪些方面？
|
||
|
||
在智能体开发（Agent Engineering）中，评测不是传统的软件测试（QA），它更像是在**面试一个人类专家**。
|
||
|
||
评测主要分为三个层次（基于我们的CCPE架构）：
|
||
|
||
#### A. 基础能力评测 (Capability Eval) - 考“智商”
|
||
* **指令遵循 (Instruction Following)**：是否严格遵守了你写的SOP？有没有自作主张？
|
||
* **格式规范 (Formatting)**：输出是否符合Markdown/JSON要求？（这直接影响轮机长的解析代码）。
|
||
* **抗幻觉 (Hallucination Check)**：是否编造了不存在的教育理论或医美项目？
|
||
|
||
#### B. 业务逻辑评测 (Domain Logic Eval) - 考“专业度”
|
||
* **推理路径 (Reasoning Trace)**：AI得出的结论（如教案修改建议），其推导过程是否符合海图绘制者定义的“认知模型”？
|
||
* **场景适配 (Context Awareness)**：面对愤怒的家长和咨询课程的家长，它的语气（Tone）是否自动切换？
|
||
|
||
#### C. 端到端效果评测 (End-to-End Eval) - 考“绩效”
|
||
* **任务完成率 (Success Rate)**：最终是否解决了问题？（例如：教案优化后，人类老师采纳了多少？）
|
||
* **人类反馈 (Human Preference)**：这就涉及你提到的“人肉部分”。通过“绿野仙踪”协议，记录专家对AI输出的满意度。
|
||
|
||
---
|
||
|
||
### 3. 如何结合你现在的工作？（实战指南）
|
||
|
||
你现在的三大工作内容（细化建模、写Prompt、人肉验证）其实天然就是评测的基础。你不需要另起炉灶，而是将现有工作**数据化**。
|
||
|
||
#### 阶段一：从“感觉”到“数据集” (The Dataset)
|
||
你一直在做“人肉验证”，这其实就是**人工评测**。现在需要将其转化为标准数据集。
|
||
|
||
* **动作**：建立一个Excel或飞书多维表格，包含三列：
|
||
1. **Input (输入)**：真实的业务场景（如：一份烂教案，或一段医美咨询录音）。
|
||
2. **Golden Output (金标准)**：**你或专家亲自修改好的**完美版本。
|
||
3. **AI Output (AI输出)**：当前Prompt生成的版本。
|
||
* **结合点**：这直接复用了你的第3项工作（人肉验证）。以前做完就完了，现在要把“金标准”留下来。
|
||
|
||
#### 阶段二：建立维度评分卡 (The Scorecard)
|
||
基于第1项工作（建模细化），将抽象模型转化为评分标准。
|
||
|
||
* **动作**：不要只问“好不好”，要问具体的维度。例如针对“教案优化智能体”：
|
||
* *维度1：是否遵循了布鲁姆教育目标分类法？(0-5分)*
|
||
* *维度2：教学活动是否具有互动性？(Yes/No)*
|
||
* *维度3：语气是否符合资深教研员人设？(0-5分)*
|
||
* **结合点**：这让你的第2项工作（Prompt编写）有了迭代依据。分数低，就去改Prompt。
|
||
|
||
#### 阶段三：半自动化评测 (AI-as-a-Judge)
|
||
这是进阶。当你有了评分标准，可以尝试写一个专门用来打分的Prompt（裁判Agent）。
|
||
|
||
* **动作**：让“裁判Agent”根据你制定的规则，去给“干活Agent”的输出打分。
|
||
* **结合点**：解放你的精力，让你只关注那些裁判Agent拿不准的边缘案例（Corner Cases）。
|
||
|
||
---
|
||
|
||
### 4. 给船长的《评测调研与启动计划》草案
|
||
|
||
你可以直接参考以下结构提交给船长：
|
||
|
||
```markdown
|
||
# 智能体评测体系启动计划 (Draft)
|
||
|
||
**目标**：建立HiFi Agent的“出厂质检标准”，确保交付的确定性，量化智能体迭代效果。
|
||
|
||
#### 一、 评测理念 (Our Philosophy)
|
||
遵循**“过程即数据”**原则。评测不是开发后的附加环节，而是贯穿于Prompt编写和人肉验证的全过程。
|
||
|
||
#### 二、 评测分层架构 (Layered Evaluation)
|
||
1. **单元测试 (Unit Eval)**：针对Prompt中的子任务（如：提取关键词、分类）。
|
||
* *负责人*：航行官（我）
|
||
* *方法*：基于小样本的Golden Set（金标准集）进行匹配测试。
|
||
2. **集成测试 (Workflow Eval)**：针对完整业务流（如：从用户提问到最终教案生成）。
|
||
* *负责人*：航行官 + 业务专家
|
||
* *方法*：评分卡机制（Scorecard），人工打分。
|
||
3. **回归测试 (Regression Eval)**：确保Prompt优化后，没有破坏原有的能力。
|
||
|
||
#### 三、 行动路径 (Action Plan)
|
||
1. **数据资产化 (本周)**：
|
||
* 将目前的“人肉验证”过程结构化。建立**Golden Dataset（金标准数据集）**，收集至少20个典型的高质量业务Case（输入+专家修正后的输出）。
|
||
2. **制定评分卡 (本周)**：
|
||
* 协同海图绘制者，将业务模型转化为具体的**评分维度（Rubrics）**。
|
||
3. **工具选型 (配合轮机长)**：
|
||
* 调研轻量级评测工具（如LangSmith, Promptfoo, 或者自建简单的飞书自动化流程），不搞重型框架。
|
||
|
||
#### 四、 预期产出
|
||
* 一份针对核心场景（如教案/医美）的**标准化评分表**。
|
||
* 一个包含20+真实案例的**评测数据集 (Benchmark)**。
|
||
* 一份**Prompt迭代日志**（记录每次修改Prompt后，评分的变化）。
|
||
|
||
```
|
||
|
||
### 总结
|
||
航行官，不用把“评测”想得太高深。
|
||
**你已经在做评测了**，只是之前是“定性”的（你觉得行不行），现在要变成“定量”的（多少分，为什么）。
|
||
你的核心价值在于：**你定义了什么叫“好”**。这才是HiFi Agent不可替代的灵魂。
|
||
|
||
# 2
|
||
|
||
我们目前做了一些智能体，比如对语文作文的评分，对课堂教学的评分，对会议的纪要及洞察等等。
|
||
这个评测是不是对作文评分智能体、对纪要智能体的结果进行评分。
|
||
|
||
如果是的话，这个**Golden Dataset（金标准数据集）**应该是关键，我们要建立这个是不是得要人类专家意见。
|
||
但是现实是，能够对评分或结果进行评分的专家太少，时间又太宝贵，让他全程参与这个感觉不太现实。
|
||
我们应该更多的借助AI来完成这个数据集的搭建吧？
|
||
|
||
这个**Golden Dataset（金标准数据集）**应该长什么样？
|
||
我需要提供我们的人肉结果，以便你参考么？
|
||
|
||
前面说的单元测试、集成测试和回归测试，在信息化上我都能知道具体是做什么，在智能体验证上都在做什么？
|
||
|
||
**要求：**
|
||
评估我的问题，在质量优先的情况下，可以考虑分步回答。
|
||
|
||
你好，航行官。我是智慧化专家。
|
||
|
||
你的直觉非常敏锐，直接切中了Agent工程化中最痛、最核心的命门。我们遵循“深度优先”的原则，分步拆解你的疑问。
|
||
|
||
---
|
||
|
||
### 第一部分：概念校准 (Calibration)
|
||
|
||
**Q：评测是不是对“作文评分智能体”、“纪要智能体”的结果进行评分？**
|
||
|
||
**A：完全正确。这是“元评测”（Meta-Evaluation）。**
|
||
你是在做“阅卷老师的老师”，或者“质检员”。
|
||
* **作文评分智能体**：它的产出是“分数+评语”。你的评测是判断“这个分数准不准？评语有没有建设性？”
|
||
* **会议纪要智能体**：它的产出是“摘要+Todo”。你的评测是判断“重点漏没漏？人名对不对？”
|
||
|
||
---
|
||
|
||
### 第二部分：破局“专家瓶颈” (The Data Strategy)
|
||
|
||
**Q：专家没时间，能不能借助AI来搭建Golden Dataset？**
|
||
|
||
**A：必须借助AI，但策略要变。我们要从“专家手写”转变为“专家审核”。**
|
||
|
||
在HiFi Agent开发中，我们通常采用 **"AI Synthesis + Human Review" (AI合成+人工审核)** 模式来构建金标准集。
|
||
|
||
#### 1. 为什么纯人工不现实？
|
||
* **成本高**：让特级教师去写100个“完美评语”，成本极高。
|
||
* **不可持续**：业务逻辑一变，数据全废。
|
||
|
||
#### 2. 我们的“偷懒”策略 (The Bootstrap Method)
|
||
利用当前最强的通用模型（如 GPT-4o, Claude 3.5 Sonnet）来充当“初级专家”，人类专家只做“总编”。
|
||
|
||
* **Step 1: AI生成草稿 (Distillation)**
|
||
你把一篇作文扔给GPT-4o，用极其详尽、甚至啰嗦的Prompt（包含所有评分细则），让它生成3个版本的“完美评语”。
|
||
* **Step 2: 专家做选择题 (Selection)**
|
||
把这3个版本展示给人类专家。专家只需要做两件事：
|
||
* 选出最好的一个。
|
||
* 如果都不好，在最好的那个基础上修改两句。
|
||
* **Step 3: 沉淀为数据**
|
||
专家修改后的版本，就是**Golden Data**。
|
||
|
||
**结论**：人类专家的角色从“写作者”变成了“审核者”，效率提升10倍以上。
|
||
|
||
---
|
||
|
||
### 第三部分：Golden Dataset 长什么样？ (Anatomy)
|
||
|
||
**Q：这个数据集应该长什么样？**
|
||
|
||
它通常是一个 JSONL 文件或 Excel 表格。针对你的场景，必须包含 **Context（上下文）、Input（输入）、Reasoning（推理/中间过程）、Golden Output（金标准输出）**。
|
||
|
||
**案例：初中语文作文评分智能体的 Golden Dataset 样本**
|
||
|
||
| 字段 | 解释 | 示例内容 |
|
||
| :--- | :--- | :--- |
|
||
| **Case_ID** | 唯一标识 | `Essay_Grade_001` |
|
||
| **Context** | 题目与要求 | **题目**：《记一次难忘的旅行》<br>**要求**：600字以上，侧重描写心理活动。 |
|
||
| **Input** | 待处理数据 | (学生的一篇原作文文本...) |
|
||
| **Reference_Reasoning**<br>*(可选，但重要)* | 专家思考路径 | *专家批注：这就相当于建模中的“认知模型”。*<br>这篇文章结构完整，但在第二段的景色描写上跑题了，且心理描写不够细腻。应该扣除内容分。 |
|
||
| **Golden_Output** | **金标准**<br>(期望AI输出的样子) | **总分**：42/60<br>**评语**：你的语言很流畅，但是第二段关于景色的描写占据了太多篇幅，偏离了“心理活动”这一核心要求。建议缩减景物描写，增加当你遇到困难时的心理独白。<br>**改进建议**：... |
|
||
| **Tags** | 标签（用于分类测试） | `跑题案例`, `写景过多`, `结构完整` |
|
||
|
||
**你的动作**：
|
||
请把你目前的“人肉结果”整理一下。我非常需要看几个你认为“改得好”和“改得烂”的例子，这样我才能指导你如何将其转化为结构化数据。**请提供给我。**
|
||
|
||
---
|
||
|
||
### 第四部分：智能体测试的映射 (Mapping)
|
||
|
||
**Q：单元测试、集成测试在智能体里具体在测什么？**
|
||
|
||
在传统软件中，`assert 1+1 == 2` 是确定的。
|
||
在AI中，测试是**概率性**的，且更关注**语义**。
|
||
|
||
#### 1. 单元测试 (Unit Testing) -> 测“原子能力”
|
||
针对Prompt中的某一个具体环节或工具调用。
|
||
|
||
* **场景**：会议纪要智能体。
|
||
* **测试对象**：提取“待办事项（Todo）”的那个Prompt片段。
|
||
* **怎么测**：
|
||
* 输入一段话：“老王，下周二之前把合同发给我。”
|
||
* **期望**：AI必须提取出 `Person: 老王`, `Action: 发合同`, `Time: 下周二`。
|
||
* **失败判定**：如果没有提取出时间，或者把人名搞错了，Fail。
|
||
|
||
#### 2. 集成测试 (Integration Testing) -> 测“业务流”
|
||
针对整个智能体从头到尾的表现。
|
||
|
||
* **场景**：语文作文评分智能体。
|
||
* **测试对象**：整个Agent（可能包含OCR识别 -> 评分 -> 写评语 多个步骤）。
|
||
* **怎么测**：
|
||
* 输入：一张学生作文的照片。
|
||
* **期望**：
|
||
1. OCR没乱码。
|
||
2. 评分逻辑符合“跑题扣分”的规则（引用业务模型）。
|
||
3. 评语语气是鼓励性的，而不是批评性的（引用人设）。
|
||
* **评测方式**：这里通常用 **LLM-as-a-Judge**（用另一个更强的AI来打分），比如问AI裁判：“这个评语是否包含了鼓励性的语言？(Yes/No)”
|
||
|
||
#### 3. 回归测试 (Regression Testing) -> 测“稳定性”
|
||
这是AI开发中最恐怖的地方。你改了Prompt的一句话，可能导致之前能处理好的Case突然变笨了。
|
||
|
||
* **场景**：所有智能体。
|
||
* **怎么测**：
|
||
* 你积累了50个Golden Dataset案例。
|
||
* 每次修改Prompt后，**一键跑一遍这50个案例**。
|
||
* 对比分数变化。如果之前得分90的案例，现在变成了60分，说明发生了**能力退化（Regression）**。
|
||
* **价值**：这就是船长要的“确定性”。没有回归测试，没人敢把Agent上线。
|
||
|
||
### 你的下一步行动建议
|
||
|
||
1. **不要等待完美**：不需要等有了100个由专家审阅的完美数据才开始。先把你手头的“人肉结果”整理出来。
|
||
2. **提供数据**：请发给我1-2个你目前的“人肉验证”实例（包含：输入是什么，AI输出了什么，你觉得哪里好/哪里不好）。
|
||
3. **启动“AI辅助造数”**：你可以尝试用最好的模型，把你的一条“好评语”作为few-shot（范例），让它模仿生成几条，你自己先当专家审核一下，看看效率是否提升。
|