104 lines
3.8 KiB
Markdown
104 lines
3.8 KiB
Markdown
# How we built our multi-agent research system
|
||
|
||
[秘塔课程](https://metaso.cn/s/shfoCj0)
|
||
|
||
## 多智能体系统的益处：应对复杂性
|
||
|
||
* **研究问题的开放性**
|
||
难以预先确定步骤，动态且依赖路径。
|
||
* **人类研究模式**
|
||
根据发现不断调整方法，探索新线索。
|
||
* **AI 智能体的优势**
|
||
灵活性、自主决策、多轮交互。
|
||
* **线性流程的局限性**
|
||
无法处理复杂、动态的研究任务。
|
||
* **结论**： 多智能体系统更适合处理开放性、复杂的研究问题
|
||
|
||
## 多智能体系统的益处：压缩与扩展
|
||
|
||
* **搜索的本质：压缩**
|
||
从海量数据中提炼关键信息。
|
||
* **子智能体的作用**
|
||
并行操作，各自独立探索，减少路径依赖。
|
||
* **关注点分离**
|
||
不同的工具、提示和探索轨迹，避免重复劳动。
|
||
* **集体智能的威力**
|
||
个体智能有限，群体智能可指数级提升。
|
||
* **类比**： 人类社会因集体智慧而进步，智能体亦然。
|
||
|
||
## 性能评估：多智能体系统的卓越表现
|
||
|
||
* **内部评估结果**
|
||
* 多智能体系统在广度优先查询中表现优异。
|
||
* Claude Opus 4 + Claude Sonnet 4 子智能体：超越单智能体 Claude Opus 4 90.2%。
|
||
|
||
* 案例：识别信息技术 S&P 500 公司董事会成员
|
||
* 多智能体系统： 分解任务，子智能体并行搜索，成功找到答案。
|
||
* 单智能体系统： 顺序搜索，耗时过长，未能找到答案。
|
||
* **核心原因**： 多智能体系统能有效利用更多 tokens 解决问题。
|
||
|
||
## 性能分析：tokens 使用量是关键
|
||
|
||
BrowseComp 评估
|
||
测试浏览智能体定位难寻信息的能力。
|
||
|
||
* **性能差异因素**
|
||
* tokens 使用量
|
||
* 工具调用次数
|
||
* 模型选择
|
||
|
||
## 成本考量：tokens 消耗与价值平衡
|
||
|
||
* **tokens 消耗量高**
|
||
多智能体系统比聊天交互消耗更多 tokens。Agent通常使用的tokens比普通聊天交互多 4 倍，多Agent系统使用的令牌比聊天多 15 倍。
|
||
* **经济可行性**
|
||
任务价值需足够高以支付 tokens 成本。
|
||
|
||
* 多Agent系统适用场景
|
||
* 高价值任务
|
||
* 重并行化任务
|
||
* 信息量大任务
|
||
* 复杂工具接口的任务
|
||
* 不适用场景
|
||
* 需要共享上下文
|
||
* 依赖性强的领域（如部分编程任务）
|
||
* LLM 协调能力待提升： 实时协调和委派仍是挑战。
|
||
|
||
## 研究系统架构：编排器-工作者模式
|
||
|
||
* 主Agent协调流程，同时委托给专门子Agent并行操作。
|
||
* **用户查询流程**
|
||
* 主智能体分析，制定策略，启动子智能体。
|
||
* 子智能体作用：智能过滤器，迭代使用搜索工具，收集信息。
|
||
* 最终答案：主智能体汇总子智能体结果，生成最终答案。
|
||
* **对比 RAG**
|
||
* 传统 RAG 是静态检索，检索与输入查询最相似的某些片段，并使用这些片段来生成响应。
|
||
* 多智能体是动态搜索，使用多步骤搜索，动态地找到相关信息，适应新的发现，并分析结果以制定高质量的答案。
|
||
|
||
## 提示工程：引导智能体行为的关键
|
||
|
||
* **多智能体系统的复杂性**
|
||
协调复杂度快速增长。
|
||
* **早期问题**
|
||
子智能体过多、无效搜索、互相干扰。
|
||
* **提示工程的重要性**
|
||
改进智能体行为的主要手段。
|
||
* **像智能体那样思考**
|
||
理解智能体行为，模拟运行，观察失败模式。
|
||
* **教导编排器如何委派**
|
||
明确子任务目标、输出格式、工具、边界。
|
||
|
||
## 提示工程原则：启发式而非规则
|
||
|
||
* **启发式而非规则**
|
||
侧重启发式策略，而非僵化规则。
|
||
* **学习人类专家**
|
||
研究人类专家如何进行研究，编码策略:
|
||
* 分解问题
|
||
* 评估来源质量
|
||
* 调整搜索策略
|
||
* 深度 vs. 广度
|
||
* **主动缓解副作用**
|
||
* 设置明确的护栏，防止智能体失控。
|
||
|