3.8 KiB

Raw Permalink Blame History

How we built our multi-agent research system

多智能体系统的益处：应对复杂性

研究问题的开放性 难以预先确定步骤，动态且依赖路径。
人类研究模式 根据发现不断调整方法，探索新线索。
AI 智能体的优势 灵活性、自主决策、多轮交互。
线性流程的局限性 无法处理复杂、动态的研究任务。
结论：多智能体系统更适合处理开放性、复杂的研究问题

多智能体系统的益处：压缩与扩展

搜索的本质：压缩 从海量数据中提炼关键信息。
子智能体的作用 并行操作，各自独立探索，减少路径依赖。
关注点分离 不同的工具、提示和探索轨迹，避免重复劳动。
集体智能的威力 个体智能有限，群体智能可指数级提升。
类比：人类社会因集体智慧而进步，智能体亦然。

性能评估：多智能体系统的卓越表现

内部评估结果
- 多智能体系统在广度优先查询中表现优异。
- Claude Opus 4 + Claude Sonnet 4 子智能体：超越单智能体 Claude Opus 4 90.2%。
案例：识别信息技术 S&P 500 公司董事会成员
- 多智能体系统：分解任务，子智能体并行搜索，成功找到答案。
- 单智能体系统：顺序搜索，耗时过长，未能找到答案。
- 核心原因：多智能体系统能有效利用更多 tokens 解决问题。

性能分析：tokens 使用量是关键

BrowseComp 评估测试浏览智能体定位难寻信息的能力。

性能差异因素
- tokens 使用量
- 工具调用次数
- 模型选择

成本考量：tokens 消耗与价值平衡

tokens 消耗量高 多智能体系统比聊天交互消耗更多 tokens。Agent通常使用的tokens比普通聊天交互多 4 倍，多Agent系统使用的令牌比聊天多 15 倍。
经济可行性 任务价值需足够高以支付 tokens 成本。
多Agent系统适用场景
- 高价值任务
- 重并行化任务
- 信息量大任务
- 复杂工具接口的任务
不适用场景
- 需要共享上下文
- 依赖性强的领域（如部分编程任务）
LLM 协调能力待提升：实时协调和委派仍是挑战。

研究系统架构：编排器-工作者模式

主Agent协调流程，同时委托给专门子Agent并行操作。
用户查询流程
- 主智能体分析，制定策略，启动子智能体。
- 子智能体作用：智能过滤器，迭代使用搜索工具，收集信息。
- 最终答案：主智能体汇总子智能体结果，生成最终答案。
对比 RAG
- 传统 RAG 是静态检索，检索与输入查询最相似的某些片段，并使用这些片段来生成响应。
- 多智能体是动态搜索，使用多步骤搜索，动态地找到相关信息，适应新的发现，并分析结果以制定高质量的答案。

提示工程：引导智能体行为的关键

多智能体系统的复杂性 协调复杂度快速增长。
早期问题 子智能体过多、无效搜索、互相干扰。
提示工程的重要性 改进智能体行为的主要手段。
像智能体那样思考 理解智能体行为，模拟运行，观察失败模式。
教导编排器如何委派 明确子任务目标、输出格式、工具、边界。

提示工程原则：启发式而非规则

启发式而非规则 侧重启发式策略，而非僵化规则。
学习人类专家 研究人类专家如何进行研究，编码策略:
- 分解问题
- 评估来源质量
- 调整搜索策略
- 深度 vs. 广度
主动缓解副作用
- 设置明确的护栏，防止智能体失控。