智能体工作流评估新框架：WorFBench

合集 · 通义前哨站 (71)

Description

通义实验室提出新的WorFBench评估框架，旨在解决当前智能体工作流评估中的局限性。WorFBench涵盖了多个场景和多种形式的工作流，通过质量控制和保障措施提升生成工作流的质量，并提出了一种基于规则的评估方法，无需依赖大型模型进行打分，从而弥补现有评估方法的不足。
研究发现，对于大模型而言构造图式比链式更具挑战性，平均而言，图式得分低于链式。此外，随着模型参数数量的增加，模型在构建图式和链式工作流的能力上呈现明显的提升趋势。进一步分析表明，随着任务复杂度的增加，模型得分逐渐降低，显示了模型在处理复杂任务时的局限性。实验还探索了通过特定训练数据集提高模型能力的可能性，发现尽管训练能带来一定提升，但在开放域（OOD）场景下，简单的SFT模型难以达到超越强模型的效果，表明模型在泛化能力方面仍有待提升。
研究贡献在于改善智能体复杂任务表现和评估方法，未来工作方向包括增加工作流节点代码形式、改进工作流生成策略和提高节点确定性，为智能体设计评估提供新视角和工具。