AI智能体工作流,突破LLM代际差异,GPT-3.5干出4.0的效果

如果你不喜欢广告,请收藏我的网站,下次在网站中搜索
用真金白银赞赏有价值的内容,请通过文末二维码打赏

事件背景

今天一篇“吴恩达:AI智能体工作流……超过下一代基础模型”的文章刷屏,随后我去看了原文,觉得现在的媒体有点脑残夸张,用标题取胜。实际上吴的意思是通过agent workflows可以大幅提高LLMs的输出表现(performance),因此,他猜测今年构建agent工作流会是一个比基础模型建设更重要的趋势,他自己也会投入更多注意力在这件事上。

通过吴的实验,在相同的一个任务目标中,“GPT-3.5 (zero shot) 正确率为48.1%。GPT-4 (zero shot) 的表现更好,为67.0%。然而,从GPT-3.5到GPT-4的提升与合并迭代智能体工作流相比显得微不足道。实际上,在智能体循环里运行,GPT-3.5可以达到95.1%的正确率”。这说明一个非常关键的问题,以前我们会认为GPT-4会被GPT-3.5强很多,但是在agent workflows的加持下,两者的差别却几乎没有,可见,在面对具体问题的时候,AI的智能程度,并不能绝对的决定它的最终表现,而通过好的软件架构,也能明显提升目标效果

有了这样的一个认识基础,我们有理由相信,通过应用层面的模式运用和架构设计,可以更好的解决实际问题,而非在基础模型建设上,拼命的持续投入。这对我们现在业界的情况冲击还是挺大的,因为包括openAI在内的厂商,现在都在做基础模型的竞赛,GPT-4之后,很快就会出GPT-5,其他厂商也在宣称自己的模型比GPT-4更优秀。然而,如果这些基础模型的表现和通过agent workflows优化后的应用相比,结果就会差强人意。这也就是为什么吴说自己会在今年更加专注智能体工作流这件事。

智能体设计模式

吴在同篇推送中提出了基于工作流思路,有4种智能体的设计模式,可以帮助我们实现利用workflow来优化LLMs表现。这4种模式分别是:

  • Reflection:LLM审查自己的工作,提出改进的方法。
  • Tool use:LLM被赋予工具,如网络搜索,代码执行,或任何其他功能,以帮助它收集信息,采取行动,或处理数据。
  • Planning:LLM提出并执行一个多步骤计划来实现一个目标(例如,编写一篇文章的大纲,然后进行在线研究、编写草稿,等等)。
  • Multi-agent collaboration:多个AI智能体一起工作,分解任务、讨论和辩论想法,提出比单个智能体更好的解决方案。

其实,从我个人的角度来看,前3种模式基本都out了。目前业界的发展很快,前3种都是古早的方法,人工也可以操作,其中tool use就包括了RAG知识库模式。就目前来看,主流的趋势是第4种,即multi-agent模式,这在我上一篇博客中已经解释过了,这里就不再过多解释。目前市面上能够出来令人感到一点惊艳的,大部份都是采用这种模式,例如Devin,它作为一个用来编程的程序员AI,本质上它自己并不只完成程序员的工作,它还要完成研发流程上各个角色的工作,例如任务理解和拆分(研发PM)、测试(QA)、质量评估、部署上线(DevOps)等等,最终在一个工作流生命周期中生产产物(而非代码碎片),从而给人非常惊艳的感觉。另外,从概念上讲multi-agent模式不是智能体本身的设计模式,而是构建AI智能系统的模式,当然,如果把一个具有复杂设计的系统也作为智能体,也是可以的,那就是一个包含了内部agent的big agent。

多智能体工作流

工作流可以有效的帮我们提升工作的成果质量,本质上是因为系统论原理。就像人类社会的生产一样,独立一个人的生产能力是有限的,但是如果形成一个组织(如公司)来进行生产,通过系统化的分工和管理,提升效率,就可以达到1+1>2的效果。因此,工作流模式解决实际问题,我也认为是目前为止最好的应用路径。从AI的发展来看,智能程度的提升就像人脑智力水平高,然而实际要干活,还是得靠智力水平一般,但是勤奋努力的个体来实现。所以,未来当我们拥有足够智力水平的LLM底座之后,发展的方向一定是基于系统论的应用层构建。

以LangGraph为例,它已经是按multi-agent模式设计好的框架,开发者只需要按照它的使用方法,完成下面3件事,就可以开发出自己的AI工作流:

  • 工具定义
  • LLM接入
  • 流程定义

工具是最终干实事的部分,可以调用网络接口,也可以是驱动本地软件、硬件等,通过这些工具,agent才能产生实际的生产效果。流程定义部分比较复杂,这里面就需要定义做这件事应该如何去划分职责,如何规划阶段,每个阶段不同角色应该做什么事,达到什么样的条件,如何去执行动作等等。它在设计上提供了3中模式:

多智能体协同模式

也就是吴恩达所指出的Multi-agent collaboration,这种模式通过将多个智能体囊括在一个工作流中,协同工作来提升产出的质量。

监督人模式

这种模式下,agent之间不再共享同一个暂存器,各自独立工作,通过监督人(Supervisor)来进行协调和最终的输出。

分层次团队模式

在监督人模式的基础上,不同agent被分为多个team,在一个team内的agents可以更高效的协作。最终,多个team通过监督人进行协调和最终输出。

可以看出,一方面,我们需要让分工更加明确,一件事由一个agent完成,这样可以更高效;另一方面,我们需要让这些agent协同起来,通过有效的组织、联系、反馈,来让整套工作流运作更加高效。

结语

从本文中,你肯定可以发现一些规律,即agents以workflow的模式来进行工作,可能会是将来AI应用的主要开发模式。在这样的体系中,分工会越来越细,每一个agent都可以在单独某个方面具备更优秀的能力,这也意味着在一套系统中,我们可能需要多个领域的小模型或者经过微调的LLM。同时,我们也可以看到,由于分工很细,有不少agent的功能愈发单一,我们就可以采用耗能更小的技术架构来实现这类agent,只有那种需要非常高智能的agent,我们才可能需要比GPT-4更高智能的大模型,这就显得更加环保,对当下芯片资源、电力资源紧张感有一定的缓解作用。另外一方面,由于这种越来越细的分工,我们需要一个agent market来随时扩展系统能力,当用户在平台上准备让AI完成自己的任务,但是又没有在当前系统中看到可以实现自己需要的能力的agent时,可以便捷的在market上载入新的agent。基于这一思考,我们就会豁然开朗,为什么吴恩达会认为智能体工作流会是今年一个重要的课题了。

2024-03-28 438

为价值买单,打赏一杯咖啡

本文价值4.38RMB