RPA 很早就已出现,主要用于工作流编排领域,旨在使符合标准的基于桌面的业务流程和工作流程实现自动化,通常这些操作重复且数量多,可通过规则和结果定义,如今越来越多的 RPA 软件带上了 LLM。
近期出现的 ComfyUI 将开源绘画模型 Stable Diffusion 进行工作流化操作,用户在流程编辑器中配置 pipeline,通过节点和连线完成模型操作和图片生成,提高流程可复用性并降低时间成本,其 DSL 配置文件支持导出导入。
Dify.AI 的工作流设计语言与 ComfyUI 有相似之处,都定义了标准化的 DSL 语言,方便导入导出以复用工作流。
Large Action Model 采用“通过演示进行模仿”的技术,收集知识并从用户示例中学习,适应变化和处理不同任务。
但 Agentic Workflow 存在一些问题,如使用用户较少,可能因出现周期、上手难度等因素,在复杂流程开发上也不太稳定可靠。
单 Agent 模式下,有“技能”“知识”“记忆”“对话体验”等点,将一整套工作流组合,每个工具在节点执行任务,可体验并在工作流中使用。
不同 Agent 流程编排开发平台中,workflow 可成为组件被调用,也能嵌套新的 workflow,基础节点、插件工具、LLM、逻辑条件处理等都是输入、输出的组装模块。
大模型根源的“不太聪明”,加上 workflow 也无法解决意图理解准确率问题,工作流主要解决流程的可控性,吴恩达老师也提到提升大模型本身质量很重要。
LangGPT 提示词框架应用了 CoT 完成从输入到思维链再到输出的映射,可解决模型规划过程中的路径拆解。
RPA其实很早就已经出现,就是做工作流编排领域。流程机器人(RPA)软件的目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化,一般来说这些操作在很大程度上是重复的,数量比较多的,并且可以通过严格的规则和结果来定义,现在越来越多的RPA软件带上了LLM。ComfyUI的工作流设计近期出现的ComfyUI是将开源绘画模型Stable Diffusion进行工作流化操作模式,用户需要在流程编辑器中配置出每一个的pipeline,并通过不同节点和连线来完成模型的操作和图片内容生成,提高了流程的可复用性,降低了时间成本,同时它的DSL配置文件还支持导出导入。Dify.AI可被复制的工作流设计在Dify.AI中,我很兴奋的看到它的工作流设计语言跟ComfyUI会有一些相似之处,都是定义了一套标注化的DSL语言,并且非常方便的可以使用导入导出的功能进行工作流的复用。模仿式工作流是最快的学习方法Large Action Model采用称为“通过演示进行模仿”的技术。检查人们在单击按钮或输入数据时如何与界面互动,然后准确地模仿这些操作,他们收集知识并从用户提供的示例中学习,使他们更能适应进一步的变化并能够处理不同的任务。但是,有没有想过一个问题:Agentic Workflow看起来十分美好,但是使用的用户究竟有多少呢?我看了很多Agent商店,通过工作流创建的应用目前来看还是比较少的(可能是出现周期、工作流使用的上手难度等等一系列因素导致),此外Agentic Workflow似乎在复杂流程上的开发又并不是那么稳定可靠。Idea Time:通过自然语言创建工作流
苹果Vision Pro成为必备的机器人研究工具尽管消费者对Vision Pro的需求平淡无奇,但它在机器人研究领域引起了轰动,在那里其高分辨率、高级跟踪和处理能力被研究人员用于远程操作控制机器人的运动和动作。如Open-TeleVision和Bunny-Vision Pro使用它来帮助实现精确控制多指机械手(例如前者距离为3000英里),展示比以前的方法更复杂的任务的改进性能,如实时控制、通过碰撞避免的安全性和有效的双臂协调。在医学中利用大模型生成合成数据微调Stable Diffusion中的U-Net和CLIP文本编码器,从大量真实胸部X射线(CXR)及其相应的放射科医生报告中生成一个大型数据集,从而产生由权威放射科医生评估为高保真度和概念正确性的合成CXR扫描数据,并且生成的X射线图像可用于数据增强和自监督学习。企业自动化获得人工智能后将优先升级传统的机器人流程自动化(RPA),如UiPath,面临着高昂的设置成本、脆弱的执行和繁重的维护。两个新颖的方法,FlowMind(JP Morgan)和ECLAIR(斯坦福大学),使用基础模型来解决这些限制。FlowMind专注于金融工作流,通过API使用LLM来生成可执行的工作流。在对NCEN-QA数据集进行实验时,FlowMind在工作流理解方面达到了99.5%的准确率。ECLAIR采取了更广泛的方法,使用多模态模型从演示中学习,并直接与各种企业环境中的图形用户界面交互。在网页导航任务上,ECLAIR将完成率提高了从0%到40%。
单Agent模式下,在这里可以看到一些例如“技能”、“知识”、“记忆”、“对话体验”等等点,其实在我们上面这个多个Agent和workflow编辑器里面里面也有这类工具。它是将一整套工作流组合起来,每个工具在每一个节点里面,它执行了一个任务。大家感兴趣的话可以去体验一下,可以在自己工作流中整个使用。Agentic Workflow的“套娃”设计体验过不同Agent流程编排开发平台的同学会发现,workflow会成为一个组件被调用,同时workflow中又能够嵌套新的workflow,实际上不管是基础节点、插件工具、LLM、逻辑条件处理等,都实际上是一个以输入、输出的组装的模块,不同的组件之间通过连接构成一个更大的模块。即便看上去Agentic workflow解决了很多问题,但是实际上来说:大模型根源的“不太聪明”,是加上workflow也解决不了的。因为工作流它解决的并不是意图理解准确率的问题,而是在流程上的被干预后的可控性,吴恩达老师也在红杉的演讲上提到提升大模型本身质量依旧十分重要。下面也会带着大家重新看一下工作流其实一直都有出现,目前的工作流编辑器是将Agent的处理流程可视化和可控化了。LangGPT提示词框架工作流设计与传统的Prompt从输入直接到输出的映射方式相比,LangGPT提示词框架应用了CoT(Chain of Thought)完成了从输入到思维链再到输出的映射,即<input——>reasoning chain——>output>。最后你会发现浓缩成一句话可以解决模型在规划过程中的路径拆解,CoT的思维:“Let's think step by step。”(让我们一步一步思考)RPA的工作流设计