Way to AGI multi-language support

Runway 是一家总部位于旧金山的 AI 创业公司推出的产品。 在 AI 能力类型方面： 年初爆火，其 Gen2 代表了当前 AI 视频领域最前沿的模型，能够通过文字、图片等方式生成 4 秒左右的视频。 内测能力可根据参考图像进行 Video to Video 视频风格化。 致力于专业视频剪辑领域的 AI 体验，同时也在扩展图片 AI 领域的能力。 11 月 25 日发布新图像生成模型 Frames，专注打造特定美学和视觉氛围，支持细粒度控制“外观、感觉和氛围”，强调“世界构建”，可设计完整的视觉世界，包括场景、氛围、情感等，提供全面的视觉叙事支持。 目前 Runway 支持在网页、iOS 访问，网页端目前支持 125 积分的免费试用额度（可生成约 105 秒视频），iOS 则有 200 多，两端额度貌似并不同步。官方网站：https://runwayml.com/

Runway 的能力类型和核心功能包括以下方面： 在 Gen2 模型上推出了较多细节控制能力，并且支持精细数值调节，是当下 AI 视频生成产品中可控性最强的产品。 多笔刷控制局部运动：支持最多 5 个笔刷控制，包括物体运动方向、运动曲线调节。调高 Ambient，笔刷绘制区域物体的运动将和周边环境产生更多关联，并加大运动幅度。 相机控制：支持水平/垂直平移，水平/垂直翻转，镜头缩放/旋转。 Lip Sync Video：支持文本转 TTS 音频、音频文件换音，还有上半年大火的 Lip sync video 对口型能力。 不论是工具栏中不断丰富的音频、视频处理能力，还是 Runway Watch 栏目中的优秀合作案例，都能看出 Runway 一直坚定得在影视制作方向发展。未来若能打通 AI 生成和视频剪辑能力，Runway 未来将对影视制作起到至关重要的作用，成为视频领域必不可少的重要工具。

Stable Diffusion（简称 SD）不是由 Runway 和 Google 联合开发的，而是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。 Stable Diffusion 是 2022 年发布的深度学习文本到图像生成模型，其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于这两位开发者之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中根据文本向量和噪声图像作为条件输入给出变换的概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高的分辨率。 围绕 Stable Diffusion 等基础模型的兴奋和关注正在产生惊人的估值，但新研究的不断涌现确保新模型将随着新技术的完善而更替。目前，这些模型在法律方面也面临挑战，例如其训练所使用的大量内容数据集通常是通过爬取互联网本身获得的，这可能会引发法律问题。

Runway 是由一家总部位于旧金山的 AI 创业公司开发的。其在 2023 年初推出的 Gen2 代表了当前 AI 视频领域最前沿的模型。目前 Runway 支持在网页（https://runwayml.com/ ）、iOS 访问，网页端目前支持 125 积分的免费试用额度（可生成约 105s 视频），iOS 则有 200 多，两端额度貌似并不同步。

“通往 AGI 之路”（WaytoAGI）是一个致力于人工智能学习的中文知识库和社区平台： 旨在为学习者提供系统全面的 AI 学习路径，涵盖从基础概念到实际应用的各个方面，帮助用户有效地获取 AI 知识，提高自身能力。 由开发者、学者和 AI 爱好者共同参与建设，提供丰富的学习资源，包括文章、教程、工具推荐以及最新的 AI 行业资讯等。 定期组织活动，如视频挑战赛、模型创作大赛等，鼓励成员在实践中学习，促进交流与合作。 其品牌 VI 融合了独特的设计元素： 选择彩虹色作为主要的配色方案，代表多样性、包容性和创新。 标志性图案是一只鹿，与“路”谐音，象征着通往 AGI 未来的道路，寓意优雅与智慧。 选用简洁现代的非衬线字体，强调信息传达的清晰度和直接性。 此外，WaytoAGI 里有个离谱村： 是由 WaytoAGI 孵化的千人共创项目，让大家学习和接触 AI 更容易、更感兴趣。 参与者不分年龄层，一起脑洞和创意，都可以通过 AI 工具快速简单地创作出各种各样的作品。 离谱村是一个没有被定义的地方，每个人心中都有自己想象中的离谱村，是灵魂的避风港，激励着每一个生命体发挥其无限的想象力，创造属于自己的独特生活方式。 如果您对 AI 学习感兴趣，加入“通往 AGI 之路”社区将是一个不错的选择。在这里，您可以获取最新的 AI 知识，参与实践活动，与志同道合的学习者共同成长。

以下是关于将常用的 AI 入口放在一张网页上设置 WaytoAGI 页面的方法： 1. 点开链接就能看：不用注册，不用花钱，直接点击。 2. 想看啥就看啥：比如您想学 AI 绘画，就去看“AI 绘画”部分；想找 AI 工具，就去“工具推荐”部分。内容分得清清楚楚，想学啥都能找到。 3. 有问题还能问：如果看了还有不懂的，或者想跟别人交流，可以加入社群，大家一起讨论。 另外，关于使用 Cursor 制作您的第一个主页： 1. 在搞定一个非常简单的小游戏之后，可以做一个自己的个人介绍网站。可以先看看官网，比如 allinagi.com.cn、sboat.cn。假设要做一个《全 AI 自动驾驶的火星登陆飞船》项目，首先会有一个初步简单的项目介绍，比如 WaytoMars 是一个制造、运营全 AI 自动驾驶的火星登陆飞船公司品牌，有着领先全球的技术实力、人才优势，预计在 2030 年推出可承载上千人，五星豪华级的全 AI 自动驾驶的火星登陆飞船。有了项目介绍后，让 AI 帮助生成一个具有前端大师级审美、极富科幻感的网站首页。首先，新建一个 waytomars 文件夹并打开，在 AI 对话框中输入上述的话，一路等待 AI 制作以及加入您的修改意见即可。 2. 如何让别人看到您的作品预览：通过将项目文件夹整体上传，就可以生成一个临时浏览链接，在不需要域名和服务器的情况下让外部也能够看到您的作品。注意：如果发现 cursor 有所卡顿，注意是不是 AI 让您在终端区或者对话区确认重要操作，左下角将 ask every time 修改为 auto run 就可以全自动化了。 WaytoAGI 就是一个帮您快速入门 AI、学会用 AI 搞事情的“武器库”。不管您是完全不懂 AI 的小白，还是想用 AI 赚钱的普通人，它都能帮到您。AI 是未来的趋势，现在学一点都不晚，如果您想了解 AI、用 AI、甚至靠 AI 搞钱，WaytoAGI 就是您最该看的“AI 宝典”。

多智能体（MultiAgent）是由多个自主、独立的智能体（Agent）组成的系统。每个智能体都能感知环境、决策并执行任务，且它们之间能信息共享、任务协调与协同行动以实现整体目标。 随着大型语言模型（LLM）的出现，以 LLM 为核心构建的 Agent 系统受广泛关注。目前常见框架集中在单 Agent 场景，其核心是 LLM 与工具协同配合，可能需与用户多轮交互。而多 Agent 场景为不同 Agent 分配角色，通过协作完成复杂任务，与用户交互可能减少。 构建多 Agent 框架主要组成部分包括： 1. 环境：所有 Agent 处于同一环境，包含全局状态信息，Agent 与环境有信息交互与更新。 2. 阶段：采用 SOP 思想将复杂任务分解为多个子任务。 3. 控制器：可以是 LLM 或预先定义好的规则，负责环境在不同 Agent 和阶段间切换。 4. 记忆：因 Agent 数量增多，消息数量及每条消息的记录字段增加。 此外，吴恩达最新演讲提到四种 Agent 设计范式，Reflection 和 Tool Use 相对经典且广泛使用，Planning 和 Multiagent 较新颖有前景。Reflection 类似于 AI 自我纠错和迭代，如让 AI 写代码并自我检查修改。Tool Use 指大语言模型调用插件拓展能力。在一些场景中，Reflection 可用两个 Agent，一个写代码，一个 Debug。

多智能体（MultiAgent）是由多个自主、独立的智能体（Agent）组成的系统。在这个系统中，每个智能体都能够感知环境、进行决策并执行任务，同时它们之间可以进行信息共享、任务协调以及协同行动，以实现整体的目标。 随着大型语言模型（LLM）的出现，以 LLM 为核心构建的 Agent 系统近期受到广泛关注。Agent 系统旨在利用 LLM 的归纳推理能力，为不同的 Agent 分配角色和任务信息，并配备相应的工具插件，以完成复杂的任务。 目前，更常见的框架主要集中在单 Agent 场景下。单 Agent 的核心在于 LLM 与工具的协同配合。LLM 根据用户任务的理解，推理出需要调用的工具，并根据调用结果向用户提供反馈。在任务完成过程中，Agent 可能需要与用户进行多轮交互。 与此同时，越来越多的 Agent 框架开始关注多 Agent 场景。为了完成任务，多 Agent 会为不同的 Agent 指定不同的角色，并通过 Agent 之间的协作来完成复杂的任务。与单 Agent 相比，在任务完成过程中，与用户的交互可能会减少一些。 为构建一个多 Agent 框架，主要组成部分包括： 1. 环境（environment）：所有 Agent 应处于同一个环境中。环境中包含全局状态信息，Agent 与环境之间存在信息的交互与更新。 2. 阶段（stage）：为完成复杂任务，现有多 Agent 框架通常采用 SOP 思想，将复杂任务分解为多个子任务。 3. 控制器（controller）：控制器可以是 LLM，也可以是预先定义好的规则。它主要负责环境在不同 Agent 和阶段之间的切换。 4. 记忆：在单 Agent 中，记忆只包括用户、LLM 回应和工具调用结果等部分。而在多 Agent 框架中，由于 Agent 数量增多，导致消息数量增多。同时，每条消息可能需要记录发送方、接收方等字段。 多智能体的核心交互流程包括： 1. 控制器更新当前环境状态，选择下一时刻行动的 Agent。 2. Agent 与环境交互，更新自身的记忆信息。 3. Agent 调用 LLM，执行动作并获取输出消息。 4. 将输出消息更新到公共环境中。 参考资料： 1. 《》 2. 《》

以下是为您推荐的一些与 multi agent 相关的项目： 1. 《Multi Agent 策略架构基础（1）》：https://waytoagi.feishu.cn/record/1sfvunQZGoT5vB2r29i9PWi6W ，其中介绍了有代表性的 Multi Agent demo 项目包括 AutoGPT、Smallville 小镇和面壁智能 ChatDev，探讨了 Multi Agent 领域的相关内容以及其面临的挑战和限制。 2. 吴恩达最新演讲中提到的清华面壁智能的开源项目 ChatDev，展示了多智能体协作的场景，如不同身份的智能体合作开发小游戏。 此外，为您补充一些关于 multi agent 的知识： 多智能体（MultiAgent）是由多个自主、独立的智能体（Agent）组成的系统。每个智能体都能感知环境、决策并执行任务，且它们之间能信息共享、任务协调与协同行动以实现整体目标。 随着大型语言模型（LLM）的出现，以 LLM 为核心构建的 Agent 系统受广泛关注。目前常见框架集中在单 Agent 场景，其核心是 LLM 与工具协同配合，可能需与用户多轮交互。而多 Agent 场景为不同 Agent 指定角色，通过协作完成复杂任务，与用户交互可能减少。 构建多 Agent 框架主要组成部分包括： 环境（environment）：所有 Agent 处于同一环境，环境包含全局状态信息，Agent 与环境有信息交互与更新。 阶段（stage）：采用 SOP 思想将复杂任务分解为多个子任务。 控制器（controller）：可以是 LLM 或预先定义好的规则，负责环境在不同 Agent 和阶段之间切换。 记忆：在多 Agent 框架中，由于 Agent 数量增多，消息数量及每条消息需记录的字段也相应增加。

很抱歉，目前知识库中没有关于“mat1 and mat2 shapes cannot be multiplied”错误原因与解决方法的相关内容。但通常这种错误可能是由于矩阵的维度不匹配导致的。您可以检查矩阵 mat1 和 mat2 的形状，确保它们满足乘法运算的规则。例如，如果是二维矩阵相乘，第一个矩阵的列数应该等于第二个矩阵的行数。解决方法可能包括重新调整矩阵的形状，或者检查数据处理和运算的逻辑，确保矩阵的维度在进行乘法运算时是正确匹配的。

多智能体（Multiagent）是指多个相互作用的智能体组成的系统。在人工智能领域，多智能体系统具有广泛的应用。例如，在供应链中，不同经济运营商之间的责任分配存在不确定性。就我国相关规范而言，服务提供者往往是主要责任主体。而在《人工智能法案》中，人工智能系统供应链的参与主体更为细化，包括提供者、部署商、授权代表、进口商和分发商等，它们被统称为“运营者”。2023 年《AI 法案》折衷草案在法律义务分配设计上，特别是对于高风险人工智能系统，提供者和部署商将承担主要义务。其中，提供者承担最广泛的合规义务，包括建立风险管理制度和质量管理制度等，涵盖人工智能系统生命周期的事前和事后环节；部署商的义务则主要集中于确保对高风险人工智能系统的人工监督和日常检测义务，主要覆盖人工智能生命周期的事中环节。

在多智能体（MultiAgent）系统中，常见的调度模式主要有以下几种： 1. 集中式调度（Centralized Scheduling） 在这种模式下，有一个中央控制器负责收集所有智能体的信息，并做出整体最优的决策和资源分配。常见于需要全局协调的场景，如机器人协作、交通管制等。 2. 分布式调度（Distributed Scheduling） 每个智能体根据本地信息和与其他智能体的交互来做出决策，无需中央控制器。常用于大规模、动态、开放的系统，如传感器网络、P2P 网络等。 3. 市场驱动调度（MarketDriven Scheduling） 智能体通过竞价机制获取资源和任务分配。类似于现实市场的供需规律，常用于电力负载调度、计算资源分配等领域。 4. 约束优化调度（Constraint Optimization Scheduling） 将多智能体协作问题建模为分布式约束优化问题，通过启发式或完全算法求解近似最优解。适用于任务分配、资源规划等约束严格的场景。 5. 组织结构调度（Organizational Structuring） 根据特定的组织拓扑结构（层级、同辈、联盟等）对智能体角色和协作模式进行规范，实现有序调度。常见于多机器人协作、组织自动化系统中。 6. 基于规范协议的调度（Normbased Scheduling） 定义一组协议规范来约束智能体的行为，并由规范引擎统一调度和裁决。适用于开放、异构的多智能体系统。 这些调度模式各有利弊，实际应用时需要根据系统的特点、约束和目标进行选择和设计。同时也可以采用混合模式，结合不同模式的优点。调度质量和系统性能是评价标准。

AGI 即人工通用智能，通常被定义为一种能够完成任何聪明人类所能完成的智力任务的人工智能，其能力不局限于特定领域。 例如，OpenAI 的相关计划中，Q2025（GPT8）将实现完全的 AGI，但因一些原因有所推迟。GPT3 及其半步后继者 GPT3.5 在某种程度上是朝着 AGI 迈出的巨大一步。 在关于 AGI 实现后未来 20 年人类社会的变革的研究中，AGI 的出现被视为人类历史上具有转折意义的事件。 Sam Altman 认为，呈现人工通用智能特征的系统正浮现，人工通用智能通常指一种能够在许多领域内以人类水平应对日益复杂的问题的系统，它是人类进步脚手架上的另一个工具。

AGI 即人工通用智能，通常指能够完成任何聪明人类所能完成的智力任务的人工智能，其能力不局限于特定领域。例如，能够在许多领域内以人类水平应对日益复杂的问题。GPT3 及其半步后继者 GPT3.5 在某种程度上是朝着 AGI 迈出的巨大一步。AGI 的出现被视为人类历史上具有转折意义的事件，当 AGI 真正实现并可能迅速发展为超人工智能（ASI）时，人类社会将在随后的二十年里经历深刻变革，包括社会结构、价值观、权力格局、人类角色等多个方面。我们的使命应是确保 AGI 造福全人类，从某种意义上说，AGI 是人类进步脚手架上的另一个工具。

WayToAGI（通往AGI之路）是一个由热爱AI的专家和爱好者共同建设的开源AI知识库。它具有以下特点和优势： 1. 整合了各种AI资源，让大家能轻松学习AI知识，应用各类AI工具和实战案例。 2. 提供了一系列开箱即用的工具，如文生图、文生视频、文生语音等的详尽教程。 3. 时刻追踪AI领域最新进展并更新，每次访问都有新收获。 4. 涵盖丰富的内容，包括AI视频、AI绘画、AI音乐、AI艺术、AI即兴戏剧、AI Agent共学等。 5. 为用户提供全面系统的AI学习路径，辅助思考，让学习过程少走弯路。 6. 自 2023 年 4 月 26 日诞生，在无推广情况下，一年已有超 70 万用户和超千万次访问量。社群的口号是让更多的人因 AI 而强大，有很多学社和共学共建的活动。访问“waytoagi.com”即可找到社群。

以下是为您整理的相关内容： 1. 10 月 9 日小作业中提到：熟悉 waytoagi 知识库，并找到 Prompt 提示词框架文章，给出两个提示词框架和生成结果。框架一是“CRISPE 框架”，处理小学六年级同学丢钱引发的同桌纠纷，给出三种解决方式，包括调查真相、教育双方，全班寻找失物、避免误解，引导调解与反思。生成结果为详细的解决步骤。同时提到人工智能时代的三个基石是数据、算法、算力，数据和算法可在开源数据库等找到，算力可在云计算平台如 AWS、Google Cloud、Microsoft Azure 找到。 2. 6 月 11 日 AI 秒学团队中，有人分享了搭建聊天功能工作流的经历，提到在实践中不断迭代、调整和优化。一位纯社科背景的高校老师感谢 way to AGI 带文科生进入 agent 的“坑”，并提到小团队给予的帮助。 3. 问卷中，刘翔宇表示自己是国内一线互联网 AI 产品经理，愿意共同维护 WaytoAGI 开源社区，学习目标是了解 Comfy 基础理论等多方面，所在城市为北京。