Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

有什么AI模型可以制作瞬息宇宙?比如Stable Diffusion,还有别的吗?

Answer

以下是一些可以用于制作类似效果的 AI 模型:

  1. Adobe Firefly:内置在各种 Adobe 产品中,不过在质量方面稍逊于 DALL-E 和 Midjourney,但它只使用有权使用的图像进行训练。
  2. Stable Diffusion:开源模型,可以在任何高端计算机运行。开始时需要学会正确制作提示,一旦掌握能产生很好的结果,尤其适合将 AI 与其他源的图像结合。
  3. DALL-E:来自 OpenAI,已纳入 Bing(需使用创意模式)和 Bing 图像创建器,系统可靠但效果比 Midjourney 稍差。
  4. Midjourney:2023 年中期最好的系统,学习曲线最低,只需键入特定指令就能得到很好的结果,需要 Discord。 此外,在游戏制作领域,已经出现了用于游戏中几乎所有资产的生成式人工智能模型,从 3D 模型到角色动画,再到对话和音乐。但文中未提及具体的模型名称。
Content generated by AI large model, please carefully verify (powered by aily)

References

生成式AI在游戏领域的机会(市场假设+预测)

那么,如果我们将《荒野大镖客:救赎2》与《微软模拟飞行》相比,《微软模拟飞行》这个游戏更为巨大...因为微软飞行模拟器的玩家能够在游戏中围绕整个地球飞行,所有1.97亿平方英里的地方。那么,微软是如何打造这样一个大型游戏的呢?主要是通过人工智能来完成,微软公司与blackshark.ai合作,对人工智能进行训练,从二维卫星图像生成无限逼真的三维世界。blackshark.ai是个啥公司?blackshark.ai是通过机器学习技术,提取全球范围内的地球基础设施的公司,从全球的卫星和航空图像中提取数据,用人工智能基于目前地理数据的数字孪生场景,这些结果可用于可视化、模拟、绘图、混合现实环境和其他企业解决方案,而技术本身具备的云计算更新能力,能够实时更新这些数据。这仅仅是一个例子,如果不使用人工智能技术,《微软模拟飞行》这款游戏实际上是不可能制作完成的。除此之外,游戏的成功还要归功于这些模型可以随着时间的推移不断改进,例如,可以加强"highway cloverleaf overpass"模型,通过人工智能运行整个建造过程,游戏中的整个地球上的所有的高速公路立交桥都可以立马得到改进。3.游戏制作中涉及的每一个资产都会有一个生成的AI模型到目前为止,像Stable Diffusion或MidJourney这样的2D图像生成器,由于其能够生成的图像十分抢眼,占据了目前生成式人工智能的大部分流行的兴奋点。而现在已经出现了用于游戏中几乎所有资产的生成式人工智能模型,从3D模型到角色动画,再到对话和音乐。(下一篇文章会讲一下具体公司的市场生态Market Map)4.内容成本将持续下降,某些情况下的内容的成本会降为零当我们和尝试将生成式AI人工智能整合到制作场景的游戏开发者交谈时,最大的兴奋点在于,制作游戏的时间和成本都会大幅降低。一位开发者告诉我们,为一张图片生成概念图的时间从3周下降到1小时。我们相信,在整个游戏流程的制作过程中也可以实现类似的“降本增效”。

游戏中的生成式 AI 革命

现在,将《Red Dead Redemption 2》与[Microsoft Flight Simulator](https://www.flightsimulator.com/)进行比较,后者不仅仅是大,它是巨大的。Microsoft Flight Simulator允许玩家飞越整个地球,所有的1.97亿平方英里。微软是如何构建这样一个巨大的游戏的呢?通过让AI来做。微软与[blackshark.ai](https://blackshark.ai/)合作,并训练了一个AI从2D卫星图像[生成逼真的3D世界](https://blackshark.ai/solutions/)。这是一个不使用AI就不可能构建的游戏示例,此外,这些模型可以随着时间的推移不断改进这一事实中受益。例如,他们可以增强“高速公路三叶草立交桥”模型,重新运行整个建造过程,突然整个星球上的所有高速公路立交桥都得到了改善。1.游戏制作中涉及的每个资产都将有一个生成性AI模型到目前为止,像Stable Diffusion或MidJourney这样的2D图像生成器由于它们可以生成的图像的吸引力而获得了大量的受欢迎度。但已经有了生成性AI模型,几乎涉及到游戏中的所有资产,从3D模型、角色动画到对话和音乐。这篇博客文章的第二部分包括了一个市场地图,突出显示了一些专注于每种类型内容的公司。1.内容的价格将大幅下降,某些情况下将接近于零。与正在尝试将生成性AI集成到其生产流程中的游戏开发者交谈时,他们最兴奋的是生产时间和成本的大幅降低。有一位开发者告诉我们,他们生成单张概念艺术图像的时间,从开始到完成,从3周减少到了一个小时:减少了120倍。我们相信在整个生产流程中都有可能实现类似的节省。

如何使用 AI 来做事:一份带有观点的指南

最透明的选项:[Adobe Firefly](https://www.adobe.com/sensei/generative-ai/firefly.html)开源选项:[Stable Diffusion](https://stable-diffusion-ui.github.io/)最佳免费选项:Bing或[Bing Image Creator](https://www.bing.com/images/create)(使用DALL-E),[Playgound](https://playgroundai.com/)(允许您使用多个模型)最佳质量图像:[MidJourney](https://midjourney.com/)大多数人可以使用四个大型图像生成器:1.Stable Diffusion,它是开源的,你可以在任何高端计算机运行。开始需要付出努力,因为你必须学会正确制作提示,但一旦你做到了,它可以产生很好的结果。它特别适合将AI与来自其他源的图像结合在一起。[如果你走这条路,这里有一个很好的Stable Diffusion指南(请务必阅读第1部分和第2部分)。](https://www.jonstokes.com/p/stable-diffusion-20-and-21-an-overview)2.DALL-E,来自OpenAI,已纳入Bing(您必须使用创意模式)和Bing图像创建器。这个系统很可靠,但比Midjourney差。3.Midjourney,这是2023年中期最好的系统。它的学习曲线最低:只需键入“thing-you-want-to-see--v 5.2”(末尾的--v 5.2很重要,它使用最新的模型),你就会得到一个很好的结果。Midjourney需要Discord。这是[使用Discord的指南](https://www.pcworld.com/article/540080/how-to-use-discord-a-beginners-guide.html)。4.Adobe Firefly内置在各种Adobe产品中,但在质量方面落后于DALL-E和Midjourney。然而,虽然其他两个模型还不清楚他们用于训练人工智能的源图像,但Adobe宣布它只使用它有权使用的图像。

Others are asking
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容: 1. Coze:支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容,可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时,输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序,标注要采集的内容,内容上传成功率高。 2. AI Share Card:能够一键解析各类网页内容,生成推荐文案,把分享链接转换为精美的二维码分享卡。通过用户浏览器,以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑: 法律法规方面:《促进创新的人工智能监管方法》指出,AI 的发展带来了一系列新的安全风险,如对个人、组织和关键基础设施的风险。在设备风控中,需要关注法律框架是否能充分应对 AI 带来的风险,如数据隐私、公平性等问题。 趋势研究方面:在制造业中,AI Agent 可用于生产决策、设备维护、供应链协调等。例如,在工业设备监控与预防性维护中,Agent 能通过监测传感器数据识别异常模式,提前通知检修,减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面,AI Agent 也能发挥重要作用,实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
ai视频教学
以下是为您提供的 AI 视频教学相关内容: 1. 第一节回放 AI 编程从入门到精通: 课程安排:19、20、22 和 28 号四天进行 AI 编程教学,周五晚上穿插 AI 视频教学。 视频预告:周五晚上邀请小龙问露露拆解爆火的 AI 视频制作,视频在视频号上有大量转发和播放。 编程工具 tree:整合多种模型,可免费无限量试用,下载需科学上网,Mac 可拖到文件夹安装,推荐注册 GitHub 账号用于代码存储和发布,主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理:网络不稳定时尝试更换节点。 项目克隆与文件夹:每个项目通过在本地新建文件夹来区分,项目运行一轮一轮进行,可新建会话,终端可重开。 GitHub 仓库创建:仓库相当于本地项目,可新建,新建后有地址,可通过多种方式上传。 Python 环境安装:为方便安装提供了安装包,安装时要选特定选项,安装后通过命令确认。 代码生成与修改:在 tree 中输入需求生成代码,可对生成的代码提出修改要求,如添加滑动条、雪花形状、颜色等,修改后审查并接受。 2. AI 视频提示词库: 神秘风 Arcane:Prompt:a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego:Prompt:a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background:Prompt:a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli:Prompt:a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk:Prompt:a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism:Prompt:a robot is walking through a destroyed city,,big movements
2025-04-20
ai写程序
以下是关于使用 AI 写程序的相关内容: 1. 对于技术纯小白: 从最基础的小任务开始,让 AI 按照最佳实践写一个 say hello 的示例程序,并解释每个文件的作用及程序运行的逻辑,以学会必备的调试技能。 若学习写 chrome 插件,可让 AI 按照最佳实践生成简单的示范项目,包含全面的典型文件和功能,并讲解每个文件的作用和程序运行的逻辑。若使用 o1mini,可在提示词最后添加生成创建脚本的要求,并请教如何运行脚本(Windows 机器则是 create.cmd)。 2. 明确项目需求: 通过与 AI 的对话逐步明确项目需求。 让 AI 帮助梳理出产品需求文档,在后续开发时每次新起聊天将文档发给 AI 并告知在做的功能点。 3. 在独立游戏开发中的经验: 单独让 AI 写小功能没问题,但对于复杂的程序框架,可把不方便配表而又需要撰写的简单、模板化、多调用 API 且牵涉小部分特殊逻辑的代码交给 AI。 以 Buff 系统为例,可让 AI 仿照代码写一些 Buff。但目前 Cursor 生成复杂代码需要复杂的前期调教,ChatGPT 相对更方便。 教 AI 时要像哄小孩,及时肯定正确的,指出错误时要克制,不断完善其经验。 4. 相关资源和平台: AI 写小游戏平台:https://poe.com/ 图片网站:https://imgur.com/ 改 bug 的网站:https://v0.dev/chat 国内小游戏发布平台:https://open.4399.cn/console/ 需要注意的是,使用 AI 写程序时,对于技术小白来说,入门容易但深入较难,若没有技术背景可能提不出问题,从而影响 AI 发挥作用。
2025-04-19
stable diffusion底层技术
Stable Diffusion 的底层技术主要来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach 之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型(Latent Diffusion Model)研究。 Stable Diffusion 是一种基于潜在扩散模型的文本到图像生成模型,其原理包括以下几个步骤: 1. 使用新颖的文本编码器(OpenCLIP),由 LAION 开发并得到 Stability AI 的支持,将文本输入转换为向量表示,以捕捉文本语义信息并与图像空间对齐。 2. 采用扩散模型,将随机噪声图像逐渐变换为目标图像。扩散模型是一种生成模型,能从训练数据中学习概率分布并采样新数据。 3. 在扩散过程中,利用文本向量和噪声图像作为条件输入,给出每一步变换的概率分布,根据文本指导噪声图像向目标图像收敛,并保持图像的清晰度和连贯性。 4. 使用超分辨率放大器(Upscaler Diffusion Model),将生成的低分辨率图像放大到更高分辨率,从低分辨率图像中恢复细节信息并增强图像质量。 此外,ComfyUI 的底层依赖 Stable Diffusion,去噪过程由 UNet 网络完成。UNet 是一种编码器解码器结构,能处理多尺度特征表示。在 ComfyUI 中,去噪的每个步骤通过模型推理模块实现,调用训练好的 UNet 模型逐步将噪声图像还原成有意义的图像。交叉注意力机制在 Stable Diffusion 中很重要,允许模型在生成过程中融入文本提示、图像、语义信息等条件,在 ComfyUI 中通过“文本提示”和“条件输入”节点实现。跳跃连接是 UNet 的核心部分,能在不同尺度之间共享特征,在 ComfyUI 的节点网络中表现为中间过程数据的流转。切换器代表在去噪过程中的不同阶段对特征流的控制,在 ComfyUI 中可通过修改模型参数节点或自定义网络结构节点对不同阶段的噪声去除策略进行微调。 Stable Diffusion 还具有以下优点: 1. 可以处理任意领域和主题的文本输入,并生成与之相符合的多样化和富有创意的图像。 2. 可以生成高达 2048x2048 或更高分辨率的图像,且保持良好的视觉效果和真实感。 它还可以进行深度引导和结构保留的图像转换和合成,例如根据输入图片推断出深度信息,并利用深度信息和文本条件生成新图片。
2025-04-15
stable video diffusion开发
以下是关于 Stable Video Diffusion 开发的相关信息: SVD 介绍: 简介:Stable Video Diffusion 是 Stability AI 于 2023 年 11 月 21 日发布的视频生成式大模型,用于高分辨率、先进的文本到视频和图像到视频生成的潜在视频扩散模型。它支持多种功能,用户可调整多种参数,但对硬件要求较高,支持的图片尺寸较小,应用场景受限。 模型版本:开源了两种图生视频的模型,一种能生成 14 帧的 SVD,另一种是可以生成 25 帧的 SVDXL,发布时通过外部评估超越了人类偏好研究中领先的封闭模型。 主要贡献:提出系统的数据管理工作流程,将大量未经管理的视频集合转变为高质量数据集;训练出性能优于现有模型的文本到视频和图像到视频模型;通过特定领域实验探索模型中运动和 3D 理解的强先验,预训练的视频扩散模型可转变为强大的多视图生成器,有助于克服 3D 领域数据稀缺问题。 部署实战避坑指南: 直接使用百度网盘里准备好的资源,可规避 90%的坑。 若一直报显存溢出问题,可调低帧数或增加 novram 启动参数。 云部署实战中,基础依赖模型权重有两个 models–laion–CLIPViTH14laion2Bs32Bb79K 和 ViTL14.pt,需放到指定路径下。 总结: Sora 发布后,此前的视频生成模型相形见绌,但 Stable Video Diffusion 作为开源项目可在自己机器上自由创作无需充值。SVD 生成的视频画质清晰,帧与帧过渡自然,能解决背景闪烁和人物一致性问题,虽目前最多生成 4 秒视频,与 Sora 的 60 秒差距大,但在不断迭代。我们会持续关注其技术及前沿视频生成技术,尝试不同部署微调方式,介绍更多技术模型,更多精彩内容后续放出。 同时,您还可以加入「AIGCmagic 社区」群聊交流讨论,涉及 AI 视频、AI 绘画、Sora 技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶等多个方向,可私信或添加微信号:【m_aigc2022】,备注不同方向邀请入群。
2025-04-15
stable diffusion是runway和goole联合开的吗
Stable Diffusion(简称 SD)不是由 Runway 和 Google 联合开发的,而是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。 Stable Diffusion 是 2022 年发布的深度学习文本到图像生成模型,其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于这两位开发者之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型(Latent Diffusion Model)研究。 Stable diffusion 是一种基于潜在扩散模型(Latent Diffusion Models)的文本到图像生成模型,能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器将文本输入转换为向量表示,利用扩散模型将随机噪声图像逐渐变换为目标图像,在扩散过程中根据文本向量和噪声图像作为条件输入给出变换的概率分布,最后使用超分辨率放大器将生成的低分辨率图像放大到更高的分辨率。 围绕 Stable Diffusion 等基础模型的兴奋和关注正在产生惊人的估值,但新研究的不断涌现确保新模型将随着新技术的完善而更替。目前,这些模型在法律方面也面临挑战,例如其训练所使用的大量内容数据集通常是通过爬取互联网本身获得的,这可能会引发法律问题。
2025-04-15
stable diffusion开发公司
Stable Diffusion 是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于他们之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型(Latent Diffusion Model)研究。 Stable Diffusion 是一种基于潜在扩散模型(Latent Diffusion Models)的文本到图像生成模型,能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器(OpenCLIP)将文本输入转换为向量表示,利用扩散模型将随机噪声图像逐渐变换为目标图像,在扩散过程中以文本向量和噪声图像作为条件输入给出变换的概率分布,最后使用超分辨率放大器将生成的低分辨率图像放大到更高分辨率。 Stable Diffusion 总共有 1B 左右的参数量,可以用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等丰富的任务。在文生图任务中,将一段文本输入到模型中,经过一定迭代次数输出符合文本描述的图片;图生图任务则在输入文本基础上再输入一张图片,模型根据文本提示对输入图片进行重绘。输入的文本信息通过 CLIP Text Encoder 模型编码生成与文本信息对应的 Text Embeddings 特征矩阵,用于控制图像生成。源代码库为 github.com/StabilityAI/stablediffusion ,当前版本为 2.1 稳定版(2022.12.7),其代码模型权重已公开发布,可以在大多数配备有适度 GPU 的电脑硬件上运行。
2025-04-15
stable diffusion开发公司
Stable Diffusion 是由初创公司 Stability AI、CompVis 与 Runway 合作开发的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于他们之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型(Latent Diffusion Model)研究。 Stable Diffusion 是一种基于潜在扩散模型(Latent Diffusion Models)的文本到图像生成模型,能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器(OpenCLIP)将文本输入转换为向量表示,利用扩散模型将随机噪声图像逐渐变换为目标图像,在扩散过程中以文本向量和噪声图像作为条件输入给出变换概率分布,最后使用超分辨率放大器将生成的低分辨率图像放大到更高分辨率。 Stable Diffusion 总共有 1B 左右的参数量,可以用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等丰富的任务。其代码模型权重已公开发布,可以在大多数配备有适度 GPU 的电脑硬件上运行,当前版本为 2.1 稳定版(2022.12.7),源代码库为 github.com/StabilityAI/stablediffusion 。
2025-04-15
有stable diffusion的学习教程吗
以下为您提供一些 Stable Diffusion 的学习教程: 1. 超详细的 Stable Diffusion 教程: 介绍了为什么要学习 Stable Diffusion 及其强大之处。 指出 Stable Diffusion 是能根据输入文字生成图片的软件。 强调学习目的是快速入门,而非深入研究原理,通过案例和实际操作帮助上手。 2. 深入浅出完整解析 Stable Diffusion(SD)核心基础知识 知乎: 包含 Stable Diffusion 系列资源。 零基础深入浅出理解 Stable Diffusion 核心基础原理,如模型工作流程、核心基础原理、训练全过程等。 解析 Stable Diffusion 核心网络结构,包括 SD 模型整体架构、VAE 模型、UNet 模型等。 介绍从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的流程。 列举 Stable Diffusion 经典应用场景。 讲解从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型。 3. 视频教程: 「AI 绘画」软件比较与 stable diffusion 的优势: 「AI 绘画」零基础学会 Stable Diffusion: 「AI 绘画」革命性技术突破: 「AI 绘画」从零开始的 AI 绘画入门教程——魔法导论: 「入门 1」5 分钟搞定 Stable Diffusion 环境配置,消灭奇怪的报错: 「入门 2」stable diffusion 安装教程,有手就会不折腾: 「入门 3」你的电脑是否跑得动 stable diffusion?: 「入门 4」stable diffusion 插件如何下载和安装?:
2025-03-28