Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

flux模型放在那个文件夹

Answer

FLUX 模型的放置位置如下：

  • FLUX.1[dev]、FLUX.1[dev fp8]、FLUX.1[schnell]等版本的模型应放在 ComfyUI/models/unet/文件夹中。如果爆显存了，“UNET 加载器”节点中的 weight_dtype 可以控制模型中权重使用的数据类型，设置为 fp8 可降低显存使用量，但可能会稍降质量，默认的 weight_type 显存使用较大。
  • t5xxl_fp16.safetensors 和 clip_l.safetensors 应放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率，若有超过 32GB 内存，建议使用 fp16。
  • 下载的 Vae 模型应放入 ComfyUI/models/vae 文件夹。

同时，以下模型也有对应的放置位置：

  • flux1-dev.safetensors 放在 ComfyUI/models/unet/目录下。
  • t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/目录下。
  • ae.safetensors 放在 ComfyUI/models/vae/目录下。

flux1-dev.safetensors 是底模，ae.safetensors 是 VAE，clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。

Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI FLUX

FLUX.1[dev]FLUX.1[dev fp8]FLUX.1[schnell],选一个.建议选择dev版本的,显卡可以的用fp16,显卡不够用的选fp8.模型下载后,放入，这个文件应该放在你的：ComfyUI/models/unet/文件夹中。如果爆显存了,“UNET加载器”节点中的weight_dtype可以控制模型中权重使用的数据类型,设置为fp8，这将使显存使用量降低一半，但可能会稍微降低质量.默认下的weight_type,显存使用比较大.[heading4]clip[content]t5xxl_fp16.safetensors和clip_l.safetensors,放在ComfyUI/models/clip/文件夹里面.https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main可以使用t5xxl_fp8_e4m3fn.safetensors来降低内存使用率，但是如果你有超过32GB内存，建议使用fp16[heading4]Vae[content]下载后,放入ComfyUI/models/vae文件夹https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main[heading3]

ComfyUI BitsandBytes_NF4 Flux

BitsandBytes Guidelines and Fluxhttps://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/981ComfyUI_bitsandbytes_NF4节点https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4flux1-dev-bnb-nf4.safetensors模型https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/blob/main/flux1-dev-bnb-nf4.safetensorsESRGAN/4x_NMKD-Siax_200k.pth放大模型，这个模型放大后，对图片细节提示有帮助https://huggingface.co/uwg/upscaler/tree/main/ESRGAN放在ComfyUI\models\upscale_modelsai-forever/Real-ESRGAN放大模型https://huggingface.co/ai-forever/Real-ESRGAN/blob/a86fc6182b4650b4459cb1ddcb0a0d1ec86bf3b0/RealESRGAN_x4.pth放在ComfyUI\models\upscale_modelsDetail Tweaker XL细节lorahttps://civitai.com/models/122359?modelVersionId=135867canny、tile、depth等融合在一起当前发布的alpha版本检查点未完全训练，beta版本正在训练，https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha

工具教程：Flux

因为上次祐萌刚刚讲过了comfyUI的使用，我们就讲一下在comfyUI中如何使用Flux（在ForgeUI中同样可以使用，国内还可以去哩布哩布、阿里云等众多平台使用，有很多平台可以薅羊毛，这里介绍本地部署comfyUI)把这4个模型，放到对应的目录下就可以了。t5xxl_fp16.safetensors：放在ComfyUI/models/clip/目录下clip_l.safetensors：放在ComfyUI/models/clip/目录下ae.safetensors：放在ComfyUI/models/vae/目录下flux1-dev.safetensors：放在ComfyUI/models/unet/目录下[heading3]怎么记和理解呢？[content]flux1-dev.safetensors是底模，ae.safetensors是VAE，clip_l.safetensors和t5xxl_fp16.safetensors是关于文字语言编码，这么理解就行。

Others are asking
开源flux模型如何快速使用
以下是关于开源 Flux 模型快速使用的方法： 1. 模型的下载： 如果因为环境问题，可以在网盘中下载。 siglipso400mpatch14384（视觉模型）：siglip 由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip，在地址栏输入 CMD 回车，打开命令行，输入下面的命令拉取模型（也可以在网盘里下载）。 image_adapter.pt（适配器）：连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征，使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，如果该文件夹不存在，就新建一个。 MetaLlama3.18Bbnb4bit（语言模型）：大型语言模型，负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM，地址栏输入 CMD 回车，在命令行里面输入下面命令。 2. 下载地址： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接，方便部分同学下载： flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载： 最后我们再下载 dev 的工作流： 。或者下面官方原版的图片链接，图片导入 comfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。
2025-04-08
我现在是学了一段时间的comfyui+flux，接下来准备学Python开发comfyui节点、对接模型，这样学下去方向有没有问题呢
您学习 ComfyUI 和 Flux 一段时间后准备学习 Python 开发 ComfyUI 节点并对接模型，这个方向是可行的。以下是一些相关的知识和要点供您参考： 工作流方面： 工作流节点可直接拖动单个节点到任意位置，也可按住 Control 键并用鼠标左键滑框选中多个节点，再按 Shift 键一起拖动。 选中节点后右键新建组，可修改组名、颜色等，组被覆盖时可直接拖动组。 选中节点后右键选择对齐方式，如顶部对齐、左边对齐等。 第三方节点的安装方式包括在 customer NODE manager 中安装、在 GitHub 上复制链接安装、通过终端输入指令安装、在秋叶启动器的版本管理中安装。 可通过 group by Parser 节点控制组，也可通过按住节点按 control b 跳过或按 control m 终止执行。 模型方面： 噪声强度由种子调节，种子固定噪声分布方式，噪声与 CLIP 无关，增大噪声设置值会增强模型对图片重绘的程度。 模型版本的提示词差异：1.5 以 tag 为主，XL 论文称以自然语言为主，但实际使用中因模型微调情况可能仍需用 tag。 Flux 模型有时生成黑图，可能有修复方案，需自行查询。图像生成结果为空，可能是 VAE 编码器与大模型未连接，调整连接后问题解决。 安装方面： 自动打标 joy_caption 副本的节点安装地址为 D:\\ComfyUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes。 安装步骤包括：（Comfyui evn python.exe）python m pip install rrequirements.txt 或点击 install_req.bat，注意 transformers 版本不能太低。 下载模型或者运行 ComfyUI 自动下载模型到合适文件夹，如从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 新版的 PuLID 解决了模型污染的问题，使用新版的节点需要禁用或者删除之前的 PuLID 节点，不然可能会有冲突问题。模型放在 ComfyUI\\models\\pulid 文件夹里面，注意用新版的。 如果使用 PuLID，还需要安装 EVA CLIP 等模型。
2025-03-21
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置随意，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程，完成后提示是否下载 hunyuan 模型，选择 n 不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，选择上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数。若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择 Lora 和调节参数。
2025-03-15
flux ae.sft放在哪个文件夹
在 ComfyUI 中，flux ae.sft 应放在 ComfyUI/models/vae/ 文件夹下。 Flux 模型在 ComfyUI 中的使用，需要将相关模型放在对应的目录下。具体来说，t5xxl_fp16.safetensors 放在 ComfyUI/models/clip/ 目录下，clip_l.safetensors 放在 ComfyUI/models/clip/ 目录下，ae.safetensors 放在 ComfyUI/models/vae/ 目录下，flux1dev.safetensors 放在 ComfyUI/models/unet/ 目录下。flux1dev.safetensors 是底模，ae.safetensors 是 VAE，clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。
2025-03-07
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉，根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”，暂时无法明确具体的问题原因。可能是模型文件格式不被识别，或者文件路径存在错误等。建议您检查文件的完整性和正确性，确保其符合相关软件的要求。
2025-03-07
midjourney_whisper_flux_lora_v01
以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息： 1. XLabsAI 发布了 6 个不同的 Lora，包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等，并提供了相应示例。 2. 文生图模型排序（从高到低）：Imagen 3 真实感满分，指令遵从强；Recraft 真实感强，风格泛化很好，指令遵从较好（会受风格影响）；Midjourney 风格化强，艺术感在线，但会失真，指令遵从较差；快手可图 影视场景能用，风格化较差；Flux.1.1 真实感强，需要搭配 Lora 使用；文生图大模型 V2.1L（美感版） 影视感强，但会有点油腻，细节不够，容易糊脸；Luma 影视感强，但风格单一，糊；美图奇想 5.0 AI 油腻感重；腾讯混元 AI 油腻感重，影视感弱，空间结构不准；SD 3.5 Large 崩。 3. 指定 AI 生图里的文字，有 9 种解决方案，其中 2 种快过时了。包括 Midjourney（v6 版本开始支持文字效果，主要支持英文，中文支持有限）、Ideogram（以图片嵌入文字能力闻名，2.0 模型能力得到进一步加强，支持复杂文本和多种艺术风格，文字与图像能够自然融合，支持英文，中文提示词可自动翻译为英文）、Recraft（V3 开始支持文本渲染能力，是目前唯一能在图像中生成长文本的模型，支持精确的文本位置控制，支持图像编辑功能，支持矢量图生成，支持英文，中文渲染能力较弱）、Flux（FLUX.1 是一款高质量的开源图像生成模型，支持复杂指令，支持文本渲染，支持图像编辑，生成图像的质量很高，主要支持英文）。
2025-03-07
IP-Adapter放在哪个文件夹
IPAdapter 的存放位置如下： 节点包：下载或 git clone 新的节点包到 ComfyUI/custom_nodes/文件夹下。 模型： /ComfyUI/models/clip_vision：（SDXL）。 /ComfyUI/models/ipadapter：。 如果相应文件夹不存在，需要新建并重命名。
2025-03-07
有没有带有文件夹功能的ai
目前，带有文件夹功能的 AI 仅在 Cursor Chat 中受支持。您还可以将 Cursor 中的整个文件夹作为上下文引用，@Folders 对于希望为 AI 提供大量上下文的长上下文聊天特别有用，相关链接为：https://docs.cursor.com/chat/overviewlongcontextchat 。 此外，能联网检索的 AI 也是存在的。例如，ChatGPT Plus 用户现在可以开启 web browsing 功能实现联网；Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型；Bing Copilot 作为 AI 助手，旨在简化在线查询和浏览活动；还有如 You.com 和 Neeva AI 等搜索引擎，它们提供了基于人工智能的定制搜索体验，并保持用户数据的私密性。 在 Excel 方面，有以下几种增强数据处理和分析能力的 AI 工具和插件： 1. Excel Labs：是 Excel 插件，新增生成式 AI 功能，基于 OpenAI 技术，可在 Excel 中利用 AI 进行数据分析和决策支持。 2. Microsoft 365 Copilot：微软推出，整合了 Word、Excel、PowerPoint、Outlook、Teams 等办公软件，通过聊天形式，用户告知需求，Copilot 自动完成任务。 3. Formula Bot：提供数据分析聊天机器人和公式生成器两大功能，用户可通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI：支持 Excel 和 Google Sheets 的 AI 插件，除公式生成外，还可根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 以上内容由 AI 大模型生成，请仔细甄别。
2024-12-21
我要整理文件夹中的图片， 请推荐一款适合的AI软件
以下为您推荐适合整理文件夹中图片的 AI 软件： 1. 去水印方面： AVAide Watermark Remover：在线工具，支持多种图片格式，如 JPG、JPEG、PNG、GIF 等。操作简单，上传图片、选择水印区域，保存并下载处理后的图片，还提供去除文本、对象、人物、日期和贴纸等功能。 Vmake：可上传最多 10 张图片，AI 自动检测并移除水印，适合需快速去水印并在社交媒体分享图片的用户。 AI 改图神器：提供 AI 智能图片修复去水印功能，可一键去除图片中多余物体、人物或水印，支持直接粘贴图像或上传手机图像，操作简便。 2. 图生图方面： Artguru AI Art Generator：在线平台，生成逼真图像，为设计师提供灵感，丰富创作过程。 Retrato：AI 工具，将图片转换为非凡肖像，有 500 多种风格选择，适合制作个性头像。 Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计，将上传照片转换为芭比风格，效果佳。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等，可以根据文本或参考图像生成具有创意且质量不错的相似图像输出，但仍有一些局限，如偶尔会出现性能不稳定、生成内容不当等问题。内容由 AI 大模型生成，请仔细甄别。您可以根据具体需求选择最适合您的工具。
2024-09-03
知识库和文件夹有什么区别
知识库和文件夹有以下区别： 功能和用途：知识库是用于存储和管理外部数据，让 Bot 可以与指定的数据进行交互，并且会自动将文档分割成内容片段进行存储，通过向量搜索检索最相关内容来回答用户问题。而文件夹主要是用于对文件或数据进行分类和组织，方便用户查找和管理。 组成和结构：知识库由大到小可分为知识库、单元和分段。单元是可上传的最小内容单位，可以是一个.txt、.pdf、.csv 文件或一个网页。分段是一个单元切分成的多个部分，是模型查询的最小单位。 与 Bot 的关系：知识库是提前内置在 Bot 内部的，一般只能用作检索使用。而文件夹与 Bot 的交互相对较少。 数据处理：数据库是偏编程的概念，非编程同学可以直接参考官方文档的教程操作一遍。数据库既可以提前内置在 Bot 内部，也可以在和 Bot 互动的过程中将某些数据写入数据库，当作存储组件使用。而知识库主要是提取和存储长期知识。
2024-08-16
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14
我想将常用的AI入口手机放在一张网页上，该如何设置waytoAGI页面
以下是关于将常用的 AI 入口放在一张网页上设置 WaytoAGI 页面的方法： 1. 点开链接就能看：不用注册，不用花钱，直接点击。 2. 想看啥就看啥：比如您想学 AI 绘画，就去看“AI 绘画”部分；想找 AI 工具，就去“工具推荐”部分。内容分得清清楚楚，想学啥都能找到。 3. 有问题还能问：如果看了还有不懂的，或者想跟别人交流，可以加入社群，大家一起讨论。 另外，关于使用 Cursor 制作您的第一个主页： 1. 在搞定一个非常简单的小游戏之后，可以做一个自己的个人介绍网站。可以先看看官网，比如 allinagi.com.cn、sboat.cn。假设要做一个《全 AI 自动驾驶的火星登陆飞船》项目，首先会有一个初步简单的项目介绍，比如 WaytoMars 是一个制造、运营全 AI 自动驾驶的火星登陆飞船公司品牌，有着领先全球的技术实力、人才优势，预计在 2030 年推出可承载上千人，五星豪华级的全 AI 自动驾驶的火星登陆飞船。有了项目介绍后，让 AI 帮助生成一个具有前端大师级审美、极富科幻感的网站首页。首先，新建一个 waytomars 文件夹并打开，在 AI 对话框中输入上述的话，一路等待 AI 制作以及加入您的修改意见即可。 2. 如何让别人看到您的作品预览：通过将项目文件夹整体上传，就可以生成一个临时浏览链接，在不需要域名和服务器的情况下让外部也能够看到您的作品。注意：如果发现 cursor 有所卡顿，注意是不是 AI 让您在终端区或者对话区确认重要操作，左下角将 ask every time 修改为 auto run 就可以全自动化了。 WaytoAGI 就是一个帮您快速入门 AI、学会用 AI 搞事情的“武器库”。不管您是完全不懂 AI 的小白，还是想用 AI 赚钱的普通人，它都能帮到您。AI 是未来的趋势，现在学一点都不晚，如果您想了解 AI、用 AI、甚至靠 AI 搞钱，WaytoAGI 就是您最该看的“AI 宝典”。
2025-04-14
如何制作这样的一个AI agent？我可以将所有的文档放在本地或者云盘。
AI Agent 是基于大型语言模型（LLM）和其他技术实现的智能实体，其核心功能在于自主理解、规划决策、执行复杂任务。 AI Agent 包括以下几个概念： 1. Chain：通常一个 AI Agent 可能由多个 Chain 组成。一个 Chain 视作是一个步骤，可以接受一些输入变量，产生一些输出变量。大部分的 Chain 是大语言模型完成的 LLM Chain。 2. Router：我们可以使用一些判定（甚至可以用 LLM 来判定），然后让 Agent 走向不同的 Chain。例如：如果这是一个图片，则 a；否则 b。 3. Tool：Agent 上可以进行的一次工具调用。例如，对互联网的一次搜索，对数据库的一次检索。 总结下来，我们需要三个 Agent： 1. Responser Agent：主 agent，用于回复用户（伪多模态）。 2. Background Agent：背景 agent，用于推进角色当前状态（例如进入下一个剧本，抽检生成增长的记忆体）。 3. Daily Agent：每日 agent，用于生成剧本，配套的图片，以及每日朋友圈。 这三个 Agent 每隔一段时间运行一次（默认 3 分钟），运行时会分析期间的历史对话，变更人物关系（亲密度，了解度等），变更反感度，如果超标则拉黑用户，抽简对话内容，提取人物和用户的信息成为“增长的记忆体”，按照时间推进人物剧本，有概率主动聊天（与亲密度正相关，跳过夜间时间）。 在了解 AI Agent 之前，我们先考虑一个场景：我们要写一本 20 万字的关于人工智能最新技术的书。在没有大模型之前，写书一般会按照如下流程： 1. 先使用搜索引擎搜索一些相关书籍和信息进行阅读，为我们打开思路。 2. 形成本书的大纲，并且考虑清楚每一章节要编写的内容。 3. 针对每一个章节进行内容的编写，在编写过程中可能会调整文章的大纲。 4. 在编写后面章节的时候可能会忘记前面写的内容，需要去翻阅前面已经写的内容。 5. 文章初步完成之后，可能会找相关专业人士帮忙修改。 6. 经过几番调整之后，书籍最终成型。 在大模型出现之后，可能会直接请大模型帮忙生成，但会发现写出来的书根本无法阅读，这不仅仅是因为大模型的能力不行，还因为相比于第一种写书的方式，第二种方式明显缺少了几个环节： 1. 没有办法使用 Google 获取最新的外部信息（大模型的训练数据是有日期限制的）。 2. 没有对整个事情进行规划（比如先写大纲，再编写每个章节，然后和别人讨论，最后成文）。 3. 大模型没有记忆的能力，由于上下文（脑容量）的限制，无法一次性完成 20 万字的文章，会造成前言不搭后语的现象。 而 AI Agent 就是为了解决这个问题。AI Agent 是应用了大模型（LLM）能力的 Agent。以 GPT 为代表的大模型的出现，将 Agent 的能力提高到了前所未有的高度。OpenAI 的 Lilian Weng 将以 LLM 为驱动的 AI Agent，形式化为如下的公式：
2025-01-10
我需要一个能帮助我制作播放在展馆墙面的动画视频的AI工具
以下为您介绍一些可用于制作展馆墙面播放的动画视频的 AI 工具及相关方法： Pika、Pixverse、Runway、SVD 是四大可用的 AI 视频工具。 对于每个 prompt 的角色形象描述，可采用“景别+角色特征+位置关系+环境+影片风格+比例”的方式，例如：“Medium shot,side view,a middleaged man wearing glasses and a gray short shirt with gray hair is sitting at the desk with his head lowered.A 14yearold girl with a ponytail wearing a white Tshirt and jeans is standing in front of the bookshelf.The room surrounded by bookshelves is at dusk.Pixar animated movie style,highly detailed,8k niji 6 ar 7:3”。 确定主场景时，若场景一致性难以保持，可采用穿书方式将场景分布到不同地区。室内镜头中，AI 对书房的理解虽有相似之处但可能存在穿帮，主场景出现时间不长时可接受。 解决人物和场景一致性问题后，生图障碍仍存在于双人关系镜头部分。此次制作比上个视频稍容易，MJ 的语义理解有所提升，部分镜头如女孩能在镜子里看到妈妈的镜头较令人满意，但要自由生成同场戏内不同角度的关系镜头仍有难度。
2024-10-16