Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

开源flux模型如何快速使用

Answer

以下是关于开源 Flux 模型快速使用的方法:

  1. 模型的下载:
    • 如果因为环境问题,可以在网盘中下载。
    • siglip-so400m-patch14-384(视觉模型):siglip 由 Google 开发的视觉特征提取模型,负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip,在地址栏输入 CMD 回车,打开命令行,输入下面的命令拉取模型(也可以在网盘里下载)。
    • image_adapter.pt(适配器):连接视觉模型和语言模型,优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征,使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6 下载,放到 models 的 Joy_caption 文件夹里,如果该文件夹不存在,就新建一个。
    • Meta-Llama-3.1-8B-bnb-4bit(语言模型):大型语言模型,负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM,地址栏输入 CMD 回车,在命令行里面输入下面命令。
  2. 下载地址:
    • ae.safetensors 和 flux1-dev.safetensors 下载地址:https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 。
    • 准备了夸克和百度的网盘链接,方便部分同学下载:
      • flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 。
      • flux 相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h 提取码:ub9h 。
    • 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/flux-fp8/tree/main 。
  3. 工作流下载:
    • 最后我们再下载 dev 的工作流:dev 的官方原版 workflow.json 。或者下面官方原版的图片链接,图片导入 comfyUI 就是工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。
Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来

模型的下载如果因为环境问题,可以在网盘中下载[heading4]siglip-so400m-patch14-384(视觉模型)[content]siglip由Google开发的视觉特征提取模型,负责理解和编码图像内容。工作流程:a.接收输入图像b.分析图像的视觉内容(如物体、场景、颜色、纹理等)c.将这些视觉信息编码成一组特征向量打开ComfyUI\models\clip,在地址栏输入CMD回车,打开命令行输入下面的命令,拉取模型(需要环境,也可以在网盘里下载)下载好之后,目录的文件[heading4]image_adapter.pt(适配器)[content]连接视觉模型和语言模型,优化数据转换。工作流程:a.接收来自视觉模型的特征向量b.转换和调整这些特征,使其适合语言模型处理c.一些特定任务的优化或微调(如图片到文字)通过https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6下载放到models的Joy_caption文件夹里如果Joy_caption文件夹不存在,就新建一个[heading4]Meta-Llama-3.1-8B-bnb-4bit(语言模型)[content]大型语言模型,负责生成文本描述。工作流程:a.接收经过适配器处理的特征b.基于这些特征生成相应的文本描述c.应用语言知识来确保描述的连贯性和准确性打开ComfyUI\models\LLM,地址栏输入CMD回车在命令行里面输入下面命令下载后的完整目录文件[heading4]

大模型的快思慢想:适配自己的LLM使用场景II--在Mac/Edge设备及微信上运行Flux

FLUX.1[dev]是开源模型,不可商用,直接从FLUX.1[pro]蒸馏而来,具备相似的图像质量和提示词遵循能力,但更高效。它在HuggingFace上提供,可以在Replicate或fal.ai等平台上试用。FLUX.1[schnell]是开源模型,可商用,专门为本地开发和个人使用量身定制,生成速度最快,内存占用也最小。它在Apache 2.0许可下公开提供,适合快速原型制作和个人项目。FLUX.1的训练参数高达120亿,远超SD3 Medium的20亿。它在图像质量、提示词跟随、尺寸适应、排版和输出多样性等方面超越了Midjourney v6.0、DALL·E 3(HD)和SD3-Ultra等流行模型,定义了新的图像合成的最先进水平。FLUX.1 AI的工作原理基于混合架构,结合了变换器和扩散技术,能够根据文本提示生成准确的图像。它采用尖端技术,如流匹配和优化,以生成高质量图像。FLUX.1 AI的关键特性包括尖端性能、文本处理能力、复杂构图能力和改进的人手生成。它支持在Replicate、fal.ai和Comfy UI等平台上使用,并且有明确的定价详情和使用限制。此外,FLUX.1 AI支持用户根据自己的数据集进行微调,以生成特定风格或主题的图像。本文我们尝试分别在没有N卡,不使用类似Comfy UI这样复杂的工作流搭建工具上使用Mac Mini M1上运行FLUX.1[schnell]。然后我们尝试在边缘设备Raspberry PI5B上看看是否可行,最后我们使用dify+CoW项目在微信上搭建一个通过微信发送提示词来画图的应用实例。[heading3]

工具教程:Flux

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main我随后也准备一下百度网盘和夸克网盘。更新:(下面准备了夸克和百度的网盘链接,方便部分同学下载)flux相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608bflux相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h提取码:ub9h如果GPU性能不足、显存不够,底模可以使用fp8的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/flux-fp8/tree/main最后我们再下载dev的工作流:[dev的官方原版workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/KhTAbaxbconU6PxBfJkcAkt8nJc?allow_redirect=1)上面我把工作流复制上了,用上面这个就行。或者下面官方原版的图片链接,图片导入comfyUI就是工作流。https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png我们打开ComfyUI,把工作流或图片拖拽到ComfyUI里:

Others are asking
我现在是学了一段时间的comfyui+flux,接下来准备学Python开发comfyui节点、对接模型,这样学下去方向有没有问题呢
您学习 ComfyUI 和 Flux 一段时间后准备学习 Python 开发 ComfyUI 节点并对接模型,这个方向是可行的。以下是一些相关的知识和要点供您参考: 工作流方面: 工作流节点可直接拖动单个节点到任意位置,也可按住 Control 键并用鼠标左键滑框选中多个节点,再按 Shift 键一起拖动。 选中节点后右键新建组,可修改组名、颜色等,组被覆盖时可直接拖动组。 选中节点后右键选择对齐方式,如顶部对齐、左边对齐等。 第三方节点的安装方式包括在 customer NODE manager 中安装、在 GitHub 上复制链接安装、通过终端输入指令安装、在秋叶启动器的版本管理中安装。 可通过 group by Parser 节点控制组,也可通过按住节点按 control b 跳过或按 control m 终止执行。 模型方面: 噪声强度由种子调节,种子固定噪声分布方式,噪声与 CLIP 无关,增大噪声设置值会增强模型对图片重绘的程度。 模型版本的提示词差异:1.5 以 tag 为主,XL 论文称以自然语言为主,但实际使用中因模型微调情况可能仍需用 tag。 Flux 模型有时生成黑图,可能有修复方案,需自行查询。图像生成结果为空,可能是 VAE 编码器与大模型未连接,调整连接后问题解决。 安装方面: 自动打标 joy_caption 副本的节点安装地址为 D:\\ComfyUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes。 安装步骤包括:(Comfyui evn python.exe)python m pip install rrequirements.txt 或点击 install_req.bat,注意 transformers 版本不能太低。 下载模型或者运行 ComfyUI 自动下载模型到合适文件夹,如从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 新版的 PuLID 解决了模型污染的问题,使用新版的节点需要禁用或者删除之前的 PuLID 节点,不然可能会有冲突问题。模型放在 ComfyUI\\models\\pulid 文件夹里面,注意用新版的。 如果使用 PuLID,还需要安装 EVA CLIP 等模型。
2025-03-21
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
flux ae.sft放在哪个文件夹
在 ComfyUI 中,flux ae.sft 应放在 ComfyUI/models/vae/ 文件夹下。 Flux 模型在 ComfyUI 中的使用,需要将相关模型放在对应的目录下。具体来说,t5xxl_fp16.safetensors 放在 ComfyUI/models/clip/ 目录下,clip_l.safetensors 放在 ComfyUI/models/clip/ 目录下,ae.safetensors 放在 ComfyUI/models/vae/ 目录下,flux1dev.safetensors 放在 ComfyUI/models/unet/ 目录下。flux1dev.safetensors 是底模,ae.safetensors 是 VAE,clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。
2025-03-07
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉,根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”,暂时无法明确具体的问题原因。可能是模型文件格式不被识别,或者文件路径存在错误等。建议您检查文件的完整性和正确性,确保其符合相关软件的要求。
2025-03-07
midjourney_whisper_flux_lora_v01
以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息: 1. XLabsAI 发布了 6 个不同的 Lora,包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等,并提供了相应示例。 2. 文生图模型排序(从高到低):Imagen 3 真实感满分,指令遵从强;Recraft 真实感强,风格泛化很好,指令遵从较好(会受风格影响);Midjourney 风格化强,艺术感在线,但会失真,指令遵从较差;快手可图 影视场景能用,风格化较差;Flux.1.1 真实感强,需要搭配 Lora 使用;文生图大模型 V2.1L(美感版) 影视感强,但会有点油腻,细节不够,容易糊脸;Luma 影视感强,但风格单一,糊;美图奇想 5.0 AI 油腻感重;腾讯混元 AI 油腻感重,影视感弱,空间结构不准;SD 3.5 Large 崩。 3. 指定 AI 生图里的文字,有 9 种解决方案,其中 2 种快过时了。包括 Midjourney(v6 版本开始支持文字效果,主要支持英文,中文支持有限)、Ideogram(以图片嵌入文字能力闻名,2.0 模型能力得到进一步加强,支持复杂文本和多种艺术风格,文字与图像能够自然融合,支持英文,中文提示词可自动翻译为英文)、Recraft(V3 开始支持文本渲染能力,是目前唯一能在图像中生成长文本的模型,支持精确的文本位置控制,支持图像编辑功能,支持矢量图生成,支持英文,中文渲染能力较弱)、Flux(FLUX.1 是一款高质量的开源图像生成模型,支持复杂指令,支持文本渲染,支持图像编辑,生成图像的质量很高,主要支持英文)。
2025-03-07
flux 训练lora 教程
以下是关于 Flux 训练 Lora 的教程: 1. 准备模型:需要下载以下几个模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。注意:不使用的话它们放到哪里都可以,甚至放一起一个文件夹,只要知道“路径”,后面要引用到“路径”。因为是训练,不是跑图,训练的话,模型就用 flux1dev.safetensors 这个版本,编码器也用 t5xxl_fp16.safetensors 这个版本最好。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 安装虚拟环境:下载完解压,在文件中找到 installcnqinglong.ps1 这个文件,右键选择“使用 PowerShell 运行”,新手的话这里就点击“Y”,然后等待 1 2 小时的漫长下载过程,下好了之后最后会提示是否下载 hunyuan 模型,选择 n 不用下载。 4. 0 基础训练大模型: 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。zip 文件可以是包含图片 + 标签 txt,也可以只有图片没有打标文件(之后可以在 c 站使用它的自动打标功能),也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查,可以预览到数据集的图片以及对应的标签。 步骤二·Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集,触发词可有可无,取决于数据集是否有触发词,模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后就可以等待训练了,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 5. ControlNet 作者张吕敏再出新项目 LuminaBrush:基于数据集在 Flux 上训练 LoRA,并用 LoRA 生成的图像来扩展这个图像数据集。使用均匀光照图像作为中间表示具有一些优势,比如避免来自 3D 反照率的过于锐利的网格边界或过于平坦的表面。而这些图像在细节层面也足够细腻,可以处理皮肤纹理、头发、毛发等细节。接下来,通过合成随机法线,将这些均匀光照图像进行随机再光照,以训练一个可以从任何输入图像中提取均匀光照外观的模型。第一阶段的这个模型目前也提供了在线 demo:https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit 。第二阶段,会从数百万张高质量的自然场景图像中提取均匀光照外观图像,以构建成对数据集,用于训练最终的交互式光照绘制模型。
2025-03-04
自动生成提示词的开源工具有哪些
以下是一些自动生成提示词的开源工具: 1. Freepik 推出的 Reimagine AI 工具:用户上传图片即可自动生成提示词,无需输入文字。它还能实时提供无限滚动结果展示,边操作边生成图像,通过调整提示词实时修改图片细节,并支持多种风格切换。相关链接:https://freepik.com/pikaso/reimagine 、https://x.com/imxiaohu/status/1770437135738581414?s=20 2. StreamMultiDiffusion 项目:使用区域文本提示实时生成图像,具有交互式操作体验,每个提示控制一个区域,实现精准图像生成。相关链接:https://arxiv.org/abs/2403.09055 、https://github.com/ironjr/StreamMultiDiffusion?tab=readmeovfile 、https://huggingface.co/spaces/ironjr/SemanticPalette 、https://x.com/imxiaohu/status/1770371036967850439?s=20 3. 【SD】自动写提示词脚本 One Button Prompt:可以在主菜单输入人物提示词,在“高级”中设置提示词混合,还具有一键运行放大的模块,包括完整的文生图放大和图生图放大,甚至可接入其他脚本和 controlnet。获取方式:添加公众号【白马与少年】,回复【SD】。
2025-04-12
开源AI Agent软件有哪些
以下是一些开源的 AI Agent 软件: 1. AutoGPT 和 BabyAGI:在去年 GPT4 刚发布时风靡全球科技圈,给出了让 LLM 自己做自动化多步骤推理的解题思路。 2. Coze:新一代的一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成了丰富的插件工具。 3. Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 4. 文心智能体:百度推出的基于文心大模型的智能体(Agent)平台,支持开发者根据自身需求打造大模型时代的产品能力。 5. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行设计良好的工作流。 6. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等多种场景,提供多种成熟模板,功能强大且开箱即用。 7. 钉钉 AI 超级助理:依托于钉钉强大的场景和数据优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 此外,智谱·AI 开源的语言模型中也有与 Agent 相关的,如 AgentLM7B、AgentLM13B、AgentLM70B 等。
2025-03-29
mcp 有什么开源的方案吗
Anthropic 于 2024 年 11 月推出并开源了 MCP(模型上下文协议)。MCP 就像一个“转接头”或“通用插座”,能统一不同的外部服务,如 Google Drive、GitHub、Slack、本地文件系统等,通过标准化接口与大语言模型对接。开发者基于 MCP 规范开发一次“接口适配器”(MCP 服务器),就能让所有兼容 MCP 的模型(MCP 客户端)无缝接入,无需针对每个模型单独适配,大幅提升兼容性与开发效率。MCP 里面还包含 SSE(ServerSent Events),是一种允许服务器向浏览器推送实时更新的技术。MCP 像为 AI 模型量身定制的“USBC 接口”,可以标准化地连接 AI 系统与各类外部工具和数据源。与传统 API 相比,MCP 是单一协议,只要一次整合就能连接多个服务;具有动态发现功能,AI 模型能自动识别并使用可用的工具;支持双向通信,模型不仅能查询数据,还能主动触发操作。相关链接:
2025-03-27
帮我列举2025年3月1日以来,国内外、闭源开源模型厂商的更新记录。
以下是 2025 年 3 月 1 日以来,国内外、闭源开源模型厂商的部分更新记录: 2025 年 3 月 20 日,OpenAI 推出了一套全新的音频模型,旨在通过 API 为开发者提供更智能、更可定制的语音代理支持,包括改进的语音转文本和文本转语音功能,为语音交互应用带来显著提升。 李开复公开表示 OpenAI 面临生存危机,商业模式不可持续。他强调中国的 DeepSeek 以极低成本提供接近的性能,开源模式将主导未来 AI 发展。他认为企业级 AI 应用将成为投资重点,资源限制反而促进了创新。李开复大胆预测,中国将出现三大 AI 玩家,竞争愈发激烈。 SuperCLUE 发布《中文大模型基准测评 2025 年 3 月报告》,指出 2022 2025 年经历多阶段发展,国内外模型差距缩小。测评显示 o3mini总分领先,国产模型表现亮眼,如 DeepSeekR1 等在部分能力上与国际领先模型相当,且小参数模型潜力大。性价比上,国产模型优势明显。DeepSeek 系列模型深度分析表明,其 R1 在多方面表现出色,蒸馏模型实用性高,不同第三方平台的联网搜索和稳定性有差异。 以上信息来源包括: 《》 《》 《》
2025-03-26
现在Ai作图用什么?还是以前的Stable Diffusion吗?还是又出现了新的开源软件?
目前在 AI 作图领域,Stable Diffusion 仍然是常用的工具之一。Stable Diffusion 是 AI 绘画领域的核心模型,能够进行文生图和图生图等图像生成任务,其完全开源的特点使其能快速构建强大繁荣的上下游生态。 除了 Stable Diffusion,也出现了一些新的相关开源软件和工具,例如: :Stability AI 开源的 AI 图像生成平台。 :拥有超过 700 种经过测试的艺术风格,可快速搜索查找各类艺术家,并支持一键复制 Prompt。 同时,市面上主流的 AI 绘图软件还有 Midjourney,其优势是操作简单方便,创作内容丰富,但需要科学上网并且付费。如果您想尝试使用 Stable Diffusion,可以参考 B 站【秋葉 aaaki】这个 Up 主的视频了解具体的安装方法。
2025-03-24
有哪些效果好的开源OCR模型值得推荐
以下是一些效果较好的开源 OCR 模型推荐: 1. Mistral OCR:当前最强的 OCR 模型,具有多语言支持,超越 Gemini 2.0 Flash,可在 Le Chat 及 API 调用。ElevenLabs 赠送 $25 Mistral API 额度,免费领取!领取地址: 2. Gemini 2.0 Flash:也是一款 OCR 模型。
2025-03-24
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14
我想要一个助手,能帮助我快速计算式子
如果您想要一个能帮助快速计算式子的助手,可以通过以下步骤实现: 1. 搭建示例网站: 创建应用:点击打开提供的函数计算应用模板,参考相关图示选择直接部署,并填写获取到的百炼应用 ID 以及 APIKEY,其他表单项保持默认,点击页面左下角的创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。 2. 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。在代码视图中找到 public/index.html 文件,然后取消相应位置的代码注释。最后点击部署代码,等待部署完成。 验证网站上的 AI 助手:重新访问示例网站页面以查看最新效果,此时网站的右下角会出现 AI 助手图标,点击即可唤起 AI 助手。 此外,零代码自建决策助手可以帮您解决生活中的决策问题,决策链设计包括: 1. 加权得分计算:将每个选项在各个标准上的得分与相应的权重相乘,然后求和,得出每个选项的总加权得分。 2. 机会成本分析:考虑选择每个选项时可能放弃的其他机会。 3. 简单情景分析:为每个选项构想最佳和最坏的情况。 4. 决策矩阵分析:将前面步骤的分析结果汇总到一个表格中,包括预期收益、机会成本、净收益、长期影响和风险评估。 决策阶段包括: 1. 敏感性分析:通过调整不同因素的权重,检验决策是否稳健。 2. 情感检验:反思个人对每个选项的情感反应,并考虑其与理性分析的一致性。 3. 提供最终决策建议:基于前面的所有分析,提出一个综合的建议。 案例——帮你选工作: 假设您是一名在职的产品经理,想跳槽并拿到两个不错的 offer,向决策助手求助。整个流程始于您向决策助手提出问题,决策助手随即要求您提供 offer 的基本信息。在您提供完信息后,决策助手开始定义基本的评估标准,并让您审核,还会根据您的喜好和目标给出权重分配的建议。在您认可权重分配后,决策助手对每个选项进行评分,评分采用 1 到 10 分的制度,涵盖所有评估标准。评分完成后,决策助手会整理出一个清晰的表格,包含各项评估标准的权重以及每个选项在各个标准下的得分。
2025-04-12
物质三态变化图,用什么ai工具能快速绘制?
以下是一些可以快速绘制物质三态变化图的 AI 工具: 1. 麻省理工学院与瑞士巴塞尔大学合作开发的机器学习框架,利用生成式人工智能模型自动绘制物理系统的相图,几乎无需人类监督。 2. 在软件架构设计中,以下工具可用于绘制相关视图,包括物质三态变化图: Lucidchart:流行的在线绘图工具,支持多种图表创建,包括物质三态变化图。 Visual Paradigm:全面的 UML 工具,提供创建各种架构视图的功能。 ArchiMate:开源的建模语言,与 Archi 工具一起使用可创建相关视图。 Enterprise Architect:强大的建模、设计和生成代码的工具。 Microsoft Visio:广泛使用的图表和矢量图形应用程序。 draw.io(现在称为 diagrams.net):免费的在线图表软件。 PlantUML:文本到 UML 的转换工具。 Gliffy:基于云的绘图工具。 Archi:免费的开源工具。 Rational Rose:IBM 的 UML 工具。 此外,Photoshop 2023 Beta 爱国版在某些图像处理和绘图方面也具有一定的能力,但可能不是专门针对物质三态变化图的绘制。
2025-04-11
如何快速上手Cursor、Windsurf、V0.dev、bolt.new、Devin等AI编程产品的经验,能快速转型为AI产品经理?
以下是关于快速上手 Cursor、Windsurf、V0.dev、bolt.new、Devin 等 AI 编程产品并转型为 AI 产品经理的一些经验: 1. 深入理解用户场景和 AI 能力边界:要构建差异化的 AI Native 体验,需要同时对 AI 能力边界和用户场景有深入洞察。 2. 持续迭代产品:在快速变化的模型能力下,避免在每次的基座模型迭代中掉队或被淘汰。 3. 构建良好的模型产品化能力和基础设施:使得应用可以持续收集用户数据以迭代模型。 对于具体的产品: Cursor: 允许用自然语言描述需求,对上下文有深度理解能力,能理解整个项目的结构和依赖关系,进行跨文件的语义分析。 提供智能的代码重构建议,自动诊断和修复常见错误,基于代码自动生成文档。 但要注意,即使有 AI 辅助,当好产品经理也不容易,需要反复沟通和调整。 Devin:作为 2024 年横空出世的产品,预示着软件开发范式的根本转变。 Windsurf、V0.dev、bolt.new 等: 可以使用如 Cursor Composer 构建产品、使用 Bolt.new 构建产品、使用 V0.dev 生成组件等。 此外,国内知名的 AI 全栈开发者 @idoubi 分享了相关使用经验,包括自动补全代码、Debug&&Fix Error、实时对话&&联网搜索、写提示词、写前端页面、截图生成组件、写常用的代码逻辑/函数、代码重构、多语言翻译等方面。同时,对于零代码基础的人员,也有使用相关工具实现想法的方法,如使用 Cursor Composer、Bolt.new、Claude 等构建不同类型的应用。还可以盘点常用的 AI 辅助编程工具和使用场景,如 AI 编辑器(Cursor、Windsurf、Pear Al 等)、编辑器 AI 扩展(Github Copilot、Continue、Cline 等)、UI 组件生成工具(Cursor、V0.dev、Claude、screenshottocode 等)、完整项目构建工具(Cursor、Bolt.new、Replit Agent、Wordware 等)。
2025-04-10
如何快速成为一名ai产品经理
要快速成为一名 AI 产品经理,可以参考以下步骤: 1. 入门级:通过 WaytoAGI 等开源网站或相关课程了解 AI 概念,使用 AI 产品并尝试动手实践应用搭建。 2. 研究级: 技术研究路径:对某一领域有认知,能根据需求场景选择解决方案,或利用 Hugging face 等工具手搓出一些 AI 应用来验证想法。 商业化研究路径:熟悉传统互联网中偏功能实现的产品经理和偏商业运营的产品经理的工作,最好能将两者结合。 3. 落地应用级:拥有成功落地应用的案例,产生商业化价值。 同时,对 AI 产品经理的要求是懂得技术框架,不一定要了解技术细节,而是对技术边界有认知,最好能知道一些优化手段和新技术的发展。AI 本质上是工具和手段,产品经理要关注的还是场景、痛点、价值。 此外,当 AI 与多维表格结合,为用户带来了更多可能性,任何人都能通过多维表格成为 AI 产品经理。例如在一些活动中,如多维表格 AI Maker Day,参与者来自不同领域和岗位,有着各自的优势和想法,包括产品落地服务、多 Agent 处理任务流、宠物与 AI 结合、AI 绘画精灵等方向。
2025-04-09
我想寻找一个AI模型,能快速读懂视频,并总结成为知识架构的应用或网站
以下为您推荐能快速读懂视频并总结成为知识架构的应用或网站: 百炼大模型平台:其影视传媒视频理解能力可对视频进行语音转写、视觉语言分析等处理并总结成文,有清晰使用步骤,可生成爆款文案,还能根据偏好调试提示词。2025 年 1 月 9 号更新的模型可通过 API 调用纹身 AI 等,Windows 用户可在左下角开始运行输入命令提示符进行本地调用,但生成过程较缓慢。 应用场景:包括商品信息图片生成淘宝上架规格参数、智能手表文案生成、社交媒体内容生成、合同提取、拍照搜题、图片转换、模特换装等。 提供 AI 硬件底层能力,AI 拍立得相机拍照可快速成诗并打印,其对接多模态能力可通过智能体应用或工作流形式的 API 调用。 开源使用:有开源地址,可下载到本地,配置阿里云百炼平台的 API key 及 appid 实现场景,运行项目需特定 Python 包和依赖,可新建应用获取 appid,拍照时需设置 API key。 此外,关于 AI 技术原理与框架的相关知识: 生成式 AI 生成的内容称为 AIGC。 相关技术名词: AI 即人工智能。 机器学习包括监督学习、无监督学习、强化学习,电脑通过找规律进行学习。 监督学习使用有标签的训练数据,目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习从反馈里学习,最大化奖励或最小化损失,类似训小狗。 深度学习参照人脑有神经网络和神经元,因层数多称为深度,神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型,生成图像的扩散模型不属于大语言模型,对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制处理序列数据,无需依赖循环神经网络或卷积神经网络。
2025-04-09
TRAE编程快速入门
以下是 Trae 编程的快速入门指南: 一、Trae 简介 Trae 是字节跳动推出的智能编程助手,提供基于 Agent 的 AI 自动编程能力,通过自然语言对话就能实现代码编写。 二、Trae 的功能 1. 传统 IDE 功能,如代码编写、项目管理、插件管理、源代码管理等。 2. 智能问答:在编写代码时可随时与 AI 助手对话,获得代码解释、注释和错误修复帮助。 3. 实时代码建议:AI 助手能理解当前代码并实时提供建议,提升编程效率。 4. 代码片段生成:通过自然语言描述需求生成相应代码片段,甚至能编写项目级或跨文件代码。 5. 从 0 到 1 开发项目:告知想开发的程序,AI 助手提供相关代码或自动创建所需文件。 三、下载 Trae 官网下载地址:https://www.trae.ai/download ,支持 Mac 系统、Windows 系统,未来支持 Linux 系统。 四、使用方法 1. 安装:下载完成后按界面提示一步步安装。 2. 登录:安装完成后点击右侧登录按钮,程序会自动打开网页提示登录,无账号需先注册。登录完若出现“App Unavailable”提示,因 Trae 仅在部分地区可用,此时需开启科学上网。网页登录成功后可关闭科学上网,再点击中间大按钮。 3. 进入客户端后,查看对话框右下角,有三种大模型可选:Claude3.5Sonnet、Claude3.7Sonnet、GPT4o。Trae 提供两种模式: Chat 模式:根据描述进行代码生成、解释、分析问题或解决问题。 Builder 模式:可让 Trae 从 0 开发完整项目,对代码文件的任何更改会自动保存。 五、使用案例 1. 生成一个贪吃蛇游戏:打开 Builder 模式,输入“使用 web 技术栈生成一个贪吃蛇游戏”,排队完成后,Trae 开始思考和代码编写,期间需手动接入进行文件审查,点击“全部接受”。代码生成完成后,Trae 自动运行命令启动页面,点击运行,在 Webview 中可看到实现的游戏效果,试玩基本无 Bug。Trae 还进行了工作总结,说明了已实现的功能,如游戏包含的特性、主要功能和游戏界面等。 2. 生成一个任务清单应用:输入“使用 Web 技术开发一个任务清单应用”,过程类似。 3. 根据 UI 设计图自动生成项目代码:从站酷上找设计图,输入提示生成,虽不完美但能根据反馈调整。 六、总结 从实际体验看,Trae 表现出色,具有高效代码生成能力、多技术栈支持和动态调整潜力。
2025-03-30