Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

fp8 混合模型

Answer

以下是关于 fp8 混合模型的相关信息：

在 ComfyUI FLUX 模型的安装部署方面：

  • 模型：FLUX.1 有多种版本可选，如 dev 版。显卡较好可用 fp16，显卡不足可选 fp8。下载后的模型文件应放在 ComfyUI/models/unet/文件夹中。若爆显存，可在“UNET 加载器”节点中将 weight_dtype 设置为 fp8，能降低显存使用量但可能稍降质量，默认的 weight_type 显存使用较大。
  • CLIP：t5xxl_fp16.safetensors 和 clip_l.safetensors 应放在 ComfyUI/models/clip/文件夹中，也可使用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率，若内存超过 32GB 建议使用 fp16。
  • Vae：下载后放入 ComfyUI/models/vae 文件夹。

关于 T5（/t5xxl_fp16.safetensors）的 clip，原本有输入输出，可能会导致提示词被吞，短提示效果差，训练 flux 或 sd3 时应尽量用长提示词或自然语言。

在 LLM 模型量化世界观中：

  • FP8 量化：在做 all-reduce 之前，会得到各个卡的梯度和对应的系数，选择最小系数进行重新归一化，最后做 FP8 的 all-reduce，最终系数为 N·s_g。
  • FP8 优化器：在 BF16 混合精度训练中，优化器一般选用 Adam，包含 master weight 和一阶、二阶统计量。在 FP8 训练场景中，master weight 需高精度，gradient 可用 FP8 分布式通信方式存储，Adam 中的一阶统计量用 FP8，二阶统计量用 FP16。
  • FP8 分布式策略：分布式策略包括常见的 4D 并行，即 DP/TP/PP 和 SP，其中 DP 和 PP 在 FP8 下与原来的混合精度方案无差别，TP 和 SP 有所不同。

此外，在宝玉日报 1 月 27 日的内容中，也有关于 DeepSeek 的研究和思考涉及到 FP8 混合精度训练的相关讨论。

Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI FLUX

FLUX.1[dev]FLUX.1[dev fp8]FLUX.1[schnell],选一个.建议选择dev版本的,显卡可以的用fp16,显卡不够用的选fp8.模型下载后,放入，这个文件应该放在你的：ComfyUI/models/unet/文件夹中。如果爆显存了,“UNET加载器”节点中的weight_dtype可以控制模型中权重使用的数据类型,设置为fp8，这将使显存使用量降低一半，但可能会稍微降低质量.默认下的weight_type,显存使用比较大.[heading4]clip[content]t5xxl_fp16.safetensors和clip_l.safetensors,放在ComfyUI/models/clip/文件夹里面.https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main可以使用t5xxl_fp8_e4m3fn.safetensors来降低内存使用率，但是如果你有超过32GB内存，建议使用fp16[heading4]Vae[content]下载后,放入ComfyUI/models/vae文件夹https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main[heading3][heading3]T5（/t5xxl_fp16.safetensors）的这个clip，[content]原本是有一个输入输出的。就是有一半是应该空着的。会导致提示词被吞的情况，就是可能会有一半的提示词被吞掉了。所以短提示的效果会比较差。我们在训练flux或者sd3时候，应该尽量的去用长提示词或者自然语言。不要用短提示词。因为T5自带了50%的删标。

（9）LLM模型量化世界观(下)

因此在做all-reduce之前，会得到各个卡的梯度和对应的系数，即一系列(g_i',s_i)值。此时可以选择最小的一个系数\begin{aligned}s_g=\text{min}(s_1,s_2,\cdots,s_N)\end{aligned}然后把各自的梯度做重新归一化g_i''=\text{FP8}(s_g\cdot(g_i'/s_i))最后再做FP8的all-reduceg=g_1''+g_2''+\cdots+g_N''这里最终的系数s=N\cdot s_gFP8优化器在BF16混合精度训练中，优化器一般选用Adam，里面包含了master weight和一阶和二阶统计量，他们都是FP32的格式gradient是BF16，但是通信前转成了FP32，grad_buffer使用FP32表示因此每个权重在优化器中的显存占用为16bytes在FP8训练场景中master weight依旧需要高精度，因为有时候gradient更新量非常小，master weight需要高精度捕捉这些微小的变动gradient用上述的FP8分布式通信方式，可以用FP8存储Adam中的一阶统计量用FP8，二阶统计量用FP16因此每个权重在优化器中的显存占用为FP8分布式策略分布式策略包括常见的4D并行，即DP/TP/PP和SP(Sequence Parallel)。其中DP和PP在FP8下跟原来的混合精度方案没有差别，但是在TP和SP会有不同，如下所示

宝玉 日报

?宝玉日报「1月27日」✨✨✨✨✨✨✨✨1⃣️?拾象：DeepSeek r1闭门学习讨论|Best Ideas Vol 3讨论了DeepSeek在全球AI社区的意义，包括技术突破与资源分配策略。突出了DeepSeek长上下文能力、量化商业模式、以及其对AI生态系统的深远影响。重点分析了DeepSeek的创新路径及中国在AI追赶中的潜力与挑战。?[https://x.com/dotey/status/1883889358383571440](https://x.com/dotey/status/1883889358383571440)2⃣️?转：关于DeepSeek的研究和思考(Archerman Capital)深入解析DeepSeek在架构和工程上的创新，例如MoE、MLA、MTP和FP8混合精度训练。强调DeepSeek不是简单模仿，而是在工程和应用平衡中达成了高效优化。对开源与闭源竞争进行了深刻反思，并指出AI生态未来发展方向。?[https://x.com/dotey/status/1883801546934083944](https://x.com/dotey/status/1883801546934083944)3⃣️?7B Model and 8K Examples:如何用8000个示例炼出自我反思AI？

Others are asking
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉，根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”，暂时无法明确具体的问题原因。可能是模型文件格式不被识别，或者文件路径存在错误等。建议您检查文件的完整性和正确性，确保其符合相关软件的要求。
2025-03-07
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14
deepseek的论文里面讲的混合专家模型怎么理解
混合专家（MoE）模型是一种在深度学习中提升计算效率的架构。以 DeepSeek 为例，其最新模型 V3 与 R1 采用了这种架构。 在 DeepSeek 的 V3 模型中，引入了多头潜注意力（MLA），将 KV 缓存压缩至新低，从而提升了计算性能。R1 模型则通过强化学习激活推理能力，首次验证无需监督微调即可实现推理。 DeepSeek 的 2360 亿参数的 DeepSeekV2 是 60 位专家混合开源模型，在数学、编码和推理方面表现出色，具有 236B 参数，21B 在生成过程中被激活，在 MTBench 上表现优异，中文能力强且性价比高。 您可以通过以下链接获取更详细的介绍：https://xiaohu.ai/p/7468 、https://zhuanlan.zhihu.com/p/21208287743 。
2025-02-19
关于LLMs文本与图像混合模态训练
以下是关于 LLMs 文本与图像混合模态训练的相关内容： 多模态大模型总结： 1. InstructBLIP 基于预训练的 BLIP2 模型进行训练，在 MM IT 期间仅更新 QFormer。通过引入指令感知的视觉特征提取和相应的指令，能够提取灵活多样的特征。 2. PandaGPT 是一种开创性的通用模型，能够理解 6 种不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 3. PaLIX 使用混合 VL 目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 4. VideoLLaMA 引入了多分支跨模式 PT 框架，使 LLMs 能够在与人类对话的同时处理给定视频的视觉和音频内容，使视觉与语言以及音频与语言保持一致。 5. 视频聊天 GPT 是专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。 6. Shikra Chen 等人介绍了一种简单且统一的预训练 MMLLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制，展示了值得称赞的泛化能力，可以有效处理看不见的设置。 7. DLP 提出 PFormer 来预测理想提示，并在单模态句子数据集上进行训练，展示了单模态训练增强 MM 学习的可行性。 未来发展方向： 最初，多模态融合方法常采用预训练的目标检测器，如 ViLBERT、VisualBERT 和 UnicoderVL，通过提取图像特征和执行交叉模态预训练任务，为后续的图像文本任务奠定基础。随着 ViT 的出现和普及，更多方法开始利用 ViT 作为图像编码器，强调大规模预训练，以提高模型的性能和泛化能力，例如 Flamingo。近期，向多模态 LLMs 的发展趋势是从进行预训练到向指令调整（instruction tuning）转变，例如 LLaVA 和 MiniGPT4，它们通过融合视觉和语言信息，能够更有效地完成视觉理解相关的任务，进一步提升模型对于指令的理解能力，提升零样本性能，使模型能够更好地泛化到未见过的任务和领域。 训练过程： 1. 预训练阶段：通常利用 XText 的数据集来训练输入、输出的 Projector，通过优化损失函数来实现不同模态的对齐，PEFT 有时候用于 LLM Backbone。XText 数据集包含图像文本、视频文本和音频文本，其中图像文本有两种类型：图像文本对和交错图像文本语料库。 2. 多模态微调：是对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MMLLM 可以遵循新的指令泛化到没有见过的任务，增强 zeroshot 的能力。MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式，使用 QA 任务作为例子，可采用各种模板。优化目标和预训练相同，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2025-01-01
混合专家模型（MoE
混合专家模型（MoE）是一种深度学习模型结构，由多个专家网络组成，每个专家网络负责处理特定的任务或数据集。其核心思想是将一个大而复杂的任务拆分成多个小而简单的任务，让不同的专家网络负责处理不同的任务，这样能提高模型的灵活性、可扩展性，减少模型的参数量和计算量，从而提升模型的效率和泛化能力。 MoE 架构的实现通常包含以下步骤： 1. 定义专家网络：先定义多个专家网络，每个负责特定任务或数据集，这些网络可以是不同的深度学习模型，如卷积神经网络（CNN）、循环神经网络（RNN）等。 2. 训练专家网络：使用有标签的训练数据训练每个专家网络，获取其权重和参数。 3. 分配数据：在训练中，将输入数据分配给不同专家网络处理，分配方法可以是随机分配、基于任务的分配、基于数据的分配等。 4. 汇总结果：对每个专家网络的输出结果进行加权求和，得到最终输出。 5. 训练模型：使用有标签的训练数据对整个 MoE 架构进行训练，获得最终的模型权重和参数。 MoE 架构在自然语言处理、计算机视觉、语音识别等领域应用广泛。 在苹果大模型 MM1 中也应用了 MoE 架构。研究者使用三种不同类型的预训练数据，构建了参数最高可达 300 亿的多模态模型系列 MM1，它由密集模型和混合专家（MoE）变体组成，在预训练指标中实现 SOTA，在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。在 MM1 的最终模型和训练方法中，通过专家混合（MoE）进行扩展，将密集语言解码器替换为 MoE 语言解码器，并采用与密集骨干相同的训练超参数和设置进行训练。
2025-01-01