Joy\_caption\_two\_load 模型的下载方式如下:
1. siglipso400mpatch14384(视觉模型):
siglip 由 Google 开发,负责理解和编码图像内容。
工作流程包括接收输入图像、分析图像的视觉内容并将其编码成特征向量。
打开 ComfyUI\\models\\clip,在地址栏输入 CMD 回车,打开命令行,输入相关命令拉取模型(也可在网盘中下载)。下载好后,目录的文件会存在。
2. image_adapter.pt(适配器):
连接视觉模型和语言模型,优化数据转换。
工作流程包括接收来自视觉模型的特征向量、转换和调整特征以及进行特定任务的优化或微调。
通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载,放到 models 的 Joy_caption 文件夹里,如果该文件夹不存在,就新建一个。
3. MetaLlama3.18Bbnb4bit(语言模型):
大型语言模型,负责生成文本描述。
工作流程包括接收经过适配器处理的特征、基于特征生成相应文本描述以及应用语言知识确保描述的连贯性和准确性。
打开 ComfyUI\\models\\LLM,地址栏输入 CMD 回车,在命令行输入相关命令。从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。
此外,还需注意以下几点:
1. 网盘链接:提供了方便下载的网盘。
2. 环境问题:如果因为环境问题,可以在网盘中下载。
3. 模型存放位置:三个模型分别存放到指定的文件夹,如 3.5G 的模型放到“你的\\ComfyUI\\models\\clip\\siglipso400mpatch14384”,5.7G 的模型放到“你的\\ComfyUI\\models\\LLM\\MetaLlama3.18Bbnb4bit”,86MB 的模型放到“你的\\ComfyUI\\models\\Joy_caption”。
2025-03-05