Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

图像识别能力强的大模型

Answer

目前，图像识别领域中一些能力较强的大模型包括：

  1. 百度智能云的AI图像识别技术：这项技术利用深度学习算法模拟人脑的神经元网络，对图像进行预处理、特征提取和分类器识别，广泛应用于安全、医疗、交通等领域 。

  2. 北京大学张史梁长聘副教授课题组的多模态大模型Pink和LocLLM：这些模型通过为大语言模型添加图像细粒度指代分析能力，实现了对图像中特定物体和人体的细粒度感知，并在多模态任务、指代感知任务以及人体感知任务上展现出优秀的性能和泛化能力 。

  3. 百度AI的通用物体和场景识别：这项服务能够识别超过10万类常见物体和场景，支持获取识别结果对应的百科信息，并且可以使用EasyDL定制训练平台进行定制识别 。

  4. Vision Transformer (ViT)：由Google Brain团队推出，将传统的CNN替换为Transformer架构，实现了在图像识别任务中的显著性能提升 。

  5. Meta开源的DINOv2视觉大模型：这些模型使用自监督的方式进行训练，无需微调就能用于分类、分割、图像检索、深度估计等多种视觉任务 。

这些大模型展示了AI在图像识别领域的强大能力，能够处理各种复杂的视觉任务，并在不同的应用场景中发挥作用。

Content generated by AI large model, please carefully verify (powered by aily)

References

多模态大模型入门指南-长文慎入【持续更新】

对于图像，一般有四个可选的编码器，NFNet-F6，ViT，CLIP VIT，EVA-CLIP ViT。NFNet-F6：是一个无归一化的ResNet网络，可以在增强过的数据集上获得SOTA的图像识别的性能。VIT：采用transformer模型，将image变成patch，然后对图像进行处理。然后经过线性投影flatten，然后经过多个transformer模块。CLIP-VIT：利用大量的文本-图像快，通过对比学习来优化ViT，将成对的文本图像视为正样本，其他的文本和图像视为负样本。EVA-CLIP：对大规模的CLIP训练稳定了训练过程和优化过程。对于视频，可以统一采样5帧，进行与图像同样的处理。

Gemini report 中文翻译

我们评估了模型在四个不同的能力上：使用caption或问答任务（如VQAv2）进行高级对象识别；使用TextVQA和DocVQA等任务进行细粒度转录，要求模型识别low-level的细节；使用ChartQA和InfographicVQA任务要求模型理解输入布局的空间理解以及使用Ai2D、MathVista和MMMU等任务进行多模态推理。对于zero-shot QA评估，模型被指示提供与特定基准对齐的简短答案。所有数字都是通过Greedy Sampling获得的，没有使用任何外部OCR工具。我们发现Gemini Ultra在表7中的各种图像理解基准测试中都是最先进的。它在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。与其他模型（尤其是GPT-4V）公开报告的结果相比，Gemini在zero-shot评估中表现更好。它还超过了几个专门在基准训练集上进行微调的现有模型，适用于大多数任务。Gemini模型的能力在学术基准测试中取得了显著的改进，如MathVista（+ 3.1%）或InfographicVQA（+ 5.2%）。

Han：基于现有能力项目应用的思考

|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间|<br>|-|-|-|-|-|-|-|-|-|-|-|-|-|-|<br>|VCoder：大语言模型的眼睛|可以想象的应用场景：<br>智慧城市，智慧交通，自动驾驶等对内容识别和内容统计+AI对应响应机制|视频,图片|VCoder的一个视觉编码器，能够帮助MLLM更好地理解和分析图像内容。提高模型在识别图像中的对象、理解图像场景方面的能力。<br><br>它可以帮助模型显示图片中不同物体的轮廓或深度图（显示物体距离相机的远近）。还能更准确的理解图片中的物体是什么，甚至能数出图片中有多少人。|它的功能包括：<br><br>1、增强视觉感知能力：VCoder通过提供额外的视觉编码器，帮助MLLM更好地理解和分析图像内容。<br><br>2、处理特殊类型的图像：VCoder能够处理分割图和深度图等特殊类型的图像。分割图可以帮助模型识别和理解图像中不同物体的边界和形状，而深度图则提供了物体距离相机远近的信息。

Others are asking
图像识别模型
图像识别模型通常包括编码器和解码器部分。以创建图像描述模型为例： 编码器：如使用 inception resnet V2 应用于图像数据，且大部分情况下会冻结此 CNN 的大部分部分，因为其骨干通常是预训练的，例如通过庞大的数据集如图像网络数据集进行预训练。若想再次微调训练也是可行的，但有时仅需保留预训练的权重。 解码器：较为复杂，包含很多关于注意力层的说明，还包括嵌入层、GRU 层、注意力层、添加层归一化层和最终的密集层等。 在定义好解码器和编码器后，创建最终的 TF Keras 模型并定义输入和输出。模型输入通常包括图像输入进入编码器，文字输入进入解码器，输出则为解码器输出。在运行训练前，还需定义损失功能。 另外，还有一些相关模型的安装配置，如 siglipso400mpatch14384（视觉模型），由 Google 开发，负责理解和编码图像内容，其工作流程包括接收输入图像、分析图像的视觉内容并将其编码成特征向量。image_adapter.pt（适配器）连接视觉模型和语言模型，优化数据转换。MetaLlama3.18Bbnb4bit（语言模型）负责生成文本描述。
2025-03-28
一、学习内容 1. AI工具的操作：了解并掌握至少一种AI工具的基本操作，如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 2. AI工具在本职工作的应用：思考并提出AI工具如何帮助你更高效地完成本职工作，包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 3. AI工具在非本职工作的潜力推演：探索AI工具如何在你的非本职工作领域发挥作用，比如在公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面。提出这些工具如何被有效利用，以及它们可能带来的改
以下是关于学习 AI 的相关内容： 一、AI 工具的操作 要了解并掌握至少一种 AI 工具的基本操作，如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 二、AI 工具在本职工作的应用 思考并提出 AI 工具如何帮助更高效地完成本职工作，包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 三、AI 工具在非本职工作的潜力推演 探索 AI 工具在非本职工作领域，如公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面的作用，思考如何有效利用这些工具以及它们可能带来的改变。 四、学习路径 1. 对于不会代码的学习者： 20 分钟上手 Python+AI，在 AI 的帮助下可以完成很多基础的编程工作。若想深入，需体系化了解编程及 AI，至少熟悉 Python 基础，包括基本语法（如变量命名、缩进等）、数据类型（如字符串、整数、浮点数、列表、元组、字典等）、控制流（如条件语句、循环语句）、函数（定义和调用函数、参数和返回值、作用域和命名空间）、模块和包（导入模块、使用包）、面向对象编程（类和对象、属性和方法、继承和多态）、异常处理（理解异常、异常处理）、文件操作（文件读写、文件与路径操作）。 2. 新手学习 AI： 了解 AI 基本概念，建议阅读「」部分，熟悉术语和基础概念，浏览入门文章。 开始 AI 学习之旅，在「」中找到为初学者设计的课程，推荐李宏毅老师的课程，也可通过在线教育平台（如 Coursera、edX、Udacity）按自己节奏学习并获证书。 选择感兴趣的模块深入学习，掌握提示词技巧。 实践和尝试，理论学习后通过实践巩固知识，在知识库分享实践作品和文章。 体验 AI 产品，如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人，了解其工作原理和交互方式。 五、工具推荐 1. Kimi 智能助手：ChatGPT 的国产平替，上手体验好，适合新手入门学习和体验 AI。不用科学网、不用付费、支持实时联网，是国内最早支持 20 万字无损上下文的 AI，对长文理解做得好，能一次搜索几十个数据来源，无广告，能定向指定搜索源（如小红书、学术搜索）。 PC 端： 移动端（Android/ios）： 2. 飞书：汇集各类 AI 优质知识库、AI 工具使用实践的效率工具，助力人人成为效率高手。
2025-02-07
图像识别能力能用在哪些方面？
图像识别能力可以应用在以下方面： 1. 自动驾驶：帮助车辆识别道路、交通标志和其他物体。 2. 广告定向投放：根据图像内容精准推送相关广告。 3. 网页搜索结果优化：通过识别图像内容提高搜索结果的准确性。 4. 数字助手：如 Google Now 或 Amazon Alexa 中用于识别图像相关的指令。 5. 安防监控：识别异常行为或人物。 6. 医疗诊断：辅助医生识别医学影像中的病症。 7. 工业检测：检测产品的质量和缺陷。 8. 物流：识别货物的类别和状态。
2024-12-05
AI 图像识别的发展历程
AI 图像识别的发展历程如下： 早期处理印刷体图片的方法是将图片变成黑白、调整为固定尺寸，与数据库对比得出结论，但这种方法存在多种字体、拍摄角度等例外情况，且本质上是通过不断添加规则来解决问题，不可行。 神经网络专门处理未知规则的情况，如手写体识别。其发展得益于生物学研究的支持，并在数学上提供了方向。 CNN（卷积神经网络）的结构基于大脑中两类细胞的级联模型，在计算上更高效、快速，在自然语言处理和图像识别等应用中表现出色。 ImageNet 数据集变得越来越有名，为年度 DL 竞赛提供了基准，在短短七年内使获胜算法对图像中物体分类的准确率从 72%提高到 98%，超过人类平均能力，引领了 DL 革命，并开创了新数据集的先例。 2012 年以来，在 Deep Learning 理论和数据集的支持下，深度神经网络算法大爆发，如卷积神经网络（CNN）、递归神经网络（RNN）和长短期记忆网络（LSTM）等，每种都有不同特性。例如，递归神经网络是较高层神经元直接连接到较低层神经元；福岛邦彦创建的人工神经网络模型基于人脑中视觉的运作方式，架构基于初级视觉皮层中的简单细胞和复杂细胞，简单细胞检测局部特征，复杂细胞汇总信息。
2024-11-14
以图像识别，为小白科普相关知识和交叉领域，并为研究生提供参考选题
图像识别是指利用计算机技术对图像进行处理和分析，以识别和理解图像中的内容。 对于小白来说，图像识别是让计算机像人一样“看懂”图像。它基于深度学习、机器学习等技术，通过对大量图像数据的学习和训练，能够自动提取图像的特征，并进行分类、识别等操作。 图像识别的应用非常广泛，比如在安防领域，用于人脸识别、车牌识别等；在医疗领域，辅助疾病诊断、医学影像分析；在交通领域，实现交通标志识别、车辆检测等。 图像识别与多个领域存在交叉，如计算机视觉，它不仅关注图像的识别，还包括图像的生成、处理等；与人工智能的其他分支如自然语言处理也有结合，实现图文转换等功能；在工业领域，与自动化生产相结合，进行产品质量检测等。 对于研究生来说，以下是一些参考选题： 1. 基于小样本学习的图像识别算法研究。 2. 融合多模态信息的图像识别模型优化。 3. 针对特定场景（如复杂环境、低光照等）的图像识别改进。 4. 图像识别在医疗诊断中的精准度提升策略。 5. 结合深度学习和传统方法的图像识别性能比较。 6. 基于新型神经网络架构的图像识别应用。
2024-10-19
用ai进行图像识别
AI 在图像识别方面的应用较为广泛，以下为您介绍一些相关内容： 在自动驾驶技术中，利用 AI 进行图像识别、传感器数据分析和决策制定，使自动驾驶汽车能够自主导航和驾驶，如特斯拉（Tesla）、Waymo 和 Cruise 等公司都在开发和测试自动驾驶汽车。 BERT 理念被应用于机器视觉领域，通过将图片分割处理，ViT 模型得以实现图像识别。 在深度学习中，图像识别实际是将图片转化为大量的图像单个像素点 RGB 值作为输入，再大量标注输出，形成神经网络。
2024-10-15
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14
runway属于什么ai能力类型
Runway 是一家总部位于旧金山的 AI 创业公司推出的产品。 在 AI 能力类型方面： 年初爆火，其 Gen2 代表了当前 AI 视频领域最前沿的模型，能够通过文字、图片等方式生成 4 秒左右的视频。 内测能力可根据参考图像进行 Video to Video 视频风格化。 致力于专业视频剪辑领域的 AI 体验，同时也在扩展图片 AI 领域的能力。 11 月 25 日发布新图像生成模型 Frames，专注打造特定美学和视觉氛围，支持细粒度控制“外观、感觉和氛围”，强调“世界构建”，可设计完整的视觉世界，包括场景、氛围、情感等，提供全面的视觉叙事支持。 目前 Runway 支持在网页、iOS 访问，网页端目前支持 125 积分的免费试用额度（可生成约 105 秒视频），iOS 则有 200 多，两端额度貌似并不同步。官方网站：https://runwayml.com/
2025-04-15
runway的能力类型，核心功能
Runway 的能力类型和核心功能包括以下方面： 在 Gen2 模型上推出了较多细节控制能力，并且支持精细数值调节，是当下 AI 视频生成产品中可控性最强的产品。 多笔刷控制局部运动：支持最多 5 个笔刷控制，包括物体运动方向、运动曲线调节。调高 Ambient，笔刷绘制区域物体的运动将和周边环境产生更多关联，并加大运动幅度。 相机控制：支持水平/垂直平移，水平/垂直翻转，镜头缩放/旋转。 Lip Sync Video：支持文本转 TTS 音频、音频文件换音，还有上半年大火的 Lip sync video 对口型能力。 不论是工具栏中不断丰富的音频、视频处理能力，还是 Runway Watch 栏目中的优秀合作案例，都能看出 Runway 一直坚定得在影视制作方向发展。未来若能打通 AI 生成和视频剪辑能力，Runway 未来将对影视制作起到至关重要的作用，成为视频领域必不可少的重要工具。
2025-04-15
你都有什么能力呢？
我作为 AI 知识专家，具备以下能力： 1. 作为提示词专家，能将常规的提示词转化为结构化的提示词，并输出符合预期的回复。了解 LLM 的技术原理和局限性，具有丰富的自然语言处理经验，具备迭代优化能力。 2. 能为您介绍小白参与活动的流程和组队所需的人员类型，如脚本编写、出图、出视频、配音乐、剪辑、统筹等。 3. 为您讲解扣子提供的基础功能，包括提示词（设定 Bot 身份及回复逻辑）、插件（通过 API 连接集成平台和服务）、工作流（规划和实现复杂功能逻辑）、记忆库（保留和理解对话细节，添加外部知识库），并为您提供相关参考链接。
2025-04-14
2025年人工智能大模型的技术提升有哪些，是参数？推理能力？还是语料
2025 年人工智能大模型的技术提升可能体现在以下几个方面： 1. 视频生成能力：如 2024 年推出的多个先进的 AI 模型能够从文本输入生成高质量视频，相比 2023 年有显著进步。 2. 模型规模与性能：更小的模型能驱动更强的性能，如 2022 年最小能在 MMLU 上得分高于 60%的模型是具有 5400 亿参数的 PaLM，到 2024 年，参数仅 38 亿的微软 Phi3mini 也能达到相同阈值。 3. 推理能力：尽管加入了如思维链推理等机制显著提升了大语言模型的性能，但在一些需要逻辑推理的问题上，如算术和规划，尤其在超出训练范围的实例上，这些系统仍存在问题。 4. AI 代理：在短时间预算设置下，顶级 AI 系统得分高于人类专家，但随着时间预算增加，人类表现会超过 AI。 5. 算法变革：如 DeepSeek 的出现标志着算力效率拐点显现，其通过优化算法架构显著提升了算力利用效率，同时 2025 年发布的大模型呈现低参数量特征，为本地化部署到 AI 终端运行提供了可能，其训练过程聚焦于强化学习，提升了模型的推理能力。
2025-04-14
有哪些针对CoT能力的微调工具
以下是一些针对 CoT 能力的微调工具： 1. Selfconsistency CoT：使用手动设计的 Prompt 生成采样一组不同的推理路径，再通过“多数投票”找到推理步骤中“最一致”的路径，使用这条解码路径驱动原始的贪心解码方式来提示 CoT 性能。 2. MMCoT：侧重使用微调方法嵌入 CoT，通过将语言和图像合并在一个包含推理生成与答案推理的两阶段的框架中，使用微调大模型赋予输入多模态 CoT 的能力。 3. GoTInput 方法：通过对 CoT 生成的思维图进行抽取构建三元组，并使用 GNN 将文本、图像与 CoT 统一，从而生成包含 CoT 信息的最终答案。 4. VCoT：解决了一个输出多模态的问题，通过以生成图片的“标题”以及识别核心关注点作为图像生成的启动过程，通过递归的方式填充图像信息，从而实现输出多模态。 此外，在将 DoT 扩展到预训练的扩散语言模型 Plaid 1B 并在更复杂的推理任务上进行评估时，自回归模型和扩散模型在使用 CoT 或 DoT 进行微调时都显示出显著提高的性能。在微调 Plaid 1B 时，也探索了几种替代方案。 在强化学习驱动的合成数据生成与模型优化流程中，也涉及到 CoT 的相关应用和优化，如初始 CoT 生成、CoT 存储等。
2025-04-12