Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

deepseek支持function calling吗

Answer

DeepSeek API 支持 Function Calling 功能。这项功能允许模型调用外部工具以增强其能力。例如,可以使用 Function Calling 获取用户所在地点的当前天气信息。具体的 API 格式可以在 DeepSeek API 的 Chat Completion 文档中找到示例和详细信息 。

此外,DeepSeek API 最近更新了,其中包括了对 Function Calling 的支持。更新的接口 /chat/completions 现在支持 JSON 输出、Function Calling、对话前缀续写(Beta)、8K 最长输出(Beta),并且新增了 /completions 接口,其中包括 FIM 补全(Beta)。所有这些新功能都可以使用 deepseek-chatdeepseek-coder 模型调用 。

Content generated by AI large model, please carefully verify (powered by aily)

References

生成式人工智能领域的 4 个突破点

随着时间的推移,我们已经看到公司不断改善LLMs使用工具的能力。像必应和谷歌这样的老牌公司和Perplexity和You.com这样的初创公司推出了搜索API。AI21 Labs推出了Jurassic-X,它通过将模型与一组预定工具(包括计算器、天气API、维基百科API和数据库)结合起来,解决了独立LLMs的许多缺陷。OpenAI推出了ChatGPT的插件测试版,允许ChatGPT与Expedia、OpenTable、Wolfram、Instacart、Speak、网络浏览器和代码解释器等工具进行交互,这一突破被认为类似于苹果的“应用商店”时刻。最近,OpenAI在GPT-3.5和GPT-4中引入了函数调用,允许开发者将GPT的能力与任何外部工具进行链接。

ChatGPT 助力数据分析:实际案例与技巧

可以发现为了让ChatGPT返回符合要求的JSON格式,prompt的定制就尤为重要和复杂。好消息是,在当地时间6月13日,OpenAI发布函数调用及其他API更新。现在开发人员可以向gpt-4-0613和gpt-3.5-turbo-0613描述函数,并让模型智能地选择输出一个包含调用这些函数所需参数的JSON对象。这是一种更可靠地将GPT的能力与外部工具和API连接起来的新方法。传送门:[Function calling and other API updates](https://openai.com/blog/function-calling-and-other-api-updates)官网有很详细的例子,这里就不再描述代码了。我用本文案例总结大致流程:有个好处是不需要让ChatGPT生成SQL了,减少SQL注入的风险。本地写一个函数执行this.app.mysql.select(table,condition),根据GPT返回的函数名、参数(字段和where)来查询数据,更为安全。但这个方法又有局限性,事先定义函数查询不如SQL查询来的灵活,所以这里也可以让函数改为SQL查询this.app.mysql.query(sql),GPT的函数调用改为:getSqlQuery(sql:string),函数名getSqlQuery,参数:sql,更为灵活。总结:让GPT与函数调用结合,本地控制返回JSON格式,prompt的定制更为简单,AI的输出更为可控。根据实际业务需求采用函数查询或SQL查询,值得一试!

Others are asking
function calling是什么
Function Calling 是一种在自然语言处理和人工智能模型中的技术和概念。 在金融业务场景中,例如搜索欧元兑美元的当前汇率,使用前需要做好配置,如使用 Gemini 1.5 Flash 模型。 对于 ChatGPT 而言,为了让其返回符合要求的 JSON 格式,prompt 的定制尤为重要和复杂。OpenAI 发布函数调用及其他 API 更新后,开发人员可以向 gpt40613 和 gpt3.5turbo0613 描述函数,并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象,这是将 GPT 的能力与外部工具和 API 连接起来的新方法。例如,本地写函数执行 this.app.mysql.select,使操作更灵活。 对于 OpenAI 的 GPT 模型,Chat completions API 允许在请求中传递一系列函数描述,模型能据此生成函数参数并以 JSON 格式返回,可用于执行函数调用,函数调用的结果还能在后续请求中反馈给模型形成交互循环。想深入了解可查看 GPT 入门指南里的函数调用部分和 OpenAI Cookbook 里的用例。 需要注意的是,模型生成的代码不一定都正确和安全,运行代码前要确保环境安全,最好在沙盒里。
2025-03-26
Function Calling 是什么
Function Calling 是一种在自然语言处理和人工智能领域中的技术和概念。 在金融业务场景中,例如搜索欧元兑美元的当前汇率,使用前需要做好配置,如使用 Gemini 1.5 Flash 模型。 对于 ChatGPT 而言,为了让其返回符合要求的 JSON 格式,prompt 的定制尤为重要和复杂。OpenAI 发布函数调用及其他 API 更新后,开发人员可以向 gpt40613 和 gpt3.5turbo0613 描述函数,并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象,这是将 GPT 的能力与外部工具和 API 连接起来的新方法。例如,本地写函数执行 this.app.mysql.select,这样使得 prompt 的定制更为简单,AI 的输出更为可控。 在 OpenAI 的相关实践中,Chat completions API 允许在请求时附带一系列函数描述,模型可据此产生函数参数,API 以 JSON 格式返回参数用于执行函数调用,函数调用的结果还可反馈给模型形成交互循环。想深入了解可查看 GPT 入门指南里的函数调用部分和 OpenAI Cookbook 里的用例。但需注意,模型生成的代码不一定都正确和安全,使用前要确保环境安全。
2025-03-14
实现一个简单的 function calling agents ,要求小白可以看懂
以下是一个关于实现简单的 function calling agents 的指导,以便小白能够理解: 实现原理: 提示词工程主要由提示词注入和工具结果回传两部分代码组成。提示词注入用于将工具信息及使用工具的提示词添加到系统提示中,它包含 TOOL_EAXMPLE、tools_instructions 和 REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具,编写时应注意用无关紧要的工具作示例避免混淆。tools_instructions 是将通用工具字典转换成 LLM 可读的工具列表,实际使用时可动态调整。REUTRN_FORMAT 定义了调用 API 的格式。工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数,对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码,通过识别 LLM 返回的调用工具的字典提取对应值传入工具函数,将工具返回结果以 observation 角色返回给 LLM,对于不接受相关角色的 LLM 接口可改为回传给 user 角色。 实现方式的比较与建议: 1. JSON Output:通过 Prompt 方式让模型输出 JSON 格式内容,但 Prompt 麻烦,输出不稳定,串业务成本高。 2. JSON Mode:官方 JSON Output,与 Tools 适用场景不同,JSON mode 为输出 JSON 存在,Tools 为 Call API 存在。 3. 从可控角度推荐 Function Calling 和 Tools 实现: 放弃 JSON mode,模型输出 JSON 仍可能出错,模型厂家对 Function Calling 有微调优化。 降低 System prompt 依赖,能在 Tools 里写的尽量写在里面。 API Response 增强 Prompt,准确率高。 尽量让模型做选择而非填空,减少 token 输出,提高速度和准确率。 利用 Tools 做 Route,构建 Multi Agent,术业有专攻。 此外,在初级菜鸟学习 Langchain 做简单 RAG 方面: 1. 没有用 Langchain 做 table 和 text 的 RAG: Table 表格:包括读入表格 markdown 格式嵌入 template 和直接使用 function call 两种方法。 Text 文字:包括文字相似度检索过程,涉及读入文字、清洗、切分、向量化、计算相似度等步骤。 2. 用 Langchain 做 table 和 text 的 RAG:包括运用 Agent 和 Chain 等方式。 3. 使用 Agent 把文本多种文档组合起来。 相关代码和示例可参考相应的链接。
2025-03-11
function calling 这是什么?
Function Calling 是一种在自然语言处理和人工智能模型中的技术。 在金融业务场景中,例如搜索欧元兑美元的当前汇率,使用前需要做好配置,如使用 Gemini 1.5 Flash 模型。 对于 ChatGPT 而言,为了让其返回符合要求的 JSON 格式,prompt 的定制尤为重要和复杂。OpenAI 发布函数调用及其他 API 更新后,开发人员可以向 gpt40613 和 gpt3.5turbo0613 描述函数,并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象,这是将 GPT 的能力与外部工具和 API 连接起来的新方法。例如,本地写函数执行 this.app.mysql.select。 对于 OpenAI 的 GPT 模型,Chat completions API 允许在请求中传递一系列函数描述,使模型能够根据提供的模式生成函数参数,API 以 JSON 格式返回生成的函数参数,可用于执行函数调用,函数调用的输出还可在后续请求中反馈给模型形成交互循环。想深入了解可查看 GPT 入门指南里的函数调用部分和 OpenAI Cookbook 里的用例。 需要注意的是,模型生成的代码不一定都是正确和安全的,在运行代码前要确保环境安全,最好在沙盒中进行。
2025-03-06
Function Calling
Function Calling 是一种将 AI 模型(如 ChatGPT、谷歌 Gemini 等)的能力与外部工具和 API 连接起来的方法。 对于 ChatGPT: 为让其返回符合要求的 JSON 格式,prompt 的定制重要且复杂。 OpenAI 发布函数调用及其他 API 更新,开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数,让模型智能输出包含调用函数所需参数的 JSON 对象。 好处是减少 SQL 注入风险,可本地写函数执行查询,也可让函数改为 SQL 查询,使 GPT 与函数调用结合,本地控制返回 JSON 格式,prompt 定制更简单,AI 输出更可控。 对于谷歌 Gemini: 在金融业务用例中,可用于搜索欧元兑美元的当前汇率,使用前需做好配置,如使用 Gemini 1.5 Flash 模型。 函数调用带来多个优势,包括简化用户体验、减少错误发生可能性、为更高级自动化开辟道路,能处理如酒店预订或制定旅行计划等复杂操作,重新定义了人与技术的互动方式。
2025-03-05
Function Calling 是什么
Function Calling 是一种将模型的能力与外部工具和 API 连接起来的方法。 在金融业务场景中,例如搜索欧元兑美元的当前汇率,需要先做好配置,可使用 Gemini 1.5 Flash 模型。 对于 ChatGPT 而言,为了让其返回符合要求的 JSON 格式,prompt 的定制尤为重要和复杂。OpenAI 发布函数调用及其他 API 更新后,开发人员可以向 gpt40613 和 gpt3.5turbo0613 描述函数,并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象。 使用 Function Calling 有好处,如不需要让 ChatGPT 生成 SQL,减少 SQL 注入的风险,本地写函数执行查询数据更为安全。但也有局限性,事先定义函数查询不如 SQL 查询灵活,也可让函数改为 SQL 查询以增加灵活性。 对于 OpenAI 的 GPT 模型,Chat completions API 允许在请求时附带一系列函数描述,使模型能按照提供的格式产生函数参数,API 以 JSON 格式返回参数用于执行函数调用,函数调用的结果还可反馈给模型形成交互循环。想深入了解可查看 GPT 入门指南里的函数调用部分和 OpenAI Cookbook 里的用例。同时要注意模型写的代码不一定都正确和安全,运行前要确保环境安全。
2025-02-23
deepseek官方教程
以下是关于 DeepSeek 的官方教程相关信息: 火山方舟 DeepSeek 申请免费额度教程,包含多种 API 使用方式,如飞书多维表格调用、Coze 智能体调用、浏览器插件调用。可以使用邀请码 D3H5G9QA,通过邀请链接 https://www.volcengine.com/activity/deepseek?utm_term=202502dsinvite&ac=DSASUQY5&rc=D3H5G9QA 邀请可拿 3000 万 tokens,畅享 671B DeepSeek R1,活动截止至北京时间 20250218 23:59:59。同时,火山方舟大模型服务平台的模型服务计费文档有更新,DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动。 有关于一线教师的 AI 需求与高效工具推荐,如让模型创作诗歌、生成宣传标语、提示库(https://apidocs.deepseek.com/zhcn/promptlibrary)、代码解释、内容分类、角色扮演(自定义人设)、散文写作、文案大纲生成、模型提示词生成等。 2 月 14 日的社区动态中,有《突破 DeepSeek R1 能力天花板,火山引擎扣子+飞书一站式企业解决方案》《羊毛快薅|字节火山上线了 DeepSeek 系列模型并悄悄更改了模型服务价格...》等内容,还附上了飞书多维表格、Coze 的接入使用方法等。此外,还有关于 DeepSeek 关键 9 篇论文及创新点的讲解,以及 DeepSeek 官方发布的 R1 模型推荐设置。
2025-04-15
我想让DEEPSEEK帮我写一篇论文,题目已经定好了,怎么给他输入指令
以下是给 DeepSeek 输入指令以帮助您写论文的一些建议: 1. 采用结构化提示词: 优先保留专业领域术语和技术词汇,这些术语通常具有高信息价值。 对不同类型的信息设置权重,按优先级排序:任务定义>关键约束>专业术语>定量信息>方法论>背景。 以完整语义单元为基本保留单位,而非单个词语,确保压缩后的内容仍保持语义完整性。 避免详细指导思考过程,让模型自主生成思维链。 2. 高阶能力调用: 文风转换矩阵:例如“用鲁迅杂文风格写职场 PUA 现象”“将产品说明书改写成《史记》列传格式”“把这篇论文摘要翻译成菜市场大妈能听懂的话”。 领域穿透技术:如行业黑话破解“解释 Web3 领域的'胖协议瘦应用'理论”。 3. 场景化实战策略: 创意内容生成。 技术方案论证。 4. 效能增强技巧: 对话记忆管理:包括上下文锚定(如“记住当前讨论的芯片型号是麒麟 9010”)、信息回溯(如“请复述之前确认的三个设计原则”)、焦点重置(如“回到最初讨论的供应链问题”)。 输出质量控制:针对过度抽象、信息过载、风格偏移等问题,使用相应的修正指令。 5. 特殊场景解决方案: 长文本创作:可采用分段接力法,如“先完成故事大纲→逐章扩展→最后进行伏笔校验”“确保新章节与前文的三处细节呼应”。 敏感内容处理:使用概念脱敏法(如“用经济学原理类比说明网络审查机制”)或场景移植法(如“假设在火星殖民地讨论该议题”)。 在输入指令时,您需要清晰明确地描述论文的题目、研究目的、主要论点、关键论据、期望的结构和风格等重要信息,以便 DeepSeek 能够为您生成符合要求的内容。
2025-04-14
coze搭建工作流调用deepseek如何把模型的输出存入到多维表中
以下是将模型的输出存入到多维表中的步骤: 1. 逐步搭建 AI 智能体: 搭建整理入库工作流。 设置大模型节点提取稍后读元数据,使用 MiniMax 6.5s 245k,设置最大回复长度至 50000,以确保能完整解析长内容网页。 进行日期转时间戳,后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳,需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式,飞书多维表格插件目前(2024 年 08 月)只支持带有转义符的 string,以 Array<Object>格式输入,所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件,只需要设置{{app_token}}与{{records}}参数,将元数据写入飞书表格。 2. 搭建 Coze 工作流: 打开 Coze 的主页,登录后,在【工作空间】创建一个智能体。 在编排页面,给智能体编辑好人设,可先写一个简单的,然后点右上角自动优化,系统会自动补全更精细的描述。点击工作流的+,创建一个工作流。 大模型节点把 input 给到 DeepSeek,让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时,两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时,如果需要 input 可被 DeepSeek 调用,需要用{{input}}作为参数引入,不然大模型不知道自己需要生成和这个 input 相关的结果。编排完,点击【试运行】,调试至满意后点击发布。
2025-04-14
Deepseek自动生成网站前端页面
以下是关于 DeepSeek 自动生成网站前端页面的相关内容: DeepSeek v3 能力更新后虽能生成炫目的前端页面,但多为静态且实用性有限。可结合飞书多维表格将生成的漂亮前端变为真实的系统,如【智能作业分发系统】。 该系统整体包括用户登陆(可加飞书调查表二维码实现注册)、作业类型、作业详情(含连连看游戏、AI 智能问答、考试系统)。其实现逻辑为用户登陆系统后进入页面看到老师分配的作业分类,选择分类进入作业详情页面,详情页有学习单词发音及三个模块。 对于小白,可用飞书作数据源,通过飞书 API 接口获取内容,用 DeepSeek v3 制作前端+后端(用 Trae 更方便)。获取请求参数时,测试成功后的示例代码中有完整的请求参数和请求体可直接复制使用。创建前后端时,若用 DeepSeek 官网搭建需按代码目录结构创建对应文件(用 Trae 可省略),首次运行可能遇到飞书 API 未正确配置 CORS 导致浏览器拦截请求的问题,V3 会给出修改意见。 此外,Same dev 能像素级复制任意 UI 界面并生成前端代码,支持多种文件格式和技术栈代码,但免费额度消耗快,网站被谷歌标记。360 智脑复现了 DeepSeek 强化学习效果并发布开源模型 LightR114BDS。 AI 时代生存法则:会提需求比会写代码更重要,会开脑洞比会复制粘贴更值钱,真正的大佬都是让 AI 当乙方!
2025-04-13
deepseek写论文
以下是关于 DeepSeek 在不同方面应用的相关信息: 应用场景:包括脑爆活动方案、会议纪要、批量处理客户评论、分析总结复盘内容、生成专业软件使用过程、写小说框架、写论文、写文案、写小红书笔记、写周报、做设计头脑风暴、做网站、分析感情问题等。 优势与不足:在写文方面全面领先,但长文可能太发散、文风用力过猛导致审美疲劳,且模型多样性不够,相同 prompt 提问多次答案雷同。 应对策略:写理性文章时,可先与 DeepSeek 讨论思路,再用 Cloud 3.5 批量生成;用 O1 模型对创作的字数控制有一定效果,也可通过多轮对话让 AI 增删改查来调整字数。 创作相关:模仿特定小说家的文学方式创作小说,需在提示词中描述文风特征;邀请大家在腾讯频道发布用 AI 写的小说并鉴赏。 发展历程:DeepSeek 历时 647 天在大语言模型(LLM)领域取得突破,发布 13 篇论文。谷歌 CEO 坦言 Deep Seek 的突破标志着 AI 的全球化进程。
2025-04-13
使用Deepseek写论文有哪些固定指令模板
以下是使用 DeepSeek 写论文的一些指令模板: 1. 进阶控制技巧: 思维链引导: 分步标记法:请逐步思考:1.问题分析→2.方案设计→3.风险评估 苏格拉底式追问:在得出最终结论前,请先列举三个可能存在的认知偏差 知识库调用: 领域限定指令:基于 2023 版中国药典,说明头孢类药物的配伍禁忌 文献引用模式:以 Nature 2022 年发表的论文为参考,解释 CRISPRCas9 最新突破 多模态输出 2. 高级调试策略: 模糊指令优化: 问题类型:宽泛需求 修正方案:添加维度约束 示例对比:原句:“写小说”→修正:“创作以 AI 觉醒为背景的悬疑短篇,采用多视角叙事结构” 问题类型:主观表述 修正方案:量化标准 示例对比:原句:“写得专业些”→修正:“符合 IEEE 论文格式,包含 5 项以上行业数据引用” 迭代优化法: 首轮生成:获取基础内容 特征强化:请加强第三段的技术细节描述 风格调整:改用学术会议报告语气,添加结论部分 最终校验:检查时间逻辑一致性,列出可能的事实性错误 3. 核心原理认知: AI 特性定位: 多模态理解:支持文本/代码/数学公式混合输入 动态上下文:对话式连续记忆(约 8K tokens 上下文窗口,换算成汉字是 4000 字左右) 任务适应性:可切换创意生成/逻辑推理/数据分析模式 系统响应机制: 采用意图识别+内容生成双通道 自动检测 prompt 中的:任务类型/输出格式/知识范围 反馈敏感度:对位置权重(开头/结尾)、符号强调敏感 4. 基础指令框架: 四要素模板 格式控制语法: 强制结构:使用```包裹格式要求 占位符标记:用{{}}标注需填充内容 优先级符号:>表示关键要求,!表示禁止项 5. 高阶能力调用: 文风转换矩阵: 作家风格移植:“用鲁迅杂文风格写职场 PUA 现象” 文体杂交:“将产品说明书改写成《史记》列传格式” 学术口语化:“把这篇论文摘要翻译成菜市场大妈能听懂的话” 领域穿透技术:行业黑话破解→“解释 Web3 领域的‘胖协议瘦应用’理论” 商业决策支持 6. 场景化实战策略: 创意内容生成 技术方案论证 7. 效能增强技巧: 对话记忆管理: 上下文锚定:“记住当前讨论的芯片型号是麒麟 9010” 信息回溯:“请复述之前确认的三个设计原则” 焦点重置:“回到最初讨论的供应链问题” 输出质量控制: 问题类型:过度抽象 修正指令:“请具体说明第三步操作中的温度控制参数” 问题类型:信息过载 修正指令:“用电梯演讲格式重新组织结论” 问题类型:风格偏移 修正指令:“回归商务报告语气,删除比喻修辞” 8. 特殊场景解决方案: 长文本创作: 分段接力法:“先完成故事大纲→逐章扩展→最后进行伏笔校验”“确保新章节与前文的三处细节呼应” 敏感内容处理: 概念脱敏法:“用经济学原理类比说明网络审查机制” 场景移植法:“假设在火星殖民地讨论该议题”
2025-04-13
function call
Function Calling 是一种将 AI 模型(如 ChatGPT、谷歌 Gemini 等)的能力与外部工具和 API 连接起来的方法。 在 ChatGPT 中: 为让 ChatGPT 返回符合要求的 JSON 格式,prompt 的定制重要且复杂。 OpenAI 发布函数调用及其他 API 更新后,开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数,让模型智能输出包含调用函数所需参数的 JSON 对象。 本地写函数执行查询操作,如 this.app.mysql.select,函数名 getSqlQuery,参数:sql,更灵活。 在谷歌 Gemini 中: 讲解了 Function Calling 是什么及具体用法。 以从事金融业务为例,如搜索欧元兑美元的当前汇率,使用前需做好配置,可使用 Gemini 1.5 Flash 模型。 函数调用带来了多个优势,包括简化用户体验、减少错误发生可能性、为更高级自动化开辟道路,能处理如酒店预订或制定旅行计划等复杂操作,重新定义了人与技术的互动方式。
2025-03-31
如何实现function call
实现 Function Call 主要有以下几种方式和要点: 1. 方式: Json Output:通过 Prompt 让模型输出 JSON 格式内容,但 Prompt 麻烦,输出不稳定,串业务成本高。 Json Mode:官方 Json Output,与 Tools 适用场景不同,JSON mode 为输出 JSON 存在,Tools 为 Call API 存在。 Function Calling 和 Tools:从可控角度推荐使用。 2. 要点: 放弃 JSON mode:模型输出 JSON 仍可能出错,模型厂家对 Function Calling 有微调优化。 降低 System prompt 依赖,化繁为简:System prompt 内容多,不能保证模型遵循,能在 Tools 里写的尽量写在里面。 API Response 增强 Prompt:Tools 调用结果返回给模型时,可增加约束和提示,准确率高。 尽量让模型做选择,而不是填空:将确定答案做成选项,如用 Enum 方式,减少 token 输出,提高速度和准确率。 利用 Tools 来做 Route,构建 Multi Agent:一个不行就增加数量,术业有专攻。 此外,OpenAI 发布函数调用及其他 API 更新,开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数,让模型智能输出包含调用函数所需参数的 JSON 对象,这是连接 GPT 能力与外部工具和 API 的新方法。例如在本地写函数执行查询,根据 GPT 返回的函数名和参数来操作,也可将函数改为更灵活的 SQL 查询。在实际业务中,可根据需求选择函数查询或 SQL 查询。另外,LangChain 内置的 openapifunction call 也可用于相关开发,实际业务中可能需结合内置业务流程,如判断用户问题是否相关、引导式提问等。
2025-03-19
目前有哪些AI可以支持对用户上传的视频进行理解分析?
目前以下 AI 可以支持对用户上传的视频进行理解分析: 1. Gemini 2.0 Flash Thinking:是解析视频的不错选择,可在 AIStudio(访问 aistudio.google.com,需海外 IP)上传视频进行解析。 2. MiniMax 视频模型:能准确识别用户上传的图片,生成的视频在形象保持、光影色调、指令响应、表情呈现等方面表现出色,还支持 2000 字提示词以更精准调控。 3. 百炼大模型平台:应用广场里的影视传媒视频理解能力可对视频进行语音转写、视觉语言分析等处理并总结成文,有清晰使用步骤,还能根据偏好调试提示词。
2025-04-09
哪些AI可以支持对镜头的视觉理解
以下 AI 可以支持对镜头的视觉理解: 1. 通义千问的 Qwen2.5VL 模型:具有以下优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 2. OpenAI 的 GPT4:在 12 月发布的更新中正式上架了“视频理解”功能,可以和用户就便签内容进行讨论。 3. 基于豆包视觉理解模型实现的具有视频通话功能的应用:能够对摄像头传输的实时画面进行分析,精准理解画面中的关键信息,包括图表论文人物表情、动作细节、场景环境等。同时支持高清流畅的视频通话,实现和大模型面对面的即时交流体验。
2025-04-09
有哪些支持超长上下文的大模型
以下是一些支持超长上下文的大模型: Scout:支持 1000 万上下文,适合处理超长文本和复杂推理任务。 Maverick:具有 100 万上下文,长记忆优势适配多场景替代 RAG。 Behemoth:2 万亿参数级别的大模型在训,已超越 GPT4.5 在 STEM 表现。 Claude2100k 模型的上下文上限是 100k Tokens,即 100000 个 token。 ChatGPT16k 模型的上下文上限是 16k Tokens,即 16000 个 token。 ChatGPT432k 模型的上下文上限是 32k Tokens,即 32000 个 token。 需要注意的是,token 限制同时对一次性输入和一次对话的总体上下文长度生效。例如,一次性输入不能超过规定的 token 数量,而且随着对话的进行,当达到上限时,会遗忘最前面的对话内容。
2025-04-08
生成设计图:包括图书馆静音舱+小组讨论舱 :用隔音板材划分独立空间,舱体外壳由学生绘制抽象艺术图案。 可变形桌椅 :定制模块化桌椅,支持拼合为“创作大桌”或独立卡座,适配小组作业与个人学习。 艺术疗愈角 :设置减压涂鸦墙、小型绿植温室,配备舒缓音乐耳机。
以下是为您提供的关于生成您所需设计图的相关信息: 星流一站式 AI 设计工具具有入门模式和高级模式。 入门模式: 可以使用图像控制功能精准控制生成图像的内容和风格,如空间关系、线稿、人物长相、姿势等。 只能使用以下四种参考功能: 全部图片参考功能,包括原图、景深、线稿轮廓、姿势、Lineart 线稿、Scribble 线稿、光影、Segmant 构图分割等。 原图、SoftEdge 线稿、配色参考、配色打乱、法线贴图、MLSD 线稿等。 高级模式: 点击生成器下方的切换按钮进行切换。 与入门模式相比增加了高级模式框架。 基础模型方面,允许使用更多的微调大模型,如基础模型 F.1、基础模型 XL、基础模型 1.5。 图片参考方面,允许使用更多的图像控制功能,在星流基础大模型下,增加了 tile 分块与 softedge 线稿。 高清分辨率修复:利用算法对初步生成的图像进行简单的图生图高清放大(目前仅支持基础模型 xl 和 1.5 模型)。 放大算法会影响图像放大后的图像质量,建议默认即可。 重绘幅度与初步生成的图像的相似度有关。 其他参数默认即可,参数方面允许调整更多的高级参数。 采样器方面,采样方法决定了模型在生成图像过程中的出图质量,有些采样器在细节处理上表现更佳比如 DPM++2M,而有些则在生成速度上更快,比如 Euler。 采样步数一般来说,步数越多,模型对图像的生成和优化越充分,但同时也会增加生成时间。 随机种子是文生图的随机数种子,通过设置相同的随机数种子,可以确保在相同的参数配置下生成相同的图像。 CFG Scale 控制生成图像与提示词一致性的重要参数。 具有脸部/手部修复功能,利用算法对人像的脸部或者手部进行修复。 此外,学生使用项目化的方式分析现状,做问卷调查,数据分析,在 ChatGPT 的帮助下设计出优化过的设计图,然后使用 3D 的空间设计软件设计出来 3D 的设计图。比如有孩子为优化老师家访路线提出做一个软件产品的案例。
2025-03-23
支持Mac的AI助手,能支持自定义大模型和智能体
以下是为您提供的支持 Mac 且能支持自定义大模型和智能体的 AI 助手相关信息: 在网站上增加一个 AI 助手: 1. 创建大模型问答应用: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认。您也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 2. 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 本地部署资讯问答机器人:Langchain + Ollama + RSSHub 实现 RAG: 1. Ollama 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于 macOS、Windows 和 Linux 系统,同时支持 cpu 和 gpu。 2. 它提供了模型库,用户可从中下载不同模型,也支持自定义模型,例如修改模型的温度参数或设置特定系统消息,还提供了 REST API 用于运行和管理模型以及与其他应用程序的集成选项。 3. Ollama 社区贡献丰富,有多种集成插件和界面。安装时访问 https://ollama.com/download/ ,安装完后在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动,可通过 ollama list 确认。 智能体应用的相关介绍: 大模型存在无法回答私有领域问题、无法及时获取最新信息、无法准确回答专业问题等局限性,为提升用户体验和增强业务竞争力,越来越多的企业构建 AI 助手。智能体应用基于大模型,通过集成特定的外部能力弥补不足,适用于有企业官网等渠道期望提供产品咨询服务、缺少技术人员开发大模型问答应用等场景。其典型场景包括私有领域知识问答、个性化聊天机器人、智能助手等。
2025-03-23
请问哪个平台支持上传私人知识库文件
以下平台支持上传私人知识库文件: 本地文档: 文本内容: 支持格式:.txt、.pdf、.docx。 操作步骤:在文本格式页签下选择本地文档,然后单击下一步。将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。每个文件不得大于 20M,一次最多可上传 10 个文件。上传完成后选择内容分段方式,包括自动分段与清洗(系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据)和自定义(手动设置分段规则和预处理规则,包括选择分段标识符、设置分段最大长度、设置文本预处理规则,如替换掉连续的空格、换行符和制表符,删除所有 URL 和电子邮箱地址),最后单击下一步完成内容上传和分片。 表格数据: 支持格式:.csv 和.xlsx。 操作步骤:在表格格式页签下选择本地文档,然后单击下一步。将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档,然后单击下一步。每个文件不得大于 20M,一次最多可上传 10 个文件。配置数据表信息,包括指定数据范围(通过选择数据表、表头、数据起始行指定数据范围)、确认表结构(系统已默认获取表头的列名,可自定义修改列名或删除某一列名)、指定语义匹配字段(选择作为搜索匹配的语义字段)。查看表结构和数据,确认无误后单击下一步,完成上传后单击确定。 Notion: 操作步骤:在文本格式页签下选择 Notion,然后单击下一步。单击授权,首次导入 Notion 数据和页面时需要进行授权。在弹出的页面完成登录,并选择要导入的页面。选择要导入的数据,然后单击下一步。选择内容分段方式,包括自动分段与清洗和自定义,最后单击下一步完成内容上传和分片。 自定义: 操作步骤:在文本格式页签下选择自定义,然后单击下一步。输入单元名称,然后单击确认。单击创建分段,然后在弹出的页面输入要上传的内容。每个分段最多可添加 2000 个字符。单击保存。
2025-03-18