抖音内部使用的大模型包括月之暗面 KIMI、豆包、Minimax、通义千问和智谱清言。
关于模型的特点和选择:
需要注意的是,以上回答由 AI 大模型生成,请仔细甄别。
Dify和Coze都是大模型中间层产品,它们提供了将大型语言模型(LLM)集成到各种应用中的能力。以下是Dify和Coze的一些主要异同点:[heading2]开源性[content]Dify是开源的,允许开发者自由访问和修改代码,以便进行定制。Dify由专业团队和社区共同打造,促进了产品的灵活性和安全性。Coze由字节跳动推出,目前没有明确信息表明它是否开源。Coze可能更侧重于提供商业化服务和产品。[heading2]功能和定制能力[content]Dify提供直观界面,结合AI工作流、RAG管道、代理能力和模型管理等功能。它支持通过可视化编排,基于任何LLM部署API和服务。Coze提供丰富的插件能力和高效的搭建效率。Coze还支持发布到多个平台作为Bot能力使用。[heading2]社区和支持[content]Dify作为一个开源项目,拥有活跃的社区,开发者可以参与到产品的共创和共建中。Coze可能更多地依赖于官方的更新和支持,社区参与和开源协作的程度可能不如Dify。选择使用Dify或Coze时,开发者和企业需要根据自己的需求和目标来做出决策。该回答由AI大模型生成,请仔细甄别。
这个线上版本主要的技术栈其实就是工作流,在工作流中调用了这五个大模型:月之暗面KIMI,豆包,Minimax,通义千问和智谱清言。为什么暂时没有引入第六个模型,主要是考虑到在进行答案汇总时的输出截断问题:目前虽然大模型在设置时能把响应token长度设置为几万字,但在实际输出时,单次回复通常还是会被截断到1千字以内。我在官方文档和社区中没有找到这个问题的原因,我猜想可能是由于Coze现在的普及量在不断增长,免费版本大家的查询并发请求太多,所以系统在输出时做了一定限制。再结合最近Coze国际版已经在做商业化,估计国内版本也在为商业化增值服务预留一些空间。
1.关于模型选择:1.1.没有强制必须用某个模型的说法。而是根据自己的习惯、实测的响应速度、生成质量、调用费用,进行综合选择。比如Doubao Function Call模型,对于插件调用、Coze内json格式输出比较擅长;MiniMax处理文字速度很快;GLM对于用户提示词的理解比较好。每个模型都有自己擅长的特点,而且每家模型都在不断的迭代。所以模型的选用,需要根据实测情况综合调整。1.2.我一般选择豆包·function call 32k。“function call”代表有着更好的Coze的工具调用能力,“32k”代表模型的上下文窗口大小,即模型在处理文本时能够考虑的单词或标记的数量。如果输出和输入的类型不是纯文本时,比如是array、object结构,请根据实测情况,考虑替换上豆包function call版本,其他的LLM可能会输出格式比较混乱。