这里有大模型技术知识学习。以下是从三篇文章中整理的关于大模型技术知识学习的内容:
我们认识了Embedding(嵌入)是一个浮点数的向量(列表),两个向量之间的距离度量它们的相关性,小的距离表示高相关性,大的距离表示低相关性。知道了Embedding共有:词、句子、文档、图像等分类。还分析了Embedding在大模型中的价值。最后是Embedding的实战部分:从数据集中获取Embedding结果,并保存为csv文件。最后,本示例中的实战代码,参考的是官方最新文档的内容,加上个人测试阶段的遇到的问题、代码注释等OpenAI官网文档链接:https://platform.openai.com/docs/introduction大模型技术,除了在OpenAI官网能看到的:Embedding、Function Call和Fune Tuning等。进阶到企业级应用开发的大模型技术还会涉及到:利用开源的Embedding模型、向量数据库去做检索增强生成(RAG),以及购买GPU服务器去基于开源大模型搭建企业级大模型项目。
原文链接:https://mp.weixin.qq.com/s/8mDLFFmgKOQC8WK2kkwhaA原创:皇子|皇子谈技术|2024-03-21 19:54有朋友说想学习大模型应用开发技术,让我谈一谈。首先大模型应用开发技术不需要我们掌握机器学习和深度学习的算法,但是要有编程思维、python基础,然后跟着下面的步骤走,就能学得明白。下面正式开始认识大模型Embedding的理论知识,加代码实战。看大家反馈,如果觉得难,我有打算接着《[讲清Transformer模型架构](http://mp.weixin.qq.com/s?__biz=MzkyMzYyNjQxOQ==&mid=2247484298&idx=1&sn=d638818dab71ce80a5e9426a0393cfc9&chksm=c1e37d56f694f440291b7cf5f233cfebea0696f76d838d28fb6854f2e40150c4411e9bf2a76b&scene=21#wechat_redirect)》,继续往后写GPT和BERT模型,又或者加入更多的实战,欢迎私信交流。
原文地址:https://mp.weixin.qq.com/s/9nJ7g2mo7nOv4iGXT_CPNg作者:写代码的西瓜随着ChatGPT的到来,大模型([1])(Large Language Model,简称LLM)成了新时代的buzzword,各种GPT产品百花齐放。大多数人直接用现有产品就可以了,但对于喜欢刨根问底的程序员来说,能够在本地运行会更有意思。但由于没有相关背景,笔者一开始在接触时,很多GitHub上的搭建教程看得是云里雾里,而且这方面的介绍文章要不就是太晦涩难懂,要不就是太大众小白,于是就有了这篇文章,主要介绍笔者在搭建大模型过程中学到的知识,以及如何在macOS上运行大模型。笔者水平有限,不足之处请读者指出。