Chat with Wiki - 从零到一的 LLM 学习教程

Answer

以下是从零到一学习 LLM 的教程：

掌握深度学习和自然语言处理基础：
- 学习机器学习、深度学习、神经网络等基础理论。
- 掌握自然语言处理基础，如词向量、序列模型、注意力机制等。
- 相关课程：吴恩达的深度学习课程、斯坦福 cs224n 等。
理解 Transformer 和 BERT 等模型原理：
- 了解 Transformer 模型架构及自注意力机制原理。
- 掌握 BERT 的预训练和微调方法。
- 阅读相关论文，如 Attention is All You Need、BERT 论文等。
学习 LLM 模型训练和微调：
- 进行大规模文本语料预处理。
- 运用 LLM 预训练框架，如 PyTorch、TensorFlow 等。
- 微调 LLM 模型进行特定任务迁移。
- 相关资源：HuggingFace 课程、论文及开源仓库等。
LLM 模型优化和部署：
- 掌握模型压缩、蒸馏、并行等优化技术。
- 进行模型评估和可解释性研究。
- 实现模型服务化、在线推理、多语言支持等。
- 相关资源：ONNX、TVM、BentoML 等开源工具。
LLM 工程实践和案例学习：
- 结合行业场景，进行个性化的 LLM 训练。
- 分析和优化具体 LLM 工程案例。
- 研究 LLM 新模型、新方法的最新进展。
持续跟踪前沿发展动态：
- 关注顶会最新论文、技术博客等资源。

此外，为您推荐以下 LLM 开源中文大语言模型及数据集集合的学习资源：

面向开发者的 LLM 入门课程：
- 地址：https://github.com/datawhalechina/prompt-engineering-for-developers
- 简介：一个中文版的大模型入门教程，围绕吴恩达老师的大模型系列课程展开，主要包括：吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版，吴恩达《Building Systems with the ChatGPT API》课程中文版，吴恩达《LangChain for LLM Application Development》课程中文版等。
提示工程指南：
- 地址：https://www.promptingguide.ai/zh
- 简介：该项目基于对大语言模型的浓厚兴趣，编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。
LangChain?️?中文网，跟着 LangChain 一起学 LLM/GPT 开发：
- 地址：https://www.langchain.asia
- 简介：Langchain 的中文文档，由是两个在 LLM 创业者维护，希望帮助到从刚进入 AI 应用开发的朋友们。
LLMs 九层妖塔：
- 地址：https://github.com/km1994/LLMsNineStoryDemonTower
- 简介：ChatGLM、Chinese-LLaMA-Alpaca、MiniGPT-4、FastChat、LLaMA、gpt4all 等实战与经验。

关于 LLM 的预测原理： LLM 接触了包括教科书、文章、网站等在内的庞大数据集。在训练阶段，它们学会了理解语言的上下文和流动性，掌握了包括语法、风格，甚至是文本的语调等方面。当您用一个句子或问题来指导 LLM 时，它便利用自己所学的知识，预测接下来最可能的一个或几个词。这不仅是基于它在训练期间观察到的模式和规则的推测。

在提示工程方面，鉴于 LLM 的概率本质，提示工程师面临的挑战是如何引导 LLM 向着高度可预测和准确的结果方向发展。在相关课程中，您将学习许多技巧，这些技巧将帮助您掌握高度可预测的 LLM 输出结果的艺术和科学。但在深入学习之前，可以先从一些简单的练习开始，激活思维。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：怎么系统学习 llm 开发？

学习大型语言模型（LLM）的开发是一个系统性的过程，需要涵盖多个方面的知识和技能。以下是一些建议的学习路径和资源：1.掌握深度学习和自然语言处理基础-机器学习、深度学习、神经网络等基础理论-自然语言处理基础，如词向量、序列模型、注意力机制等-相关课程：吴恩达的深度学习课程、斯坦福cs224n等2.理解Transformer和BERT等模型原理-Transformer模型架构及自注意力机制原理-BERT的预训练和微调方法-掌握相关论文，如Attention is All You Need、BERT论文等3.学习LLM模型训练和微调-大规模文本语料预处理-LLM预训练框架，如PyTorch、TensorFlow等-微调LLM模型进行特定任务迁移-相关资源：HuggingFace课程、论文及开源仓库等4.LLM模型优化和部署-模型压缩、蒸馏、并行等优化技术-模型评估和可解释性-模型服务化、在线推理、多语言支持等-相关资源：ONNX、TVM、BentoML等开源工具5.LLM工程实践和案例学习-结合行业场景，进行个性化的LLM训练-分析和优化具体LLM工程案例-研究LLM新模型、新方法的最新进展6.持续跟踪前沿发展动态-关注顶会最新论文、技术博客等资源

LLM开源中文大语言模型及数据集集合

面向开发者的LLM入门课程：地址：[https://github.com/datawhalechina/prompt-engineering-for-developers](https://github.com/datawhalechina/prompt-engineering-for-developers)简介：一个中文版的大模型入门教程，围绕吴恩达老师的大模型系列课程展开，主要包括：吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版，吴恩达《Building Systems with the ChatGPT API》课程中文版，吴恩达《LangChain for LLM Application Development》课程中文版等。提示工程指南:地址：[https://www.promptingguide.ai/zh](https://www.promptingguide.ai/zh)简介：该项目基于对大语言模型的浓厚兴趣，编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。LangChain?️?中文网，跟着LangChain一起学LLM/GPT开发：地址：[https://www.langchain.asia](https://www.langchain.asia/)简介：Langchain的中文文档，由是两个在LLM创业者维护，希望帮助到从刚进入AI应用开发的朋友们。LLMs九层妖塔：地址：[https://github.com/km1994/LLMsNineStoryDemonTower](https://github.com/km1994/LLMsNineStoryDemonTower)简介：ChatGLM、Chinese-LLaMA-Alpaca、MiniGPT-4、FastChat、LLaMA、gpt4all等实战与经验。

歸藏翻译：简单易懂，强烈推荐-Codesignal提示工程教程 #1

你可能会好奇，LLMs是如何进行这些预测的。答案其实在于训练。LLMs接触了包括教科书、文章、网站等在内的庞大数据集。在这个训练阶段，它们学会了理解语言的上下文和流动性。它们掌握了包括语法、风格，甚至是文本的语调等方面。当你用一个句子或问题来指导LLM时，它便利用自己所学的知识，预测接下来最可能的一个或几个词。这不仅是基于它在训练期间观察到的模式和规则的推测。[heading2]尝试一些提示工程（Prompt Engineering）[content]鉴于LLMs的概率本质，提示工程师（Prompt Engineers）面临的挑战是如何引导LLMs向着高度可预测和准确的结果方向发展。在这门课程中，你将学习许多技巧，这些技巧将帮助你掌握高度可预测的LLM输出结果的艺术和科学。但在我们深入学习之前，让我们先从一些简单的练习开始，激活我们的思维。