Navigate to WaytoAGI Wiki →
Home/All Questions
大模型是怎么训练的
大模型的训练过程可以类比为“上学参加工作”: 1. 找学校:训练大模型需要大量的计算资源,如 GPU,只有具备强大计算能力的机构才有条件训练自己的大模型。 2. 确定教材:大模型需要大量的数据,通常几千亿序列(Token)的输入是基本要求。 3. 找老师:即选择合适的算法来讲解“书本”中的内容,让大模型更好地理解 Token 之间的关系。 4. 就业指导:学完知识后,为了让大模型更好地胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,正式干活,比如进行翻译、问答等,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary)。 此外,训练大模型的基础步骤如下: 1. 创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中点击右上角创建数据集,输入数据集名称。可以上传包含图片和标签的 zip 文件,也可单独上传照片,但建议提前将图片和标签打包成 zip 上传,且图片名与对应的达标文件应匹配。上传后等待一段时间,确认创建数据集,返回上一个页面等待上传成功,可点击详情检查,能预览到数据集的图片以及对应的标签。 2. Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,触发词可有可无,取决于数据集是否有触发词,模型效果预览提示词可随机抽取数据集中的一个标签填入。训练参数可调节重复次数与训练轮数,若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有生图,点击可自动跳转到使用此 lora 生图的界面,点击下方的下载按钮可自动下载到本地。 从原理层面,用数学来理解 Prompt:传统的机器学习是 p,但这个模型未经人工标注,我们给出的 Prompt 就是 x,让大模型基于此知道概率最大的 y,避免人工标注,但依赖 x 给入的信息更大概率找到合适的 y。例如给一张照片,输入“这是一个动物,这是什么”,大模型根据输入提取特征和提示,最终返回结果。
2025-03-22
请推荐搜索功能最强的AI
以下是一些搜索功能较强的 AI 搜索引擎推荐: 1. 秘塔 AI 搜索:由秘塔科技开发,具有多模式搜索、无广告干扰、结构化展示和信息聚合等功能,能提升用户搜索效率和体验。 2. Perplexity:聊天机器人式的搜索引擎,允许用自然语言提问,通过生成式 AI 技术从各种来源收集信息并给出答案。 3. 360AI 搜索:360 公司推出,通过 AI 分析问题,生成清晰有理的答案,并支持增强模式和智能排序。 4. 天工 AI 搜索:昆仑万维推出,采用生成式搜索技术,支持自然语言交互和深度追问,未来还将支持多模态搜索。 5. Flowith:创新的 AI 交互式搜索和对话工具,基于节点式交互方式,支持多种 AI 模型和图像生成技术,有插件系统和社区功能。 6. Devv:面向程序员的 AI 搜索引擎,专注于提供编程、软件开发和人工智能等领域的专业建议和指导。 7. Phind:专为开发者设计,利用大型语言模型提供相关搜索结果和动态答案,擅长处理编程和技术问题。 此外,腾讯元宝也是一款搜索功能出色的 AI 产品,它虽然推出较晚,但能凭借独特优势在市场站稳脚跟。其最大亮点是强大的 AI 搜索功能,最近更新了搜索体验,推出深度搜索等新功能,还能访问大量微信生态系统内的私域资源,包括微信公众号的内容以及腾讯内部、互联网上的其他优秀资源。同时,它依托腾讯“混元”大语言模型,能生成高质量内容,在深度搜索时能更全面、深入地回答用户问题,是 GPT Search 的良好替代选择,尤其适合需要访问中文内容和微信生态系统信息的用户。 Perplexity 更是被认为是 AI 搜索领域的“祖师爷”,早在 2022 年就已开始探索。其官网为 https://perplexity.ai/,Pro 会员每月 20 美元,成为 Pro 会员后可使用高级模型,并享受无限制的 Pro 搜索。在处理复杂问题时,其专业搜索模式表现出色。
2025-03-22
AI绘画的技术演进历程
AI 绘画的技术演进历程如下: 早期,AI 绘画成果较为简单和粗糙。但随着技术进步,尤其是深度学习算法如卷积神经网络等的应用,AI 绘画能够生成更加复杂、逼真和富有创意的图像。如今,它已涵盖各种风格和题材,从写实到抽象,从风景到人物,并在与人类艺术家的互动和融合中不断创新。 在艺术创作方面,AI 绘画利用机器学习和深度学习等技术,模拟人类创作过程,生成令人惊叹的作品,为艺术家提供新工具,为观众带来新体验。它打破了传统手工绘画技巧的局限,通过编程、算法和数据分析等开拓新创作领域,让缺乏绘画技巧的人也能参与艺术创作,使艺术更具民主化和包容性。 在应用场景上,AI 绘画在广告设计中可快速生成创意概念图,为策划提供灵感和初稿;在游戏开发中用于创建场景和角色形象,提高开发效率;在影视制作中辅助生成特效场景和概念设计;在建筑设计中帮助构想建筑外观和内部布局。 同时,AI 绘画对艺术界的影响是复杂且双面的。它既提供了新的创作工具和可能性,也引发了关于艺术本质、创造性、版权和伦理的重要讨论。艺术界的反馈使 AI 在绘画方面有显著进展,但其在表达情感和创造性意图方面仍存在局限性,也引发了艺术家对版权、原创性和伦理问题的担忧,带来了对文化创意领域从业者职业安全的焦虑以及“侵权”嫌疑的反对之声。尽管存在争议,AI 绘画仍为艺术创作提供了新的可能性,帮助艺术家探索新创意表达方式,提高制作效率,降低制作成本,促进艺术与观众的互动,提供个性化和互动的艺术体验。
2025-03-22
大模型是什么
大模型通俗来讲,是输入大量语料,让计算机获得类似人类的“思考”能力,从而能够理解自然语言,并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练。 2. 确定教材:大模型需要大量的数据量,几千亿序列(Token)的输入基本是标配。 3. 找老师:即选择合适的算法讲述“书本”中的内容,让大模型更好理解 Token 之间的关系。 4. 就业指导:为了让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。 在大模型中,Token 被视为模型处理和生成的文本单位,会被分割并生成词汇表,数字化后便于计算机处理。为让计算机理解 Token 之间的联系,还需把 Token 表示成稠密矩阵向量,这个过程称为 embedding,常见算法有基于统计的 Word2Vec、GloVe,基于深度网络的 CNN、RNN/LSTM,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力(Selfattention)机制来学习不同 token 之间的依赖关系,生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多,主要是模型中的权重(weight)与偏置(bias),例如 GPT3 拥有 1750 亿参数。 所谓的大模型,简而言之,就是拥有庞大参数数量的模型,通过处理和理解海量数据,能够胜任一系列复杂的任务。其规模之大通常包含从数十亿到数千亿的参数,庞大的参数集合赋予了强大的学习和记忆能力。大模型强大的原因一方面在于庞大的参数数量,这些参数在学习过程中不断调整,帮助模型更深入地理解和生成数据;另一方面,大模型的训练离不开大量的数据,包括文本、图像、音频等,通过对这些数据的学习,模型能够掌握丰富的知识和技能。 GPT 是“生成式预训练变换器”(Generative Pretrained Transformer)的缩写,是一种大型语言模型(LLM),也是生成式人工智能的重要框架。
2025-03-22
AI绘画的历史与发展
AI 绘画的历史与发展如下: 早期,AI 绘画成果较为简单粗糙。但随着技术进步,尤其是深度学习算法如卷积神经网络的应用,其能够生成更复杂、逼真和富有创意的图像,涵盖各种风格和题材,从写实到抽象,从风景到人物。 AI 绘画在与人类艺术家的互动和融合中不断创新,为艺术创作带来新的可能性和挑战。它从生成艺术作品到辅助艺术创作,逐渐改变着传统艺术的面貌。 AI 技术在艺术创作中的应用不仅改变了创作方式,还对艺术的审美观念和市场需求产生影响。一方面,人们对 AI 驱动的机器人创作的艺术品和人类创作的艺术品接受程度大致相同,但不太愿意将机器人视为艺术家,这表明其在表达情感和创造性意图方面存在局限性。另一方面,艺术家对 AI 生成艺术的态度复杂,既有期待也有对版权、原创性和伦理问题的担忧。 此外,AI 绘画技术的发展带来了对文化创意领域从业者职业安全的焦虑,以及对其“侵权”嫌疑的反对之声,反映了新技术发展带来的行业生态变化和对现有法律伦理框架的挑战。 尽管存在争议,AI 在艺术领域的应用为艺术创作提供了新的工具和可能性,帮助艺术家探索新的创意表达方式,提高制作效率,降低制作成本,促进艺术与观众之间的互动,提供更加个性化和互动的艺术体验。 艺术与科技的融合正呈现出前所未有的奇妙景象,AI 绘画作为杰出代表,将艺术与先进技术完美结合,开启探索之旅,引领艺术界走向未来。艺术创作通常依赖手工技艺和个人感悟,而 AI 绘画利用机器学习和深度学习等技术,模拟人类创作过程,生成令人惊叹的作品,为艺术家提供新工具,为观众带来新体验,打破了传统创作的局限,使艺术更加民主化和包容。
2025-03-22
AI名词集在哪里呀
以下是一些常见的 AI 名词: ModelBased Iterative Reconstruction:基于模型的迭代重建 ModelConstruction:模型构建 Modelling Scenario:建模场景 Molecular Graph Theory:分子图论 Molecular Modelling:分子建模 Monte Carlo Tree Search:蒙特卡洛树搜索 Moore’S Law:摩尔定律 msQSBEREL Model:基于人工神经网络组合的结构生物学效应定量关系多尺度模型 MultiAgent Control System:多智能体控制系统 MultiCore Desktop Computer:多核台式计算机 MultiDimensional Big Data Analysis:多维度大数据分析 Agnostic PAC Learnable:不可知 PAC 可学习 Algorithm:算法 Almost Everywhere:几乎处处 Almost Sure:几乎必然 Almost Sure Convergence:几乎必然收敛 AlphaBeta Pruning:αβ修剪法 Alternative Splicing Dataset:选择性剪接数据集 Ambiguity:分歧 Analytic Gradient:解析梯度 Ancestral Sampling:原始采样 Annealed Importance Sampling:退火重要采样 Anomaly Detection:异常检测 Bayesian Mcmc Methods:贝叶斯马尔可夫链蒙特卡洛方法 Bayesian Methods:贝叶斯方法 Bayesian Molecular:贝叶斯分子(设计方法) Bayesian Prior:贝叶斯先验 Bayesian Program Learning:贝叶斯程序学习 Bayesian Regularized Neural Network:贝叶斯正则化神经网络 BeamScanning:波束扫描 Best Separates:最优分离 Biased Dataset:有偏数据集 Bit Collisions:字节碰撞/冲突 Black Box:黑盒
2025-03-22
如何使用AI创建测试用例
AI 生成测试用例可以通过以下多种方法实现: 1. 基于规则的测试生成: 测试用例生成工具:如 Randoop(适用于 Java 应用程序)、Pex(适用于.NET 应用)。 模式识别:如 Clang Static Analyzer 利用静态分析技术识别代码模式和潜在缺陷生成相应测试用例,Infer 自动生成测试用例帮助发现和修复潜在错误。 2. 基于机器学习的测试生成: 深度学习模型:如 DeepTest 生成自动驾驶系统的测试用例,DiffTest 基于对抗生成网络(GAN)生成测试用例。 强化学习:如 RLTest 通过与环境交互学习最优测试策略,A3C 通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理(NLP)的测试生成: 文档驱动测试生成:如 Testim 通过分析文档和用户故事自动生成测试用例,Test.ai 从需求文档中提取测试用例。 自动化测试脚本生成:如 Selenium IDE 结合 NLP 技术扩展从自然语言描述中生成自动化测试脚本,Cucumber 使用 Gherkin 语言编写的行为驱动开发(BDD)框架通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成: 状态模型:如 GraphWalker 基于状态模型生成测试用例,Spec Explorer 微软开发的模型驱动测试工具通过探索状态模型生成测试用例。 场景模拟:如 Modelbased Testing 基于系统模型自动生成测试用例覆盖各种可能的操作场景和状态转换,Tosca Testsuite 基于模型的测试工具自动生成和执行测试用例适用于复杂应用的端到端测试。 5. 实践中的应用示例: Web 应用测试:使用 Testim 分析用户行为和日志数据自动生成高覆盖率的测试用例检测不同浏览器和设备上的兼容性问题。 移动应用测试:利用 Test.ai 从需求文档中提取测试用例确保覆盖关键功能和用户路径提高测试效率和质量。 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例确保覆盖所有可能的状态和操作场景检测系统的边界情况和异常处理能力。 此外,让 AI 写出您想要的代码,可以通过创建优质的.cursorrules 来实现,具体包括: 1. 先说清楚您是谁,让 AI 按照专家的水准来思考和编码。 2. 告诉 AI 您要干什么,使其围绕目标写代码。 3. 定好项目的“规矩”,强调团队的代码规范。 4. 明确文件放置位置,便于后期查找。 5. 指定使用的“工具”,保证项目的整洁和统一。 6. 告诉 AI 怎么做测试,使其生成的代码考虑可测试性并主动写测试用例。 7. 推荐参考资料,让 AI 基于最佳实践写代码。 8. 若项目涉及页面开发,补充 UI 的要求。
2025-03-22
我是AI小白,没有编程基础;也没有理工基础,对硬件不了解,但是我对AI和硬件结合的内容很感兴趣。请为我调出相关内容
以下是为您整理的关于 AI 和硬件结合的相关内容: AI 技术的学习路径: 偏向技术研究方向: 数学基础:包括线性代数、概率论、优化理论等。 机器学习基础:如监督学习、无监督学习、强化学习等。 深度学习:涵盖神经网络、卷积网络、递归网络、注意力机制等。 自然语言处理:包含语言模型、文本分类、机器翻译等。 计算机视觉:涉及图像分类、目标检测、语义分割等。 前沿领域:例如大模型、多模态 AI、自监督学习、小样本学习等。 科研实践:包括论文阅读、模型实现、实验设计等。 偏向应用方向: 编程基础:如 Python、C++等。 机器学习基础:监督学习、无监督学习等。 深度学习框架:如 TensorFlow、PyTorch 等。 应用领域:自然语言处理、计算机视觉、推荐系统等。 数据处理:数据采集、清洗、特征工程等。 模型部署:模型优化、模型服务等。 行业实践:项目实战、案例分析等。 AI 硬件的发展趋势: 在端到端算法的时代,不应该继续使用冯诺依曼架构。 在存算一体(在存储单元里做计算)的芯片之上,一定会诞生一种全新的算法。对比人脑,使用存算一体的方式是未来 AI 硬件下一步的发展趋势,运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构,因为它避免了所有的数据的搬运。 大模型与私域知识结合的方法: 按对模型改造侵入性划分,从左到右分为:重新训练、微调、RAG、关键词工程。 重新训练:拿私域数据重新训练大模型。 微调:拿私有数据 finetuning 大模型。 RAG:将知识库里的知识搜索送进大模型。 关键词工程:写好提示词。 加长 Context:当 Context 能无限长的时候,理论上讲可以把关于您的知识和记忆都 prefill 到 Context 里边去。 学术界中,做深度学习的人偏向于用 RAG,以前做过搜索的人偏向于用 Long Context。
2025-03-22
AI生成PPT,介绍员工持股平台2024年的治理情况
很抱歉,目前知识库中没有关于使用 AI 生成介绍员工持股平台 2024 年治理情况 PPT 的相关内容。但我可以为您提供一些思路和建议来帮助您完成这个任务。 首先,您需要明确 PPT 的结构和主要内容板块。比如,可以包括员工持股平台的概述、2024 年的治理目标和策略、治理成果和关键数据、面临的挑战和解决方案、未来展望等。 在使用 AI 工具生成 PPT 时,您可以向工具清晰地描述每个板块的具体要求和重点内容。例如,对于治理成果板块,您可以要求 AI 突出显示关键的数据和图表,并进行简洁明了的解读。 同时,您还可以参考一些现有的优秀 PPT 模板和案例,以获取更多的灵感和设计思路。 希望这些建议对您有所帮助,如果您还有其他问题,请随时向我提问。
2025-03-22
deepseek
DeepSeek 是一家具有独特特点和影响力的公司: 1. 其秘方具有硅谷风格: 早在 2024 年 5 月 DeepSeekV2 发布时,以多头潜在注意力机制(MLA)架构的创新在硅谷引发小范围轰动。 尽管在国内舆论场被描摹成“大模型价格战的发起者”,但在硅谷更有对话和交流的密码。 已是中国最全球化的 AI 公司之一,赢得全球同行甚至对手尊重的秘方也是硅谷味儿的。 2. V3 可能是 DeepSeek 的 GPT3 时刻,未来发展充满未知但值得期待。 3. 关于提升 DeepSeek 能力的提示词 HiDeepSeek: 效果对比:可通过 Coze 做小测试并对比。 使用方法:包括搜索网站、点击“开始对话”、发送装有提示词的代码、阅读开场白后正式对话等步骤。 设计思路:将 Agent 封装成 Prompt 并储存于文件以减轻调试负担,实现联网和深度思考功能,优化输出质量,设计阈值系统,用 XML 进行规范设定等。 完整提示词:v 1.3。 特别鸣谢:李继刚的【思考的七把武器】提供思考方向,Thinking Claude 是设计灵感来源,Claude 3.5 Sonnet 是得力助手。
2025-03-22