从网站、公众号等做数据的采集能否用大模型进行接卸搞定

基于多维评价数据使用大模型生成个性化的家庭教育方案具有一定的可靠性，但也存在一些限制。 一方面，大模型在教育领域展现出了强大的能力。例如，能够为教师提供源源不断的真题库和错题练习库，模仿各类考试题型有模有样。在作文批改评分方面，如 GLM 模型，具备好词好句识别评测、作文综合评价评分等功能，能够综合考虑文章的多个维度给出评价，提供个性化反馈，保证评分的一致性等。 另一方面，也存在一些挑战。对于高学段理科等复杂领域，大模型的表现可能有限。在解读学生作文中的深层次含义，如隐喻、双关等修辞技巧，以及涉及特定文化背景和历史知识的内容时，仍存在一定难度。 然而，只要提示词到位、示例清晰，大模型在生成个性化家庭教育方案方面具有很大的潜力，可以为家长和孩子提供有价值的参考和帮助。但不能完全依赖大模型，还需要结合人工的判断和调整。

以下是关于如何用大模型赚钱的一些分析和建议： 1. 面向各国政府做基础大模型本土化预训练：很多 Global 的量化基金在中国会水土不服，大模型也存在类似情况。OpenAI、Google、Meta 的模型在中文能力和对中国国情的优化上存在不足，不符合政策要求。这给了国内大模型公司做本土化预训练的机会，只要做到国内领先，即使和世界领先的模型有代际差，也能有市场。 2. 关注行业应用：大模型在企业中的落地应用是关键。目前大模型是典型的赢家通吃领域，巨头在资金、技术和数据方面有优势。但大模型企业需要将技术与更多场景结合，打造落地应用。例如，Gartner 预测到 2028 年至少有 15%的日常工作决策将由代理型 AI 自主做出。 3. 竞争格局与成绩：国内大模型行业已形成以百度、阿里、字节等科技大厂和创业“AI 六小虎”为主要玩家的竞争格局。2024 年是国内大模型落地元年，中标项目数量和金额大幅增长。如百度在中标数量和金额上排名领先，在金融等细分行业也表现出色。 需要注意的是，大模型领域竞争激烈，只有极少数公司能成功，且需要将大模型商业化，否则企业可能在赛道比拼中失败。同时，大模型的发展与国家政策密切相关，需要受到有效监管才能健康发展。

DeepSeek 的使用对于小白来说可能有点复杂，但我尽量用大白话给您解释清楚。 比如说，您想让 DeepSeek 帮您生成“玄武门之变结束的当天，李世民在深夜写下一段独白，你觉得他会写什么？”这样的内容。 DeepSeek 会这样来处理： 1. 先回顾玄武门之变的历史背景，比如这场政变发生在 626 年，李世民杀了兄弟，逼父亲退位等。 2. 思考李世民当晚的心理，可能有释然、愧疚、恐惧、自责等多种复杂情绪，还要考虑他是被迫还是早有预谋。 3. 要让生成的独白不仅符合历史事实，还要有文学性，体现人性的复杂。比如要平衡他的野心与自责，对未来的抱负与对过去的悔恨。 4. 考虑当时的文化背景，像儒家思想对孝悌的重视，李世民的行为违背了这些伦理，他可能会内心挣扎，还可能为自己的行为找正当理由。 5. 按照您的需求，给独白加上一些文学修辞，像比喻、对仗、意象等，增强画面感。 另外，DeepSeek 还有个很厉害的地方，就是它能在独白文本中“自作主张”地加入括号里的场景描述，让整个输出更有画面感。比如“（夜风掀动案头《韩非子》，停在‘夫妻者，非有骨肉之恩也’那页）”、“（墨迹在‘弑’字上晕开一团）”、“（忽然扔笔，抓起铜镜）”这些句子，很难相信是 AI 写的。 总之，使用 DeepSeek 时要考虑很多方面的因素，它能根据您的提示词和需求，生成很精彩的内容。

以下是为您逐步学习 AI 相关知识的推荐： 1. 关于大模型的思考与探讨：普通用户使用大模型时，语言不是关键，核心是向量空间中的游走脉络，输出时的语言翻译是次要的，且训练语料的中英文差异在于 embedding 环节。 2. 垂类模型与大模型公式：通过合适的模型、prompt 和 test 入口表达，用大模型公式调试出好效果以替代垂类模型，但微调垂类模型可能使大模型泛化能力下降，需分场景看待。 3. 提示词的挖掘：写提示词未挖掘出大模型的天花板，还有提升空间。 4. 读书方法与提示词相关书籍推荐：读书最有效的是笨方法，不取巧，花时间读。并推荐了从数学、作家、代码、原理角度写大模型的四本书。 5. 内置思维链提示词：针对小技巧类的思维链提示词有新模型能力涌现和大模型内置两个趋势，但对于某些如 COT 这类的内置可能会改变大模型的原味，对此存疑。 6. 编写提示词的经验与思考： 原汁原味与生效元素的平衡：为得到原汁原味的效果，需考虑是否反刻某些元素；生效的小技巧大模型可能会内置，如指定角色效果有变化。 压缩与歧义的处理：找到凝练的核心概念（a）后，根据对象用不同方式（b）表达，核心在于找到准确的 a，而寻找 a 的方法目前主要是多读多泡在相关领域。 持续学习与输出：通过阅读吸收输入，转换为自己的语言输出，与大模型交互提炼精华，多输出促进吸收输入。 7. 调教 AI 和提示词： 是否需要提示词工程，是否需要学提示词：持反对观点，像打字和写作一样。方法论不是关键，不断尝试和大模型交互，便是最佳方法。 和大模型交互需要遵循规则吗：不需要。网上流传最广的提示词方法论，是“给大模型一个角色”，这是一个好的策略，但不是必须遵循的原则，甚至所有规则都不是必须遵守的。可以在提示词里面设定规则，也可以聊着聊着临时更改规则，和大模型交互时完全不需要考虑规则。要考虑的就是是否达成了目的，如果没达成，那就锲而不舍的开一个新窗口，再尝试一下。如果还是不行，换个模型。 用 Markdown 格式清晰表达问题：Markdown 通过其易读性、格式化的灵活性和信息的清晰结构，使得与大模型的交流更加高效和精确。有助于模型更好地理解用户的意图。其优势包括结构清晰、格式化强调、适用性广。 8. 小白学习指南： 第一步：要有一个大模型帐号，至少已经熟悉和它们对话的方式。推荐 ChatGPT4 及国产平替： 第二步：看 OpenAI 的官方文档：

利用大模型训练自己的机器人可以参考以下内容： OpenAI 通用人工智能（AGI）的计划显示，在互联网上所有的图像和视频数据上训练一个与人类大脑大小相当的 AI 模型，将足以处理复杂的机器人学任务。常识推理隐藏在视频和文本数据中，专注于文本的 GPT4 在常识推理上表现出色。Google 最近的例子展示了机器人学能力可从大型视觉/语言模型中学习，在语言和视觉训练基础上，只需最少的机器人学数据，视觉和文本任务的知识就能转移到机器人学任务上。特斯拉训练的“Optimus”通过人类示范学习抓取物体，若人类示范是先进机器人学性能所需的一切，在互联网上所有视频上训练的大模型肯定能实现惊人的机器人学性能。 梦飞提供了在自己的电脑上部署 COW 微信机器人项目的教程，程序在本地运行，若关掉窗口进程结束，想持续使用需保持窗口打开和运行。以 Windows10 系统为例，注册大模型可参考百炼首页：https://bailian.console.aliyun.com/ ，需更改"model"和添加"dashscope_api_key"，获取 key 可参考视频教程。 张梦飞提供了从 LLM 大语言模型、知识库到微信机器人的全本地部署教程，部署大语言模型包括下载并安装 Ollama，根据电脑系统下载：https://ollama.com/download ，安装完成后将下方地址复制进浏览器中确认安装完成：http://127.0.0.1:11434/ 。下载 qwen2:0.5b 模型，Windows 电脑按 win+R 输入 cmd 回车，Mac 电脑通过 Command（⌘）+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”，复制命令行粘贴回车等待下载完成。

以下是关于利用大模型构建系统的工具的相关内容： 大模型的发展历程： 2017 年发布的 Attention Is All You Need 论文是起源。 2018 年，Google 提出 BERT，其创新性地采用双向预训练并行获取上下文语义信息和掩码语言建模，开创了预训练语言表示范式，参数规模为 110M 到 340M。 2018 年，OpenAI 提出 GPT，开创了仅使用自回归语言建模作为预训练目标而无需额外监督信号，展示了强大的语言生成能力，参数规模达 1750 亿。 2021 年，Meta 提出 Large LAnguage Model Approach（LLAMA），这是首个开源模型，为构建更大规模、更通用的语言模型提供了系统化的方法与工具，参数规模为十亿到千亿。 Inhai:Agentic Workflow：AI 重塑了我的工作流： 以 Kimi Chat 为例，它利用「网页搜索」工具在互联网上检索相关内容，并基于检索结果进行总结分析，给出结论。同时，PPT 中介绍了众多不同领域类型的工具，为大模型在获取、处理、呈现信息上做额外补充。 Planning：Agent 通过自行规划任务执行的工作流路径，面向简单或线性流程的运行。例如，先识别男孩姿势，再使用相关模型合成女孩图像，接着使用图像理解文本模型，最后语音合成输出。 Multiagent Collaboration：吴恩达通过开源项目 ChatDev 举例，可让大语言模型扮演不同角色相互协作，共同开发应用或复杂程序。 AI Agent 基本框架：OpenAI 的研究主管 Lilian Weng 提出“Agent=LLM+规划+记忆+工具使用”的基础架构，其中大模型 LLM 扮演 Agent 的“大脑”。规划包括子目标分解、反思与改进，将大型任务分解为较小可管理的子目标处理复杂的任务，反思和改进指对过去行动进行自我批评和自我反思，从错误中学习并改进未来步骤，提高最终结果质量。记忆用于存储信息。 开发：LangChain 应用开发指南 大模型的知识外挂 RAG： LangChain 是专注于大模型应用开发的平台，提供一系列组件和工具构建 RAG 应用： 数据加载器：从数据源加载数据并转换为文档对象，包含 page_content 和 metadata 属性。 文本分割器：将文档对象分割成多个较小的文档对象，方便后续检索和生成。 文本嵌入器：将文本转换为嵌入，用于衡量文本相似度实现检索。 向量存储器：存储和查询嵌入，通常使用索引技术加速检索。 检索器：根据文本查询返回相关文档对象，常见实现是向量存储器检索器。 聊天模型：基于大模型生成输出消息。 使用 LangChain 构建 RAG 应用的一般流程如下：（具体流程未给出）

目前有一些可以一键生成流程图的 AI 工具，例如： Lucidchart： 注册并登录： 选择模板：在模板库中搜索“项目管理流程图”。 编辑图表：根据项目需求添加和编辑图形和流程步骤。 优化布局：利用 AI 自动布局功能，优化图表的外观。 保存和分享：保存图表并与团队成员分享，或导出为 PDF、PNG 等格式。 利用这些 AI 工具，可以快速、高效地创建专业的流程图，满足各种工作和项目需求。但需要注意的是，内容由 AI 大模型生成，请仔细甄别。

以下是关于法律咨询类如何借助 AI 来搞定的相关内容： 潘帅提出，使用 AI 进行数据分析时，应将各环节分开处理以优化性能和便于发现修正问题。针对复杂问题，律师可逐步深化细化提问方式。要给 AI 提供参考和学习内容，包括操作指南、行业最佳实践、案例研究等，并编写详细流程和知识。利用专业领域术语引导 AI 回答方向，如在处理合同纠纷时提示特定方面。使用 AI 回答后要进行交叉验证，结合自身专业知识筛选判断。还可指定 AI 模仿资深律师的风格，要求其提供多个例子和从多个角度思考，如给出多种诉讼策略并分析优劣。 陶力文律师认为不能期待设计一个完美的提示词让 AI 百分百给出完美答案，应把提示词当作相对完善的“谈话方案”，在对话中产生成果。对于尝试 AI 的朋友，建议多给 AI 几轮对话修正的余地，不要期望一次输入就得到想要的东西。 潘帅还提到了 PEMSSC 方法，包括个性化的风格、给参考或一定逻辑结构、从多个角度思考、总结概括、区分以及明确能力或角色，并分别举例说明了如何应用。

以下是使用 Coze 创建工作流采集生成视频号内容的步骤： 1. 安装 Coze Scraper 扩展程序至浏览器，完成安装后可手动采集要上传到扣子知识库的内容。更多关于知识库的内容，详情请参考。 登录。 在左侧菜单栏，选择一个工作区。 在工作区内，单击知识库页签。 创建一个知识库或点击一个已存在的知识库。 在知识库页面，单击新增单元。 在文本格式页签下，选择在线数据，然后单击下一步。 单击手动采集，然后在弹出的页面点击权限授予完成授权。 在弹出的页面输入要采集内容的网址，然后单击确认。 在弹出的页面上，点击页面下方文本标注按钮，开始标注要提取的内容，然后单击文本框上方的文本或链接按钮。 单击查看数据查看已采集的内容，确认无误后再点击完成并采集。 2. 创建工作流： 登录到您的 Coze 账户，导航至个人空间页面。 在个人空间页面上，点击“工作流”按钮，系统会展示之前创建的工作流列表。 在页面的右上角，点击“创建工作流”按钮，打开创建工作流的界面。 在创建工作流的页面上，填写工作流的名称（必须使用英文字符）和描述（一段简洁的文本，帮助模型理解工作流的功能和用途以及触发情境）。 完成必填项后，系统将自动跳转到工作流的编辑页面，其中预设并配置了开始节点和结束节点。开始节点是用户输入内容的起点，结束节点是收尾角色，无论工作流中进行了哪些操作，最终都必须通过结束节点来完成。系统强制要求在工作流的最后步骤中包含结束节点，只有当整个流程的最终动作指向结束节点时，工作流才能够进行试运行和正式发布。 在工作流编辑页面的左侧，有组件库，包括大模型组件（用于执行复杂的数据处理任务）、代码组件（允许运行自定义代码段）、消息组件（用于发送或接收消息）、数据库组件（与数据库交互，执行查询或更新操作）、选择器组件（用于在工作流中进行条件判断和分支选择）。

以下是关于数据采集和存储的规范： 风险评估：GDPR 规定数据控制者或处理者所进行的数据处理应当符合初始收集时的目的。企业在核查目标业务领域的数据使用和处理环节时，要比较数据使用和处理的目的、范围、主体等内容相对于初始收集时是否有变化。若有变化，需在使用和处理数据前对数据主体重新告知并取得合法有效同意。 遵循准确、必要、及时原则：数据处理应遵循准确、必要、及时的原则，并以相关、必要为限度。企业在核查时，要判断数据处理与收集目的的相关性、发生时间以及是否为实现收集目的所必要。 确保数据主体限制数据处理的权利：GDPR 明确数据主体有权限制数据控制者或处理者对其数据的处理活动。企业要核查是否建立特定机制或提供途径，确保数据主体在特定情形（如质疑数据准确性、数据处理非法且反对删除数据等）下可限制处理。 确保数据主体反对特定数据处理的权利：GDPR 明确数据主体有权反对数据控制者或处理者的特定数据处理活动。企业要核查是否建立特定机制或提供途径，确保数据主体在特定情形（如直接营销、数据画像等）下有权反对特定数据处理。 数据的存储：需遵循相关法规和标准进行规范存储。

以下是为您整合的相关内容： Transformer 模型和 BERT 模型： 模型训练与评估：定义模型后，传递训练数据集和验证数据集及训练时期数，训练完成后评估性能，如达到 85%准确率。 模型性能可视化：绘制准确性和随时间的损失图。 保存与加载模型：使用 model.save 方法导出并保存模型到本地路径，保存后可加载进行预测。 预测示例：对不同情感的评论句子进行预测。 部署模型到 Vertex AI：检查模型签名，上传本地保存的模型到 Google Cloud 存储桶，在 Vertex 上部署模型并获得在线预测。 提示工程： 策略：将复杂任务分解为更简单的子任务。 技巧：使用意图分类识别用户查询中最相关的指令。例如在故障排除场景中，根据客户查询分类提供具体指令，如检查路由器连接线、询问路由器型号、根据型号提供重启建议等。模型会在对话状态变化时输出特定字符串，使系统成为状态机，更好控制用户体验。 OpenAI 官方指南： 战术：将复杂任务拆分为更简单的子任务。 策略：使用意图分类来识别与用户查询最相关的指令。例如在故障排除场景中，基于客户查询分类向 GPT 模型提供具体指令。已指示模型在对话状态变化时输出特殊字符串，将系统变成状态机，通过跟踪状态等为用户体验设置护栏。

当使用 Cursor 做网页采集文章插件总是报错时，您可以参考以下内容： 1. 技术架构方面： 采用前后端分离架构，后端基于 Coze 工作流构建业务逻辑，前端为 Chrome 浏览器插件，提供轻量级交互界面。 2. 工作流搭建方面： 配置核心组件，包括插件大模型、工作流总览、大模型节点提示词、输出节点 markdown 排版（注意 markdown 里图片的渲染格式），注意输出图片的变量用的是 contentUrl。 3. 可视化界面和 chrome 插件开发方面： 使用 Cursor 开发时，要有架构思维，懂得如何向 AI 描述想要的东西，在实践中学习。 对于 Coze 关键数据，要获取授权令牌（Token），掌握工作流调用方法。查看 Coze 的 api 开发文档，查看执行工作流的实例，需要两个关键参数，即令牌密钥和工作流开发代码。在工作流界面获取工作流 id，让 Cursor 根据相关内容写一个调用 Coze 工作流的服务，注意声明入参为 article_url 以及让 Cursor 注意中文编码。 4. 报错处理方面： 如果报错、解析结果不对，可以点击 Raw Response，查看报错或者返回值，再根据返回值调整配置输出参数。 希望以上内容对您有所帮助。

以下是为您整理的关于数据采集的 AI 工具的相关信息： 宝玉日报：数据收集采用 AI 搜索与手动下载权威资料相结合，并结构化提取数据。报告拆分按任务需求分步完成，使用 Excel 等工具进行数据处理。分析与写作中，AI 辅助分析并提供初步文字撰写，但需人工主导校验关键内容。亮点在于把 AI 作为辅助，优化信息处理和写作效率，注重人工与 AI 配合，确保数据准确性和结论可靠性。相关链接：https://baoyu.io/blog/aiwriteprofessionalregionaleconomicreport Istra 发布的 Pixtral Large 124B 聊天应用：特点是免费使用的大型多模态模型，支持网络搜索、写作画布、Flux Pro 画图。亮点是网络搜索和画图功能实用且强大，适合多场景需求。相关链接：http://chat.mistral.ai 、https://chat.mistral.ai 、https://x.com/dotey/status/1858644663046930601 RPA+财务税务问答机器人：以在京东查询感冒灵并采集价格为例，通过拖拉拽指令控件来构建机器人任务，包括打开浏览器、填写搜索框、点击搜索、采集数据等步骤，采集数据后会生成数据表格且无需代码。编辑器有拖拉拽功能适合业务人员，也可切换为 Python 界面写代码，还封装了很多控件，如 Excel 控件等。

以下是一些信息采集的 AI： 在欧盟相关法规中，提到了由委员会或市场监督机构根据《AI 法案》（特别是第 62 条）或其他相关文书收集的信息，以及支持评估《AI 法案》和相关报告的信息和分析。 4 月动态中提到的新产品： JamGPT AI Debug 小助手，网址：https://jam.dev/jamgpt ChatGPT2D 用于生成二维知识图谱，网址：https://www.superusapp.com/chatgpt2d/ Motörhead by metal 用于 LLM 的开源内存和信息检索服务器，网址：https://github.com/getmetal/motorhead 网页抓取工具：Hexomatic 网址：https://hexomatic.com/ ；WebscrapeAI 网址：https://webscrapeai.com/ ；Kadoa 网址：https://www.kadoa.com/ 个人数据处理工具：非结构化数据处理 Bloks 网址：https://www.bloks.app/ ；文本处理 Lettria 网址：https://www.lettria.com/ ；数据处理 Quadratic 网址：https://www.quadratichq.com/?ref=producthunt 能联网检索的 AI 有：ChatGPT Plus（开启 web browsing 功能）、Perplexity、Bing Copilot、You.com、Neeva AI 等。这些 AI 搜索工具结合了 AI 技术和搜索引擎，提升了数据集命中预期，为信息检索带来更多可能性。但请注意内容由 AI 大模型生成，请仔细甄别。