以下是关于做 demo 的相关信息：
经过调研，我决定先采取Langchain+Ollama的技术栈来作为demo实现，当然，后续我也会考虑使用dify、fastgpt等更加直观易用的AI开发平台。整体框架设计思路如下：另外，本次开发的运行环境是Intel Mac，其他操作系统也可以。下载模型等可能需要梯子。Langchain简介https://www.langchain.com/langchainLangchain是当前大模型应用开发的主流框架之一，旨在帮助开发者构建和部署基于大型语言模型（LLM）的应用。它提供了一系列的工具和接口，使得与LLM交互变得简单。通过Langchain，开发者可以轻松创建定制的高级应用，如聊天机器人、问答系统和多种智能应用。Langchain的核心在于其“链”概念，这是一个模块化的组件系统，包括Model I/O（模型输入输出）、Retrieval（数据检索）、Chains（链）、Agents（代理）、Memory（内存）、和Callbacks（回调）。这些组件可灵活组合，以支持复杂的应用逻辑。Model I/O模块负责处理与语言模型的直接交互，包括发送请求和解析响应。Retrieval模块用于增强语言模型的回答能力，通过向量数据库检索相关信息来支持回答生成。Chains模块则是多个组件的集成，用于构建更复杂的应用逻辑。Langchain的生态系统还包括LangSmith、LangGraph和LangServe等工具，这些工具能帮助开发者高效管理从原型到生产的各个阶段，以便优化LLM应用。Ollama简介https://ollama.com/Ollama是一个开箱即用的用于在本地运行大模型的框架。它的主要功能和特点包括：
我们选择使用Gradio来搭建各种Demo，主要是考虑到开发成本较低，对AI相关模型特性的支持比较好。我们更多还是关注产品功能和原理复刻，所以怎么快速怎么来。#[Gradio](https://www.gradio.app/)Gradio本来就是为了ML交互应用开发而设计的，可以很好的支持AI产品背后模型的特性；Gradio又预置了很多现成的组件，无需关注所谓的前后端交互；Gradio有免费托管分享功能，不用考虑部署问题；Gradio用Python[heading1]?作者信息[content]《AI产品江湖》是由「混世魔王和他的朋友们」共同发起的。混世魔王，毕业于爱丁堡大学人工智能专业，负责过多个AI平台产品。混世魔王将持续为大家分享典型AI产品，并搭建Demo模型器。魔王和他的朋友们，也会以AI行业一线从业者的视角，为大家分享行业见闻。[heading1]?初心小故事[content]年初的时候哄哄模拟器一下就火了，然后去了解了哄哄背后的的独立开发者@王登科老哥。老哥从生活中的小遭遇到上线哄哄，给大家很多启发，于是我就萌生了一个想法，搞个哄哄模拟器的模拟器。我把哄哄Demo搞完后，在朋友间流传玩了一下，发现大家对AI产品的新奇体验和原理还挺感兴趣的。于是就想想干脆搞一个AI产品Demo模拟器，然后记录一下搭建过程和产品、技术原理。AI产品还处于非常早期的阶段，积极动手，亲身体验是非常难得的机会。等到行业成熟，应用变得非常复杂，就很难再有这样的机会了。
通过在手机上使用https://your-machine-ip:5002访问服务，在华为手机上使用Firefox，在一加手机上使用Chrome进行测试（其中外网访问摄像头，需要将“安全浏览”设置为“标准保护”模式）。这两款浏览器对HTML5的API支持较好，「其他手机浏览器情况欢迎在留言板反馈」。主要功能包括：Switch Camera：切换前后摄像头Describe：进行一次LLaVA推理服务Narrate：对结果文本进行语音朗读Prompt:自定义提示词「准备工作已完成，理论上只需携带手机，就可以出门浪了」。仿佛低配版本的AR设备齐备了一样，这是不是很像ai pin！「不是ai pin不够好，而是闲置手机更具性价比」。利用家中的电脑和闲置的手机，以几秒的推理速度，无限的可扩展AI模型和自由设计的架构，还要啥自行车嘛~[heading3]自定义Prompt[content]「通过自定义Prompt，可以瞬间获得极大的扩展能力。」让人感慨传统计算机视觉的口罩模型，需要准备多少数据样本和花费多少时间进行模型训练。如果需求变为安全帽检测呢...这个用来做demo，是「低成本商业验证的最佳方案」。没有比自定义prompt更低成本、又能完整走完整个工程链的测试工具了。拥有强大的Prompt，就能解决大部分问题。随着不同项目落地越来越感叹，90%的问题可以通过一个强大的基础模型（比如GPT-4），结合构建提示词来解决。在剩下的10%中，90%需要挂接自定义知识库由RAG来解决，而「仅有1%的问题」需要算法工程师进行finetune，朝着AGI的方向努力吧。