Stable Diffusion（简称 SD）不是由 Runway 和 Google 联合开发的，而是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。
Stable Diffusion 是 2022 年发布的深度学习文本到图像生成模型，其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于这两位开发者之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。
Stable diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中根据文本向量和噪声图像作为条件输入给出变换的概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高的分辨率。
围绕 Stable Diffusion 等基础模型的兴奋和关注正在产生惊人的估值，但新研究的不断涌现确保新模型将随着新技术的完善而更替。目前，这些模型在法律方面也面临挑战，例如其训练所使用的大量内容数据集通常是通过爬取互联网本身获得的，这可能会引发法律问题。
AIGC：AI generated content，又称为生成式AI，意为人工智能生成内容。例如AI文本续写，文字转图像的AI图、AI主持人等，都属于AIGC的应用。类似的名词缩写还有UGC（普通用户生产），PGC（专业用户生产）等。能进行AIGC的产品项目也很多，能进行AIGC的媒介也很多包括且不限于语言文字类：OpenAI的GPT，Google的Bard，百度的文心一言，还有一种国内大佬下场要做的的LLM都是语言类的。语音声音类：Google的WaveNet，微软的Deep Nerual Network，百度的DeepSpeech等，还有合成AI孙燕姿大火的开源模型Sovits。图片美术类：早期有GEN等图片识别/生成技术，去年大热的扩散模型又带火了我们比较熟悉的、生成质量无敌的Midjourney，先驱者谷歌的Disco Diffusion，一直在排队测试的OpenAI的Dalle·2，以及stability ai和runaway共同推出的Stable Diffusion...[heading1]SD是什么？[content]SD是Stable Diffusion的简称。是它是由初创公司StabilityAI、CompVis与Runway合作开发，2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像。Stable Diffusion是一种扩散模型（diffusion model）的变体，叫做“潜在扩散模型”（latent diffusion model;LDM）。SD的代码模型权重已公开发布，可以在大多数配备有适度GPU的电脑硬件上运行。当前版本为2.1稳定版（2022.12.7）。源代码库：github.com/Stability-AI/stablediffusion我们可以通过一系列的工具搭建准备，使用SD进行想要的图片aigc（心想事成的魔法施与）。
Stable Diffusion核心技术来源于AI视频剪辑技术创业公司Runway的Patrick Esser，以及慕尼黑大学机器视觉学习组的Robin Romabach。该项目的技术基础主要来自于这两位开发者之前在计算机视觉大会CVPR22上合作发表的潜扩散模型（Latent Diffusion Model）研究。Stable diffusion是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。Stable diffusion的原理可以分为以下几个步骤：1.stable diffusion使用一个新颖的文本编码器（OpenCLIP），由LAION开发并得到Stability AI的支持，将文本输入转换为一个向量表示。这个向量表示可以捕捉文本的语义信息，并与图像空间对齐。2.stable diffusion使用一个扩散模型（Diffusion Model），将一个随机噪声图像逐渐变换为目标图像。扩散模型是一种生成模型，可以从训练数据中学习出一个概率分布，并从中采样出新的数据。3.在扩散过程中，stable diffusion利用文本向量和噪声图像作为条件输入，给出每一步变换的概率分布。这样，stable diffusion可以根据文本指导噪声图像向目标图像收敛，并保持图像的清晰度和连贯性。4.最后，stable diffusion使用一个超分辨率放大器（Upscaler Diffusion Model），将生成的低分辨率图像放大到更高的分辨率。超分辨率放大器也是一个扩散模型，可以从低分辨率图像中恢复出细节信息，并增强图像质量。通过以上步骤，Stable diffusion可以实现从文本到图像的生成，并且具有以下优点：-stable diffusion可以处理任意领域和主题的文本输入，并生成与之相符合的多样化和富有创意的图像。-stable diffusion可以生成高达2048x2048或更高的分辨率的图像，并且保持了良好的视觉效果和真实感。
围绕Stable Diffusion和Midjourney等基础模型的兴奋和关注正在产生惊人的估值，但新研究的不断涌现确保新模型将随着新技术的完善而更替。考虑到三个流行的生成性AI模型：Dall-E、Midjourney和Stable Diffusion的网站搜索流量。每个新模型都会有它在聚光灯下的时刻。一种替代的方法可能是构建与特定行业相符的工具套件，这些工具专注于满足给定行业的生成性AI需求，对特定受众有深入的理解，并能丰富地集成到现有的生产流程中（例如游戏的Unity或Unreal）。一个很好的例子是[Runway](https://runwayml.com/)，它针对视频创作者的需求，提供AI辅助工具，如视频编辑、绿幕移除、图像修复和运动跟踪。这样的工具可以构建并变现特定的受众，并随着时间的推移添加新的模型。我们尚未看到针对游戏领域的类似Runway的套件出现，但我们知道这是一个正在积极开发的领域。1.法律挑战即将来临所有这些生成性AI模型的共同点是，它们都是使用大量的内容数据集进行训练的，这些数据集通常是通过爬取互联网本身获得的。例如，Stable Diffusion是在从网络上抓取的超过50亿的图像/标题对上进行训练的。目前，这些模型声称它们是根据“合理使用”版权原则运作的，但这一论点尚未在法庭上得到明确的检验。似乎很明显，[法律挑战即将到来](https://venturebeat.com/ai/why-generative-ai-legal-battles-are-brewing-the-ai-beat/)，这可能会改变生成性AI的格局。