AI视频生成进化！令人惊艳的Stable Video Diffusion项目开源

大家好，我是千与编程，又到了每周的分享GPT大模型项目，今天给大家分享的是AI生成视频的项目。

AI绘画相信大家都很熟悉了，现在ChatGPT已经升级到了GPT-4，并且出现了DALL-3的绘画模型，但是还是

喜欢使用Stable Diffusion的AI绘画，AI绘画生成的狮子图片：

对于 Stable Diffusion的AI绘画，想必我的读者朋友们对此都不陌生。自 Stability AI 公司发布 SD（全称：Stable Diffusion) 以来，受到了很多人的喜爱。

随后技术升级，又发布了 SDXL，名字很有喜感，XL、XXL、XXXL...

顾名思义，SDXL 就是 SD 的升级版，图片生成的效果更好、更逼真、分辨率更高！

二、Stable Video Diffusion视频生成

图片领域做得不错了，Stability AI 再次发力，昨天又发布了 Stable Video Diffusion。

也就是说，通过一句话描述，现在不仅可以生成图片，还可以生成视频了。

以下是目前的使用Stable Video Diffusion生成的动态视频

1. 输入：火箭升天

AI 算法直接生成对应的视频：

2. 输入：太空中转动的地球：

AI 算法直接生成对应的视频：

一共开源了两个模型：

SVD：能够生成帧率 14、分辨率 576x1024 的视频；

SVD-XT：SVD 的 finetune 升级版，分辨率不变，但能够生成帧率 25 的视频；

友情提醒： 想要本地跑 Stable Video Diffusion，显存得 20G 左右。也就是至少需要配置一张RTX3090的GPU显卡才能跑起来啊！

1、下载代码库

git clone git@github.com:Stability-AI/generative-models.git

cd generative-models

2、配置 Python 环境

由于第三方依赖库的要求，使用 conda 新建一个环境

conda create -n py310 python==3.10

3、激活环境，并安装相应的依赖。

conda activate py310

python -m pip install -r requirements/pt2.txt

4、最后再安装 sgm，直接在项目根目录运行即可。

python -m pip install .

如果想要训练模型，还需要安装 sdata，我这里就不说了，毕竟跟我一样训练不起的，应该占绝绝绝绝大多数。但是我觉得个人想训练大模型，还是歇一歇吧！哈哈哈

1、SVD 模型下载地址：

2、SVD-XT 模型下载地址：

将下载好模型后，将模型放到 checkpoints 目录下。友情提示，大模型加在一起都是20GB，真的是很大！

可以使用 streamlit 运行：

streamlit run scripts/demo/video_sampling.py --server.port <your_port>

点击进入端口，进入运行的界面，千寻自己也没跑起来，实在是资源要求的太高了！但是还是可以使用开源的云端部署的效果。还是很不错的！

六、Stable Video Diffusion开箱即用

我是千与编程，一个只讲干货的码农，我们下期见！