AI 多模态除了常见的AI 绘画，AI 生成视频也是非常常见，尤其是一些短视频平台经常会刷到一些有趣的AI 生成视频。于我自己而言，其实比较少用到AI 视频生成的平台或者APP , stable Diffusion 的webUI 或者libibi 里面倒是有文生视频的功能，但是也只是试用玩一下，看到b站有个系列视频，了解一下当前的AI 技术的新趋势。

Nenly up主出的多模态相关的视频质量都非常高：

Nenly同学的个人空间-Nenly同学个人主页-哔哩哔哩视频

1. 实现路径

三种实现路径：

2. 市面各大平台试用

市面上还蛮多视频创作工具的，常用app见下面的链接：

gf66fxi6ji.feishu.cn/wiki/RkPEwoYkFiEnHgkmj7hcQYzhnDf

文生视频和图生视频的一个比较大的缺陷点就是生成不可控，具有随机性，且如果时间较长的话，画面容易变形，而视频生视频可以解决这个问题，通过输入一段视频，让ai 去模仿这段视频生成不同风格的类似动作的视频。

2.1. Sora

https://openai.com/sora/

这个sora 主页做的还蛮有趣的， openai的产品 ,但是发现连了vpn 也登录不上，只能看下b站的视频介绍

2.2. 可灵

Kling AI: Next-Gen AI Video & AI Image Generator

新注册有免费的额度可以用来生成视频 ，但是缺点就是需要排队，生成非常慢

图生视频：

2.3. 即梦

即梦AI - 一站式AI创作平台

即梦的生成速度比可灵要快一些。

文生图：效果不错，也挺快的

按网站给的提示词生成的图片还不错，让她简单跳个舞。

文生视频：

图生视频：

能够让图片简单动起来，眨眼睛。

AI 生成音乐

不得不说，这个效果还可以，还挺好听，即梦一键生成

即梦AI - 一站式AI创作平台

📎闪耀青春梦之乐章.wav

2.4. 阿里通义万相

通义万相 | 领先的AI视频与图像生成模型

千问的多模态模型还是可以的，生成速度较快，但是在线也只能生成几次，图生图效果并不理想，好像只能对原图的动作做轻微的调整，但是文生图按官网写提示词还可以。

文生视频：

视频展示了废土风格背景下，一位仿佛来自异世界的飞天仙女的惊艳现身。她身着华丽的服饰，背后展开一对由废墟片构成的奇异翅膀，翱翔在荒凉的地景之上。镜头跟随她的飞行轨迹，从低空拉高至广阔的天空，展现她轻盈的身姿与废土世界的强烈对比，每一次挥翅都似乎在诉说着生命与希望的故事。

通义这个根据图片进行扩写的功能还不错，中文支持友好，但是效果嘛，一般，本来想让珍珠少女在星空下面走路的，但是图生图没法生成预期效果。

梵高风格的油画渲染，一位气质优雅的女性在星月下缓缓漫步。她侧脸轮廓分明，目光柔和地望向远方，流露出一抹专注与沉思。女性头戴蓝黄交织的头巾，身着深邃色调的衣物，肩搭轻盈的米色披风，随步伐轻轻摆动。珍珠耳饰在夜色中闪烁，成为视觉焦点。背景是梵高标志性的星空，繁星点点，月亮弯弯，营造出梦幻般的氛围。中景，斜侧视角，女性的剪影与星空交相辉映，宛如一幅行走的画作。

图生视频：

世界名画活了起来系列。

目前图生视频效果最佳成品，虽然不太连贯。

提示词要点：

2.5. 腾讯混元

在线等待排队时间有点久，生成效果也一般。

腾讯混元AI视频

2.6. ComfyUI

ComfyUI 相比上面的平台最大的好处就是免费，当然是在本地配置支持的情况下适用comfyui ，但是也可以用阿里云相关的已经搭建好comfyui 的云服务器，相对来说更方便一些。

阿里云平台进行免费额度领取试用： 阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台

📎SVD：文生视频.json

📎SVD：图生视频.json

图生图：

可控性差感觉是视频生成的一大缺点了,人物消失了~

文生视频和图生视频类似，先输入文字生成图片，然后根据图片生成视频

下面这个动态风景图相对来说效果就好多了。

还有这个也还行，最后主体又消失了。

3. ASMR 效果视频

最近很火的切玻璃物体的视频：

先在即梦生成图片：

生成图还是很好看的。提示词：

电影感、超写实、特写微距镜头。一个由纯净的水晶构成的梨子，水晶制品，水晶质感，梦幻透明，它的表面非常光滑，右手抓着梨子，左手拿着一把菜刀在梨子上方，这个梨子被放置在一块深色木质菜板上，周围光线是戏剧性的逆光，营造出一种高级精致的氛围，高品质细节，超精细CG，C4D，摄影大师杰作

再在可灵生成视频（这个配音效果不错），提示词：

刀子向下切一块纯透明的水晶，水晶被切开，一片水晶掉落在台面上，切割硬物的拉锯感

即梦效果，还可以，配音不太好听

可灵生成

4. 写在最后

目前视频生成的应用场景多为老照片说话，数字分身，照片跳舞，广告，动画制作等，有点类似剪映剪视频，你要生成你想要的效果，需要熟练使用工具，掌握高阶玩法，但是AI 视频生成的可控性差，很多时候，同一段提示词，每次生成的效果都不一样，但也许正是AI 视频生成的魅力所在，你永远不知道你下一秒会看到什么。

也许现在AI 生成视频还有很大的提升空间，就像之前从ChatGPT 1.0 版本到 deepseek 出现的变革，生成内容有了质的飞跃，也许现在这些由 AI 生成的视频作品在不久的将来回看，也会是一场产业革命迭代的见证品。