close
S o r a G e n e r a t e d V i d e o

Sora 视频

提交视频
提交视频

前Sora时代我最想做的AI短片——使用Pika、Pixverse、Runway、SVD四大AI视频工具

前Sora时代我最想做的AI短片——使用Pika、Pixverse、Runway、SVD四大AI视频工具
13 Mar
  • Sora 教程
  • by 尾鳍Vicky
Sora出来以后，几乎没有人能安心地只生成4秒镜头的视频了。
虽然Sora还没有公测，仅以Sora案例视频的演示效果来看，大家都在开玩笑地说，Sora之前的AI视频生成叫做4s时代，或者也可以叫前Sora时代了。
不过最近又在传Sora这不行那不行，不知道是为了博眼球显摆自己懂得多还是真有其事，我没用过、不懂算法，门外汉，纯瞎猜。
但其实只要Sora图生视频的能力能比现有的AI视频产品强，经历过4s时代的创作者，应该还是能比较好地去适应Sora可能会出现的局限性，并受益其中。
主要还是，现在局限真的太多了。一边抽卡一边骂自己怎么还在抽4秒视频的我，最终还是和Zoik一起硬着头皮做完了新片子，因为这次做的是一段和我自己有关的真实经历。
这个短片的名字叫奇遇书屋（SOULHOME），大家可以先睹为快，或者往后先看完背后故事再看片子，都可以。
图片
尾鳍Vicky，赞344

短片源起： Sora Generated Videos

我在14岁的时候，曾经有过一段奇遇。在一家由车库改造而成二手书店里，认识了一个大叔。 Sora Generated Videos

我常叫他阿叔，不是我不愿意带上他的真名，而是我确实不知道他叫什么，只知道他姓李。我曾经问过他这个问题，他没有正面回答，只是说了一句让我至今都觉得略有些荒诞的话：名字不重要。 Sora Generated Video

不想告诉别人自己的名字，究竟是洒脱，还是另有隐情？我不得而知。

Sora Generated Videos

阿叔是一家“非正规书店”的老板。所谓“书店”不过是个小区车库改装的、摆满了各种品质不一的二手书和游戏卡的、只有不到四十平米的“放学不回家”聚集场所。小区旁边上小学和初中的孩子都知道这个开在车库的“特别书店”。 Sora Generated Videos

女孩们只要花一毛钱，就能在这里租借到当年最风靡热门的言情小说；男孩们可以在单独隔开的小房间里打一整个下午的游戏。 Sora Videos

一开始其实我对这个被同学们“暗暗传颂”的“堕落书店”没有太大兴趣。但很快就打脸了，我成了方圆十个小区里去得最勤的初中生，甚至恨不得自己能每天一睁眼就出现在那里。 Sora Generated Video


阿叔说过，多跟人交流是学习效率最高的方式之一。 Sora Generated Video
Sora Generated Video

阿叔说过，一定要好好锻炼身体，身体确实是革命的本钱。（因此我买了羽毛球拍，坚持了一年的晨跑。）

Sora Generated Videos

阿叔说过，爱国不是把国旗贴在脸上，而是在任何地方。（当年恰逢08年奥运会，人人都在脸上画国旗。） Sora Generated Video

阿叔说过，纸钱烧成灰了（潮汕人逢年过节喜欢拜拜）之后，思念和愿景不会消失，而是成了另一种物质或能量存在。 Sora Generated Videos

阿叔说过，他很穷，穷得只剩下两万多本书，一万多本在店里，一万多本在家里，每次搬家都很愁。 Sora Generated Video

阿叔说过，他给我找了十几本适合我读的书，就放在书店里的台球桌上，每个星期看一本，慢慢积累就会有收获。 Sora Generated Videos


阿叔说过……

Sora Generated Video

阿叔说过很多话我都记不清了，但记得08年的夏天，每天读书聊天，在书店里看人来人往的日子，记得充实开心的时光，记得学习的方法，记得以开放的心态和视角看世界，记得不设上限……

Sora Generated Video

我跟阿叔也有很多观点争执，但那都不重要了，他负担不起每天20块钱的房租，很可能无法继续开店。

Sora Videos

当时我们有误解，导致没有留下联系方式，等我反应过来，再去店里找他的时候，他已经搬走了，门口挂着“银河书店”的招牌也被拆了下来，还好招牌上有电话，可是我打过去之后—— Sora Videos

电话里传来：您拨打的电话是空号。 Sora Videos

之后就是一阵忙音……

Sora Videos

我就再也没见过阿叔了。

Sora Generated Video

图片
后来我还会经常想起这段经历，这个故事本身戏剧性不强，它只是我的一段记忆，很难拍出来。
但AI给了低成本制作多元场景的能力，我就在故事里加上了奇幻的穿书动作，从视觉上去弥补故事本身比较平淡的问题，勉勉强强地把它做了出来。
Sora Generated Video
接下来就是制作流程了。
这次我梳理了一套更高效的工作流，效率会比上次制作会高一些，所以做出了更长的视频。花费了大概10天左右的时间。
制作流程多了AI声音制作这一步，共五步。
1️⃣写剧本/分镜——2️⃣生图——3️⃣生视频——4️⃣AI声音——5️⃣剪辑

Sora Videos

Sora Generated Video

第一步，写剧本/分镜 Sora Generated Videos

除了使用GPT4/Claude/Kimi/智谱清言/文心一言等AI工具之外，更重要的是你想写一个什么故事，故事可以从哪里来。 Sora Generated Videos

路径一：原创（直接经验）：你或你周围人的经历/你做过的梦/你想象的故事等等 Sora Generated Videos

路径二：改编（间接经验）：经典IP/名著改编/新闻改编/二创等等

Sora Generated Videos


 Sora Generated Video

剧本写作： Sora Videos

老实说，编剧是一门看似门槛低但还是挺有成活门槛的手艺，所以三言两语要把如何写好剧本这件事情讲明白是很难的。

Sora Generated Videos

而且剧作有一个悖论是，你看的所有剧作书，都是结果，从结果反推成因，这是一件很玄学的事情。就像一道数学公式，老师告诉你，公式就是这么写，你就往里套就行，简单的题目这么做是可以的，但放到稍微复杂的环境里，你就不会了。

Sora Generated Video

因为公式的结果是死板，套剧作理论和模版，写出来的故事也会很死板。

Sora Generated Video

当然不是说看书没用，而是不论写剧本、写作、还是写什么都好，第一步的开始，永远就是写。咔咔写和哐哐实践，再去看书，看完继续完善实践，再总结经验，循环往复，才可能会有所体悟。 Sora Generated Videos

虽然我觉得剧作很复杂，但短片创作的好处，在于篇幅比较小，涉及到的情节设计和角色也相对简单，简单的东西建议可以从自己或者朋友的经历改编入手，有情感投射可能会比较好上手。

Sora Videos

或者是那些触动你的短篇故事，对短篇的故事进行改编也是比较好的练手方式。

Sora Generated Videos

多跟别人讨论你的故事，也是一种很好的修改和进步方式，可以听听别人对你故事的感受，千万不要怕别人会窃取你的创意，老实讲，大部分你能想到的故事，可能都被拍过了，所以根本不用怕别人会剽窃你，商业合作除外，毕竟商业项目还是要签保密协议的。 Sora Videos

更多写剧本的方法、小技巧、格式还有软件，希望后面有时间可以多写一些。

Sora Videos

照例，先放上我写的分镜，这是非常粗糙且不规范的分镜，正常的分镜是要更仔细的，所以大家凑活看。 Sora Videos

与上一次制作不同的是，因为更了解AI生图的局限，所以我这次写的分镜，有百分之八十都用上了。也算提高了效率，但还是写得太粗糙了，下次尽量按照正规格式写得准确一些，如果我的肝还好的话（主要是就只有我和Zoik看就有点偷懒了）…… Sora Generated Video

图片图片
给大家推荐一些编剧相关的书，虽然我觉得写短片看这些书还是太多了，但基本涵盖了常见的剧作书，供参考吧~
图片
图片
其实也不用看这么多书，只不过我看到同类型的书就想买来对比，没时间的话，看《救猫咪》或《电影剧本写作基础》的第一册就行。主要还是练习，写。
Sora Generated Video


第二步，生图
这次生图，我明显感觉到Midjourney的语义理解比之前好了很多。很多人在生图上都遇到了人物和场景一致性的问题。
有两个取巧的方式，一个是像我上个视频一样生成动物，动物会比较容易保持一致性，另一个方式是特定的名人/或者有特殊属性的人物。

Sora Generated Video


这次我们用的是第二种方式。
首先，先确定好影片风格，这次用的是皮克斯动画风格。
真的不是我们不做其他题材，是因为这个故事比较适合用动画呈现，后面的片子我们会多尝试别的题材风格。
其次，先确定好人物形象。
短片有两个主要角色，角色一：扎马尾、穿白色T恤、穿牛仔裤的14岁女孩；角色二：戴眼镜、灰色头发、穿灰色短衬衫的50岁男人。
我们每一个prompt的角色形象都这么写——景别+角色特征+位置关系+环境+影片风格+比例，其实差不多生2-3次，就能生出差不多匹配的角色形象。
Sora Videos
Prompt：Medium shot, side view, a middle-aged man wearing glasses and a gray short shirt with gray hair is sitting at the desk with his head lowered. A 14-year-old girl with a ponytail wearing a white T-shirt and jeans is standing in front of the bookshelf. The room surrounded by bookshelves is at dusk. Pixar animated movie style, highly detailed, 8k --niji 6 --ar 7:3
图片（这张双人关系的图我最后没用，因为四个工具都跑不出稳定的视频，我懒得Roll了）
Sora Videos

图片（角色一：扎马尾、穿白色T恤、穿牛仔裤的14岁女孩）
图片（角色二：戴眼镜、灰色头发、穿灰色短衬衫的50岁男人）

Sora Videos


接着，确定了主场景，主场景是四面都是书柜的屋子，但是场景一致性太难保持了，所以我们取巧，用了穿书的方式，把场景分布到不同地区。 Sora Videos

在室内的镜头，因为AI对书房的理解也还比较相似，尽管有些穿帮的地方，还好主场景出现的时间不算长，倒也还能接受。 Sora Videos

图片
解决了人物和场景一致性的问题，生图的障碍就还是双人关系镜头的部分。

Sora Generated Video


但这次要比上个视频做起来稍微容易一些，因为至少生成关系镜头没有那么麻烦了，MJ的语义理解好多了，部分镜头我们还比较喜欢，比如女孩能在镜子里看到妈妈这个镜头。
图片
但我们要自由地生成同场戏内不同角度的关系镜头，还是很难。
Sora Videos

比如女孩发现不对劲之后，回到书店，问阿叔怎么回事，阿叔没有说话，女孩生气离开这场戏，其实还需要一个两人在书店走廊里的中景或全景镜头，去展示两人的位置关系，但Roll得有点累了。
最后用取巧的方式，用特写镜头和声音勉强去带过了。
图片
图片
所以如果有什么高效的、好的、能生成同一空间内、双人或多人位置关系镜头的办法，请各位大佬赐教呜呜！！
Sora Generated Videos
第三步，生视频
最近一两周，陆续出了好多新的AI视频产品，比如LTX、Morph Studio、还有马上要上线的Dreamia等等，但因为这些产品都还没能使用上，所以主要还是以当下能使用到的产品为主。
Pika：https://pika.art/
Pixverse：https://pixverse.ai/
Runway：https://runwayml.com/
SVD：https://www.stablevideo.com/
Sora Generated Videos
奇遇书屋（SOULHOME）我用得最多的是Pika和Pixverse，因为很幸运地成为了两家官方的超级合作者，可以免费使用Pika和Pixverse赠送的百万积分和私信通道，部分镜头也使用了Runway和SVD，发挥各家所长。
这里可以做一个简单的小测评，测试一下前Sora时代，四家AI视频产品的能力。
Sora Videos
通常我们会把影片大类分为剧情片、纪录片、实验片。我们这里的测试主要以剧情片和纪录片为主。
剧情片包含多种类型片，结合AI的擅长，我们主要以科幻片、战争片、奇幻片三个类型为主；纪录片我们以风光片、美食片两个类型为主。
每个类型，采用两种景别，对四家产品分别进行测试。
众所周知，AI视频需要大量的抽卡才能有合适的画面，但我这次决定每家视频每张图片，只抽一次卡，一卡定终身。
虽然有些偏颇，但我确实没肝来搞bestcase了，效果只能看命了大家伙儿。
Sora Videos
图片和GIF动图顺序是：
MJ图——Pika——Pixverse——Runway——SVD
以下是我让AI为我写作和生成的视频内容
Sora Generated Video
剧情片：
Sora Generated Video
科幻片
1、远景：太空舰队在星系间交战，飞船群在遥远的星云背景下进行激烈的激光炮击，爆炸的光芒在宇宙的黑暗中绽放。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片
2、特写：宇航员头盔上的反射显示着控制台的紧急指示，紧张的呼吸声在头盔内回响，体现了科幻片的紧张氛围。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片

Sora Generated Video


战争片
3、全景：士兵们在战壕中准备迎击，远处的炮火在地平线上划过，烟尘和爆炸声此起彼伏，展现了战争片的激烈场面。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片
4、中景：一名士兵在战壕中，脸上显露出战斗的紧张，他正仔细查看铺在面前的地图，与旁边的战友一起策划下一步的行动。这个场景捕捉了战争中的紧张气氛和战友间的合作精神，没有描绘任何违反视频生成政策的暴力内容。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片

Sora Videos


奇幻片
5、中景：一群奇幻生物在森林中追逐，精灵和矮人并肩奔跑，树木和花朵随着他们的动作摇曳，展现了奇幻风格。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片
6、特写：一只小精灵的翅膀在阳光的照射下闪耀着光芒，她的眼睛好奇地观察着周围的世界，体现了奇幻片的细腻描绘。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片
Sora Videos

纪录片：
Sora Generated Video
风光片
7、远景：壮丽的山脉在晨曦中苏醒，阳光透过云层洒在山谷间，展现了风光片的宏伟与宁静。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片
8、特写：一朵野花在微风中摇曳，露珠在花瓣上闪烁，细节丰富，体现了纪录片对自然美的捕捉。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片

Sora Videos


美食片
9、中景：厨师在厨房中熟练地切割食材，刀工流畅，食材的新鲜色彩和质感在镜头前展现，体现了美食片对食物制作过程的精细记录。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片
10、特写：一块刚出炉的蛋糕表面细腻的纹理，糖霜在热力作用下微微融化，展现了美食片对食物质感的深入描绘。
图片
Pika图片
Pixverse图片
Runway图片
SVD图片
总结一下，整体看下来，Pika、Pixverse、Runway三家各有优劣，综合能力差距不算太大。
Pika对于奇幻感比较强的画面把控是四家里最好的，会比较自然，但真实环境的画面比较容易糊，Pika更新的唇形同步功能虽然没有太引发热议，也是一个要不断抽卡的功能，但嘴形同步集成到平台上实际上是非常便捷的；
Sora Generated Videos
Pixverse在高清化方面是四家里比较优势的，以及对于一些偏风景和纪录的、有特定物体移动的画面会非常友好，Pika和Runway在测试风景那里的时候，差点垮了，但有一个问题就是生成的视频有点帧率问题，导致处理到人物的时候，会有种慢速播放的感觉，容易出戏；
Sora Videos
Runway在真实影像方面质感是最好的，战争片全景的镜头处理得最好，以及Runway的控件确实目前体验感也比较好，但Runway就是特别爱变色，光影非常不稳定；
Sora Generated Video
SVD整体真的略拉垮……唯一能打的就是在风景片的测试，那条测试他是跑得最好的，其他方面就真的还很一般……
Sora Videos
我在做视频的时候，其实是会根据不同工具对画面的处理能力进行组合使用。
Sora Generated Video
举个栗子：
Pixverse擅长物体滑行运动，我们就会用Pixverse生成，但这个视频里前面有一部分的飞机变形了，我们就会把Pixverse里生成的视频再放到Pika里面去局部重绘。
图片
图片
有手部特殊运动的画面，我们就会用Runway来辅助完成。
图片
需要人物表情比较自然的画面我们就会用Pika来生成。
图片
总之就是，办法总比困难多，想尽一切招数，解决问题。
这里本来可以对应介绍一些视听语言的书，但篇幅实在太长了目前，下次再推荐！

Sora Generated Video


第四步，AI声音
这次我们尝试使用了一些简短对话的制作。通常在传统影视制作流程里，声音部分的制作会分为现场录音、后期配音、音效音乐制作等多个部分。
这里用AI声音来制作对话相当于是后期配音的部分。
我们会把中文台词谷歌翻译成英文，但我英语比较拉垮，所以找了非常专业的Azura Ge葛女士进行英文字幕校对与台词润色，形成配音稿。
接着使用AI声音软件11labs（官网 ：https://elevenlabs.io/）进行对白制作，11labs的英文效果比较好，但我们仍然非常头疼地遇到了AI声音没有情绪和情感的问题。
跟视频制作类似，需要不断地抽卡（反复生成），因为11labs无法使用语速、情绪调节等控件，我们只能通过标点符号去改变语音效果，比如使用，、……。！等等标点符号，有时会叠加不同标点符号，去试它的语音效果。
图片
1,尾鳍Vicky,2秒
图片
2,尾鳍Vicky,2秒
图片
3,尾鳍Vicky,2秒
同一句台词，大家可以听出不同标点和抽不同卡时，声音的情绪都不太一样，所以要在AI声音里调试到合适的声音，抽声音卡的难度其实并不亚于抽视频的难度……我们常常一句台词要生成十几二十段音频，才能找到稍微能听得过去的、自然的声音。
国内的可以使用出门问问的魔音工坊。魔音工坊可以使用情绪调节控件，还比较友好，但具体的评测还得等我们有机会做中文短片再试试！
Sora Generated Video
第五步，剪辑
上篇剪辑没有多说，这次我会多说一些。目前大部分AI短片的创作者用的都是剪映，我也是，因为短片1-3分钟，用剪映其实会比传统剪辑软件更方便一些。
但更长的篇幅，比如可能到5-10分钟，或者10分钟以上，要更好的效果的话，还是避免不了可能要用PR/FCP/达芬奇等等传统剪辑软件。
剪映非常方便在于它有很多人性化的设计以及简单的音效库/小特效，难用的点在于剪映无法协同工作，导出工程文件，不像PR等软件可以导出XML打包工程文件，无法与各软件进行工程联通，应用起来就很难使视频内容达到更好的商业化效果。
剪辑的流程是：
视频粗剪——视频定剪——音效/音乐——特效——包装（如字幕）
很多人在做视频的时候可能会先上来直接把音乐铺满，然后再开始剪，这样其实放弃了很多听觉上的制作空间。
声音的运用在影像制作中是非常重要的部分，好的声音制作可以为影片增加非常多的优势。
视频粗剪：剪辑比较高效的方式，可以先确定好画面逻辑，声音有部分参考，但最好等画面确定了再去制作和精调。
粗剪的画面不需要非常精美，而是先让你快速对片子的全貌有一个整体的把握，把素材先放上去，再去看哪个部分需要细节调整和画面替换。
视频定剪：将画面素材调整和替换到满意的效果为止。粗剪和定剪部分涉及到的视听语言内容太多了，篇幅限制，有机会再单独写。
音效/音乐：以剪映为例，剪映中有简单的音效库，制作简单的短片可用，但涉及到更为复杂和真实的音效，可能还是需要另外制作。
音乐的使用如果涉及到商用，请注意购买版权或使用无版权音乐。
特效：以剪映为例，我不会加太多特效，但有些光的效果我会加，因为AI视频生成经常会吃掉一些光影，为了让效果更好，会使用一些光影效果。
包装（如字幕）：字幕最后上，剪映比较方便的一点就是可以智能匹配字幕再修改。传统字幕制作要用PS做完再去PR里面对时间线，确实挺痛苦的……
一些剪辑相关的书推荐给大家：
图片、
图片

Sora Generated Video


万万没想到，文章写着写着就这么长了，最开心的还是终于把和阿叔有关的故事视听化了。
内容有点多，讲了一个故事，写了一个流程，做了一个测评，过分杂糅的一篇文章，希望你喜欢～

Sora Videos


如果觉得还不错的话，点赞转发在看一键三连，阿里嘎多！

Sora Videos


视频制作：尾鳍Vicky & Zoik
英文字幕校对：Azura Ge
海报：Zoik

撰文：尾鳍Vicky

Sora Generated Videos

本文来源：https://mp.weixin.qq.com/s/KFcC5MWwJMd-AjDXEAWNsw Sora Generated Videos

  • Share This :

Advertising space investment

You are welcome to place your advertisement, you can contact us at the bottom email address.

Contact Us
Go To Top