Hello小伙伴们好啊！过去两个多月我一本文作者：唐霜，转载请注明出处。【原创内容，转载请注明出处】直投入在AI视频创作产品Videa上。用AI来完成创作，也就是AIGC，是【版权所有，侵权必究】【本文受版权保护】过去两年的一个重大课题。随着模型能力的越本文作者：唐霜，转载请注明出处。【本文首发于唐霜的博客】来越强，我们现在已经比较容易的制作出基于【关注微信公众号：wwwtangshuangnet】【转载请注明来源】AI的视频。但是，即使在今天，我们想要用转载请注明出处：www.tangshuang.net本文作者：唐霜，转载请注明出处。AI来生成类似电视剧或电影一般的视频，还未经授权，禁止复制转载。【本文受版权保护】是很困难的。其中一个非常特殊的点，就是A【原创不易，请尊重版权】【本文首发于唐霜的博客】I做的视频，特别是真人视频，口型对不上。
【访问 www.tangshuang.n【本文首发于唐霜的博客】【原创不易，请尊重版权】et 获取更多精彩内容】著作权归作者所有，禁止商业用途转载。【转载请注明来源】本文版权归作者所有，未经授权不得转载。我在B站上看到了AI歌手出道的视频，效果【原创不易，请尊重版权】【版权所有】唐霜 www.tangshuang.net非常不错，基于硅基的heygem开源数字著作权归作者所有，禁止商业用途转载。【作者：唐霜】人，确实可以做到口型和动作的一致，但是即【原创内容，转载请注明出处】【版权所有】唐霜 www.tangshuang.net使如此，AI歌手的MV也经过后期的处理，【版权所有，侵权必究】原创内容，盗版必究。也就是传统MV的后期处理模式，AI直出还本文版权归作者所有，未经授权不得转载。【原创内容，转载请注明出处】是比较麻烦，况且，我所指的场景，面向更常本文作者：唐霜，转载请注明出处。【访问 www.tangshuang.net 获取更多精彩内容】见的电视剧人物对话剧情。这也是为什么现在著作权归作者所有，禁止商业用途转载。著作权归作者所有，禁止商业用途转载。的AI视频给人“还不够味儿”的感觉。
本文作者：唐霜，转载请注明出处。著作权归作者所有，禁止商业用途转载。【关注微信公众号：wwwtangshua【转载请注明来源】本文版权归作者所有，未经授权不得转载。ngnet】转载请注明出处：www.tangshua著作权归作者所有，禁止商业用途转载。【访问 www.tangshuang.net 获取更多精彩内容】ng.net现在我看到有很多AI视频，主要分为两种：【作者：唐霜】本文作者：唐霜，转载请注明出处。1）动画类，由于动画不需要口型一致，只要未经授权，禁止复制转载。转载请注明出处：www.tangshuang.net嘴巴动和语音一致，就可以被接受，所以现在转载请注明出处：www.tangshuang.net【作者：唐霜】很多人做AI动画；2）旁白类，人物、场景【原创不易，请尊重版权】【作者：唐霜】都是真人真景，但是不能人物说话，一说话就转载请注明出处：www.tangshuang.net未经授权，禁止复制转载。露馅了。
著作权归作者所有，禁止商业用途转载。【版权所有】唐霜 www.tangshu【版权所有】唐霜 www.tangshuang.net本文作者：唐霜，转载请注明出处。ang.net本文作者：唐霜，转载请注明出处。【本文受版权保护】一种理想的解决方案是，生成视频的模型支持【访问 www.tangshuang.net 获取更多精彩内容】未经授权，禁止复制转载。在具体的时间点，人物可以根据创作者的输入著作权归作者所有，禁止商业用途转载。本文作者：唐霜，转载请注明出处。说对应的话，也就是说，视频模型，还要把T转载请注明出处：www.tangshuang.net【版权所有】唐霜 www.tangshuang.netTS的活也干了。这其实对视频模型厂商的要【转载请注明来源】本文作者：唐霜，转载请注明出处。求非常高，因为TTS其实也是一个复杂的训原创内容，盗版必究。本文作者：唐霜，转载请注明出处。练体系。就目前而言，即使强如google【转载请注明来源】【作者：唐霜】的voe3，也无法直接生成创作者可控的语未经授权，禁止复制转载。【本文受版权保护】音对白，它生成的视频中人物可以自由随机的【版权所有】唐霜 www.tangshuang.net未经授权，禁止复制转载。说话，但是由创作者精确控制的，还做不到，【本文首发于唐霜的博客】【访问 www.tangshuang.net 获取更多精彩内容】不知道将来能否做到，还是有点期待。
【原创内容，转载请注明出处】原创内容，盗版必究。转载请注明出处：www.tangshua【本文首发于唐霜的博客】【版权所有】唐霜 www.tangshuang.netng.net【作者：唐霜】另一种解决方案是，通过对口型视频生成模型本文作者：唐霜，转载请注明出处。【版权所有，侵权必究】，输入一段视频和一段语言音频，生成最终的本文版权归作者所有，未经授权不得转载。【本文受版权保护】口型一致的视频。这种方案成本低，控制精确著作权归作者所有，禁止商业用途转载。【版权所有，侵权必究】，扩展性也很强。今天，我们就将详细的阐述原创内容，盗版必究。本文版权归作者所有，未经授权不得转载。这套解决方案。
【本文首发于唐霜的博客】本文版权归作者所有，未经授权不得转载。1 生成剧情视频序列
一部有故事的短片，我们会用“分镜”方法论【未经授权禁止转载】转载请注明出处：www.tangshuang.net来获得镜头序列，并得到分镜视频。这些视频【版权所有，侵权必究】【未经授权禁止转载】连起来，就是我们想要的剧情过程。
本文作者：唐霜，转载请注明出处。转载请注明出处：www.tangshua【本文首发于唐霜的博客】【版权所有】唐霜 www.tangshuang.netng.net
一组镜头的视频形成一个序列。按照时间顺序【访问 www.tangshuang.net 获取更多精彩内容】【原创内容，转载请注明出处】串联的镜头序列，经过合成，就得到了这组镜【本文受版权保护】本文版权归作者所有，未经授权不得转载。头的视频。
原创内容，盗版必究。【作者：唐霜】2 合成语音，插入字幕
同时，我们使用TTS技术，对每一个镜头中【关注微信公众号：wwwtangshuangnet】【作者：唐霜】的人物赋予对话、声音。
转载请注明出处：www.tangshua转载请注明出处：www.tangshuang.net转载请注明出处：www.tangshuang.netng.net本文作者：唐霜，转载请注明出处。【版权所有】唐霜 www.tangshu本文作者：唐霜，转载请注明出处。本文版权归作者所有，未经授权不得转载。ang.net【作者：唐霜】
以及每一段语音，如何是TTS生成的，则可著作权归作者所有，禁止商业用途转载。【访问 www.tangshuang.net 获取更多精彩内容】以直接将其文本作为字幕。
本文作者：唐霜，转载请注明出处。【版权所有】唐霜 www.tangshu本文作者：唐霜，转载请注明出处。本文作者：唐霜，转载请注明出处。ang.net著作权归作者所有，禁止商业用途转载。【关注微信公众号：wwwtangshua【原创不易，请尊重版权】【作者：唐霜】ngnet】需要注意的是，语音常常是不连续的，因为整未经授权，禁止复制转载。原创内容，盗版必究。个视频并不是时时刻刻都在说话。
转载请注明出处：www.tangshua【作者：唐霜】著作权归作者所有，禁止商业用途转载。ng.net【版权所有】唐霜 www.tangshu【版权所有】唐霜 www.tangshuang.net【未经授权禁止转载】ang.net【作者：唐霜】3 口型同步
口型同步有3种方案：1）人物图片+语音；【原创不易，请尊重版权】未经授权，禁止复制转载。2）含有人物的视频+语音；3）数字人技术【关注微信公众号：wwwtangshuangnet】本文版权归作者所有，未经授权不得转载。。基于人物图片+语音来同步口型，好处是简本文版权归作者所有，未经授权不得转载。未经授权，禁止复制转载。单方便，但是缺点很明显，大部分该类对口型【未经授权禁止转载】【转载请注明来源】的效果都是最多人的头动，无法做到整个人全【关注微信公众号：wwwtangshuangnet】本文作者：唐霜，转载请注明出处。身合理的动作，同时，图片内人物的背景也不【原创不易，请尊重版权】【访问 www.tangshuang.net 获取更多精彩内容】会动，因此，可以说是一眼假。数字人技术不原创内容，盗版必究。【访问 www.tangshuang.net 获取更多精彩内容】仅可以做到口型一致，而且人物说话时的表情【本文受版权保护】【转载请注明来源】、手势动作都能非常自然，然而在我们生成短著作权归作者所有，禁止商业用途转载。【原创不易，请尊重版权】视频时存在与短视频故事背景融合的问题，目未经授权，禁止复制转载。【未经授权禁止转载】前还无法在我们AI生成视频领域使用。
【版权所有，侵权必究】著作权归作者所有，禁止商业用途转载。已生成好的视频+语音来实现口型同步，在目原创内容，盗版必究。原创内容，盗版必究。前来说是最稳妥的方案。
【本文受版权保护】著作权归作者所有，禁止商业用途转载。【原创不易，请尊重版权】未经授权，禁止复制转载。
我们只需要把上图中红框内的视频和音频整合【原创不易，请尊重版权】【本文首发于唐霜的博客】在一起，利用对口型的模型进行新视频的生成转载请注明出处：www.tangshuang.net本文作者：唐霜，转载请注明出处。，就可以做到目前来说效果最好。
【版权所有】唐霜 www.tangshu【转载请注明来源】【未经授权禁止转载】ang.net原创内容，盗版必究。【未经授权禁止转载】4 细节问题与解决
虽然我们只需要上传视频+音频，就可以让对未经授权，禁止复制转载。著作权归作者所有，禁止商业用途转载。口型的大模型生成新视频，听上去非常简单，著作权归作者所有，禁止商业用途转载。【关注微信公众号：wwwtangshuangnet】然而在实际视频制作的场景下，还是有很多细【转载请注明来源】【本文受版权保护】节问题需要解决。
本文作者：唐霜，转载请注明出处。【版权所有，侵权必究】本文作者：唐霜，转载请注明出处。转载请注明出处：www.tangshua本文版权归作者所有，未经授权不得转载。原创内容，盗版必究。ng.neta.多人物
著作权归作者所有，禁止商业用途转载。【未经授权禁止转载】在同一视频中，可能存在多个人物，此时AI著作权归作者所有，禁止商业用途转载。【未经授权禁止转载】就无法区分到底是应该让哪一个人物来同步口原创内容，盗版必究。【原创内容，转载请注明出处】型。目前我所知的，AI会挑选视频中出现的未经授权，禁止复制转载。【关注微信公众号：wwwtangshuangnet】第一个人作为口型同步的人物。如果想控制口【访问 www.tangshuang.net 获取更多精彩内容】【关注微信公众号：wwwtangshuangnet】型同步的人物，我们可以向AI提交一张模板【本文受版权保护】著作权归作者所有，禁止商业用途转载。人物的画像，这样，AI就会通过画像去匹配原创内容，盗版必究。【原创不易，请尊重版权】视频画面中的人物，并且让该人物开口说话，【原创不易，请尊重版权】本文作者：唐霜，转载请注明出处。而不会处理其他人物。
【转载请注明来源】转载请注明出处：www.tangshua著作权归作者所有，禁止商业用途转载。【本文受版权保护】ng.net【版权所有，侵权必究】【访问 www.tangshuang.n原创内容，盗版必究。【关注微信公众号：wwwtangshuangnet】et 获取更多精彩内容】那么，如果我想让视频中的多个人物都开口说本文作者：唐霜，转载请注明出处。著作权归作者所有，禁止商业用途转载。话呢？
未经授权，禁止复制转载。【本文首发于唐霜的博客】【原创内容，转载请注明出处】【本文受版权保护】此时，我们就要巧妙的引用人物参考图的功能【作者：唐霜】【本文首发于唐霜的博客】。我们需要进行多次操作，第一次，上传原始【访问 www.tangshuang.net 获取更多精彩内容】【关注微信公众号：wwwtangshuangnet】视频，人物A的画像，人物A说话的语音，然【作者：唐霜】【未经授权禁止转载】后合成，之后，我们会得到人物A口型同步的【版权所有】唐霜 www.tangshuang.net著作权归作者所有，禁止商业用途转载。视频，我们标记为视频A。接下来，我们进行【作者：唐霜】转载请注明出处：www.tangshuang.net第二次操作，这次，我们上车视频A，人物B【访问 www.tangshuang.net 获取更多精彩内容】【本文受版权保护】的画像，人物B说话的语音，然后合成，之后【版权所有，侵权必究】未经授权，禁止复制转载。，我们会得到人物B口型同步的视频，标记为【访问 www.tangshuang.net 获取更多精彩内容】【关注微信公众号：wwwtangshuangnet】视频B。此刻，由于视频A中，人物A的口型转载请注明出处：www.tangshuang.net著作权归作者所有，禁止商业用途转载。已经同步好了，所以，视频B中，人物AB的【版权所有，侵权必究】转载请注明出处：www.tangshuang.net口型都对上了。如果还有更多人，则按此方法【访问 www.tangshuang.net 获取更多精彩内容】未经授权，禁止复制转载。继续迭代。
【关注微信公众号：wwwtangshua【版权所有，侵权必究】本文作者：唐霜，转载请注明出处。ngnet】【版权所有】唐霜 www.tangshu未经授权，禁止复制转载。【原创不易，请尊重版权】ang.net原创内容，盗版必究。b.音画不同步
转载请注明出处：www.tangshua【未经授权禁止转载】【版权所有，侵权必究】ng.net【本文首发于唐霜的博客】当我们想让视频中的人物口型同步时，我们还【版权所有，侵权必究】未经授权，禁止复制转载。需要注意人物开始说话的时间点。例如有一段【关注微信公众号：wwwtangshuangnet】【原创不易，请尊重版权】视频，人物在一开始是不说话的，直到后面才【关注微信公众号：wwwtangshuangnet】【访问 www.tangshuang.net 获取更多精彩内容】开始说话，如下：
【本文首发于唐霜的博客】本文作者：唐霜，转载请注明出处。原创内容，盗版必究。
在这个视频中，人物一开始是表情变化，然后未经授权，禁止复制转载。【访问 www.tangshuang.net 获取更多精彩内容】才开始说话。而我们使用TTS生成的语音，本文作者：唐霜，转载请注明出处。【转载请注明来源】会直接上来就开始说话。此时就会音画不同步【原创不易，请尊重版权】【访问 www.tangshuang.net 获取更多精彩内容】。
【本文受版权保护】【关注微信公众号：wwwtangshua【作者：唐霜】本文版权归作者所有，未经授权不得转载。ngnet】转载请注明出处：www.tangshua【作者：唐霜】未经授权，禁止复制转载。ng.net【版权所有，侵权必究】由于我们已经生成好了视频序列，我们已经在未经授权，禁止复制转载。【未经授权禁止转载】时间上，让视频获得了连续性，因此，我们最未经授权，禁止复制转载。【版权所有，侵权必究】好不要去改变视频的时长，否则牵一发而动全【作者：唐霜】【作者：唐霜】身。那么，我们就需要对TTS生成的音频进转载请注明出处：www.tangshuang.net转载请注明出处：www.tangshuang.net行剪辑，在适当的时间点才开始说话，这样才【版权所有】唐霜 www.tangshuang.net转载请注明出处：www.tangshuang.net能达到我们视频中先做表情后说话的效果。
【版权所有】唐霜 www.tangshu【作者：唐霜】【访问 www.tangshuang.net 获取更多精彩内容】ang.net转载请注明出处：www.tangshua【访问 www.tangshuang.net 获取更多精彩内容】未经授权，禁止复制转载。ng.net而在Videa中，你完全不需要自己去做这【本文受版权保护】原创内容，盗版必究。件事，Videa会自己根据视频、音频在时本文版权归作者所有，未经授权不得转载。【未经授权禁止转载】间轴上的时间差，自动补上空音。
【版权所有】唐霜 www.tangshu著作权归作者所有，禁止商业用途转载。著作权归作者所有，禁止商业用途转载。ang.net【版权所有，侵权必究】c.跨视频语音
转载请注明出处：www.tangshua【原创不易，请尊重版权】本文作者：唐霜，转载请注明出处。ng.net转载请注明出处：www.tangshua未经授权，禁止复制转载。著作权归作者所有，禁止商业用途转载。ng.net【未经授权禁止转载】有些特殊镜头，我们要使用多个视频才能把整本文版权归作者所有，未经授权不得转载。【访问 www.tangshuang.net 获取更多精彩内容】个镜头表达完整。而如果在这个镜头内有人说【关注微信公众号：wwwtangshuangnet】【作者：唐霜】话，且不同视频看到人物的角度不同。而由于【作者：唐霜】【作者：唐霜】该人物说话是连续的，所以我们只会生成一段本文作者：唐霜，转载请注明出处。转载请注明出处：www.tangshuang.netTTS合成语音。此时，就会遇到跨视频语音【本文受版权保护】【转载请注明来源】的情况，也就是一段音频对应多段视频。
转载请注明出处：www.tangshua【关注微信公众号：wwwtangshuangnet】著作权归作者所有，禁止商业用途转载。ng.net【转载请注明来源】
例如上面这个镜头，就是由两段视频组成的，【本文受版权保护】【版权所有，侵权必究】但是音频却是连通的（有两段音频是因为两个【作者：唐霜】原创内容，盗版必究。人在同时说话）。
本文作者：唐霜，转载请注明出处。转载请注明出处：www.tangshua【作者：唐霜】【关注微信公众号：wwwtangshuangnet】ng.net本文版权归作者所有，未经授权不得转载。【关注微信公众号：wwwtangshua【访问 www.tangshuang.net 获取更多精彩内容】【原创内容，转载请注明出处】ngnet】要解决这个问题有好几个方法，一种是把两段著作权归作者所有，禁止商业用途转载。原创内容，盗版必究。视频合成为一段视频后再来处理，另一种是把【原创不易，请尊重版权】【访问 www.tangshuang.net 获取更多精彩内容】语音拆分为多段后处理。两种方法都可以，没【转载请注明来源】本文作者：唐霜，转载请注明出处。有优劣。
转载请注明出处：www.tangshua未经授权，禁止复制转载。本文作者：唐霜，转载请注明出处。ng.net【转载请注明来源】结语
本文从原理层面，阐述了在AI视频制作中，【未经授权禁止转载】未经授权，禁止复制转载。如何实现人物口型同步的能力，以及在过程中本文作者：唐霜，转载请注明出处。未经授权，禁止复制转载。可能存在的细节问题。不同的AI视频制作工【原创内容，转载请注明出处】【转载请注明来源】具，它们各自在不同的功能点上各有不同，并【本文首发于唐霜的博客】【版权所有】唐霜 www.tangshuang.net没有绝对的优劣。本文的方案，不仅灵活通用本文版权归作者所有，未经授权不得转载。未经授权，禁止复制转载。，而且成本也比较低。如果你在实践过程中遇【未经授权禁止转载】【原创不易，请尊重版权】到问题，可以在下方留言，一起讨论。
未经授权，禁止复制转载。【本文受版权保护】2025-07-03 2852
