Description
经过持续收集数据与改进模型,音频口型提取器已在泛化性能方面取得突破,此视频将展示「口型」参数在未采集任何面部数据的声库上的控制效果。为方便观众对照,实际口型曲线与频谱图一并展示。
视频中展示的声库“君凝华”由未包含任何面部采集数据的数据集训练而成,所有口型曲线与控制效果均使用口型提取器从音频中提取、DiffSinger唱法和声学模型学习得到。
经过综合评估,部分单独开启口型参数的声库已达到基本可用标准,将在近期开启公开测试,详情请留意相关通知。欢迎广大创作者在不同的声库上感受口型参数当前的控制效果,并向我们传达宝贵的反馈意见。
演示声库:君凝华
演示曲目:如果有来生(原唱:谭维维)
视频制作:赤松_Akamatsu
数据征集公告:https://www.bilibili.com/opus/1033703589130797079
App Store 上的“LipsSync”:https://apps.apple.com/app/lipssync/id6741468962
LipsSync 源码仓库:https://github.com/KCKT0112/LipsSync
口型采集反馈群:2162034182
DiffSinger导航页:diffsinger.com
DiffSinger歌声合成交流群:907879266
截至视频发布时,收集到的口型采集数据(不包括同期录音)已达10小时。
感谢以下贡献者:赤松_Akamatsu、雲间来客、 孙飒、alikia2x、锟斤拷P、喵鬼情未了、 tigermeat、 白夜零BYL、 SakamiAnte、 依旧在星空下等你、 幽寂、 萱、 嗷天、 眠铃Neruno、 琉光蔷薇、枍安ecih
Comments
干翻Dreamtonics[呲牙][打call]
♥ 60
这不比sv2香太多了
♥ 37 ↩ 2
Hhhh递增的时候像从腾格尔变成了龚琳娜
♥ 24
歌声合成高能回,dreamtonics献给友商的一封情书
♥ 22
华侃如来看看
♥ 19
这不比sv2香太多了[星尘_给你星星]
♥ 16
感觉设备阻碍了很多人提交口型数据。。
♥ 14 ↩ 2
你能去救救还没买sv2前的我吗[大哭][大哭]
♥ 11
那么我花1000多买的xs算什么[惊讶]
♥ 10 ↩ 7
!!!真的效果好好哇![星尘_AWSL]那以后制作的声库如果要增加口型参数需要单独训练吗?🤔这个展示是“未采集任何面部数据的声库”那之后会有采集面部数据的声库嘛🤔 (不过我传的数据是没收到吗🥲还是有什么问题🥲大概有四十几分钟
♥ 9 ↩ 3
啥时候制作一个专属前端[吃瓜]
♥ 8
这比sv2香太多了[打call]
♥ 8
牛逼!(顺便问问说唱未来可以实现嘛[微笑])
♥ 8 ↩ 1
干翻梦土尼克斯,DiffSinger加油冲[doge]
♥ 7
这比sv2香太多了[打call][Akie秋绘_比心][Akie秋绘_绘熊]
♥ 7
来了!
♥ 5
简直是个宝藏,为啥没人 star
♥ 4
和元音的高度显然有关系
♥ 4
[打call][打call][打call]
♥ 4