无需采集面部也可控制口型:歌声合成新参数泛化效果演示【试用开启】

Description
经过持续收集数据与改进模型,音频口型提取器已在泛化性能方面取得突破,此视频将展示「口型」参数在未采集任何面部数据的声库上的控制效果。为方便观众对照,实际口型曲线与频谱图一并展示。
视频中展示的声库“君凝华”由未包含任何面部采集数据的数据集训练而成,所有口型曲线与控制效果均使用口型提取器从音频中提取、DiffSinger唱法和声学模型学习得到。
经过综合评估,部分单独开启口型参数的声库已达到基本可用标准,将在近期开启公开测试,详情请留意相关通知。欢迎广大创作者在不同的声库上感受口型参数当前的控制效果,并向我们传达宝贵的反馈意见。

演示声库:君凝华
演示曲目:如果有来生(原唱:谭维维)
视频制作:赤松_Akamatsu

数据征集公告:https://www.bilibili.com/opus/1033703589130797079
App Store 上的“LipsSync”:https://apps.apple.com/app/lipssync/id6741468962
LipsSync 源码仓库:https://github.com/KCKT0112/LipsSync
口型采集反馈群:2162034182
DiffSinger导航页:diffsinger.com
DiffSinger歌声合成交流群:907879266

截至视频发布时,收集到的口型采集数据(不包括同期录音)已达10小时。
感谢以下贡献者:赤松_Akamatsu、雲间来客、 孙飒、alikia2x、锟斤拷P、喵鬼情未了、 tigermeat、 白夜零BYL、 SakamiAnte、 依旧在星空下等你、 幽寂、 萱、 嗷天、 眠铃Neruno、 琉光蔷薇、枍安ecih

Comments

KalonTonics 2025-03-28

干翻Dreamtonics[呲牙][打call]

♥ 60

依旧在星空下等你 2025-03-28

这不比sv2香太多了

♥ 37 ↩ 2

眠铃Neruno 2025-03-28

Hhhh递增的时候像从腾格尔变成了龚琳娜

♥ 24

其实实其其实 2025-03-29

歌声合成高能回,dreamtonics献给友商的一封情书

♥ 22

柳莺暗啼处 2025-03-28

华侃如来看看

♥ 19

John_Em 2025-03-28

这不比sv2香太多了[星尘_给你星星]

♥ 16

沙盒梦想 2025-04-06

感觉设备阻碍了很多人提交口型数据。。

♥ 14 ↩ 2

小铃冲刺 2025-03-28

你能去救救还没买sv2前的我吗[大哭][大哭]

♥ 11

账号已注销 2025-03-28

那么我花1000多买的xs算什么[惊讶]

♥ 10 ↩ 7

枍安 2025-03-28

!!!真的效果好好哇![星尘_AWSL]那以后制作的声库如果要增加口型参数需要单独训练吗?🤔这个展示是“未采集任何面部数据的声库”那之后会有采集面部数据的声库嘛🤔 (不过我传的数据是没收到吗🥲还是有什么问题🥲大概有四十几分钟

♥ 9 ↩ 3

冥尘宸的淚 2025-03-28

啥时候制作一个专属前端[吃瓜]

♥ 8

Sucial丶 2025-03-28

这比sv2香太多了[打call]

♥ 8

尼克上尉 2025-03-28

牛逼!(顺便问问说唱未来可以实现嘛[微笑])

♥ 8 ↩ 1

牢符_Muno 2025-04-01

干翻梦土尼克斯,DiffSinger加油冲[doge]

♥ 7

hidehide123 2025-03-28

这比sv2香太多了[打call][Akie秋绘_比心][Akie秋绘_绘熊]

♥ 7

一支粉笔w 2025-03-28

来了!

♥ 5

一目生 2025-07-19

简直是个宝藏,为啥没人 star

♥ 4

1593914054 2025-07-13

和元音的高度显然有关系

♥ 4

久嘉-Reon 2025-03-28

[打call][打call][打call]

♥ 4