Description
自高音质合成模型发布以来,DiffSinger社区迎来了令人振奋的两项重要技术进展:
借助高度自动化的标注流程,制作者仅需标注歌词拼音即可完成标准化数据集的构建;
专门设计的MIDI-less模式提升了音高操控性能,并使得可使用的训练数据范围由歌声数据扩展至语音数据。
视频中展示的模型在总长度为6.72小时、自动化标注的单人男声数据集上使用单张V100显卡训练260k步,推理时未开启加速采样算法。在调音过程中实测开启50~100倍加速采样未见明显音质劣化,CPU亦可无压力实时合成。
相关流程代码已全部开源,即日起任何人都能以十分低廉的成本制作属于自己的DiffSinger声库。
项目开源地址(由我们fork并维护的版本):https://github.com/openvpi/DiffSinger
自制声库教程:https://www.yuque.com/openvpi/tutorial
DiffSinger歌声合成交流群:907879266
挚彬Club交流群(声库内测):1140893459
作曲:塔库
作词:冉语优
编曲:向往
原唱:三无Marblue
引擎:DiffSinger
数据集提供:挚彬Club
声库制作:YQ之神
研发改进/实验指导:yxlllc
训练:九尾玄狐
演唱:挚彬·时羽
调音:赤松_Akamatsu YQ之神
混音:赤松_Akamatsu
可视化:飞弦p
视频制作:赤松_Akamatsu
Comments
又是振奋人心的进展,可以低成本自制 DiffSinger 声库啦[打call][打call][打call]
♥ 43
DiffSinger 前途无量[2233娘_第一] 相信在工具链逐步完善后能造福更多对歌声合成有需求的人
♥ 32
全曲听下来最大的感受:好稳。 期待以后有新的参数的加入,前途是光明的[脱单doge][脱单doge][脱单doge]
♥ 32 ↩ 1
听完感觉部分地方辅音咬字不清的问题比较多。
♥ 30 ↩ 8
太棒了,太好听啦!DiffSinger好厉害,挚彬好厉害!![大哭][大哭][大哭]
♥ 11
想知道现在的操作界面是咋样的[doge][打call]
♥ 10 ↩ 8
效果太好啦[打call]
♥ 10
赛博刘欢可谓是
♥ 7
唱半天都不带换气的。
♥ 3
电脑小白 可是真的好想让ai用自己的声音唱首歌听听啊
♥ 3
好牛[打call][打call][打call]
♥ 2
来见证历史
♥ 2
好耶!
♥ 2
[打call]好耶,效果已经非常不错了[打call]
♥ 2
[打call][打call][打call][打call]
♥ 2
tql!!
♥ 2
哥,教程链接挂了
♥ 1
大佬牛批,期待做出更简单更接近大众逻辑的成品[doge]
♥ 1
好耶,来了
♥ 1