DSRX流程展示

Description
这是DSRX(视频内称DiffSinger-LoRA)的LoRA微调流程展示。

我们使用了openvpi的DiffSinger fork 2024年11月版本,对其代码进行了部分改进和功能添加,发布了由我们团队维护的DiffSinger repo——DSRX。

目前我们对DSRX添加了声学模型的LoRA微调功能,并进行了部分测试。目前实验显示,预处理和训练,以及导出ONNX并应用在OpenUTAU中,与目前DiffSinger(openvpi fork ver.)流程一致,可以兼容目前的pipeline。
**注意**:我们由于会在未来加入一些其他优化或者不同于openvpi团队实现的新功能,因此不保证未来会与openvpi ver.保持一致。

我们创建DSRX repo的愿景是,尽可能把调教工作通过现有的优化和新功能添加交还给调教师,而非学术界。让调教师训练声库更简单,成本更低,调歌更方便舒服。

目前代码仍然是不完美且存在bug的,欢迎提出PR或者issue,我们将尽快评估并改进。

其他信息:
代码编写和测试:旋转_turning_point,灵滅Out,红血球AE3803
视频内用到的数据集:Yutori Natsu(from Blue Archive),CV长绳麻理亚
数据集时长:1.5min
部分信息:
底模: 160k steps,网络大小512*20,主干结构wavenet,64 bs,中日双语(中文三段式音素+romaji),数据集训练时长约27h
训练: 8 rank,16 alpha,LoRA注入模块位于fs2
与diffusion,微调步数500 steps
《梦回还》有参工程:MIDI&调教:旋转_turning_point
视频后期:星空

Comments

嗷天 2025-09-24

是可以用少量素材就能训练模型吗?想试一下,请问有社群吗!想学习一下!

♥ 2 ↩ 4

推人兔 2025-09-14

简介没有看懂,不好意思,可能是我接触这个不太久,这个是直接输入唱歌声音就可以生成声库吗?

♥ 2 ↩ 1

ZeroBot_ATRI 2025-09-15

[亚托莉我挚爱的时光_好耶]

♥ 1

红血球AE3803 2025-09-14

[打call]

♥ 1

开心羊哈哈 2025-10-25

[保卫萝卜_哇][保卫萝卜_哇][保卫萝卜_哇]

账号已注销 2025-09-21

大人接有偿吗!