【DiffSinger】《我多想说再见啊》开源引擎高音质歌声合成效果展示
Parts
Description
作词/作曲/编曲: 柯立可 原唱: 星尘Inifinity 曲绘: catzz (https://www.pixiv.net/users/1056186) 无参工程来源:班超BanC 音高调音参考:Synthesizer V AI Mai 引擎: DiffSinger 数据集: opencpop 词典: YQ之神 研发改进/实验指导: yxlllc 训练: 九尾玄狐 调音: 飞弦p YQ之神 混音: 笛鹿FlutyDeer 可视化: 飞弦p 一个喜欢Vsinger的普通人 视频制作: YQ之神 项目开源地址(由我们fork并维护的版本):https://github.com/openvpi/DiffSinger 社区声码器企划:https://github.com/openvpi/vocoders 声码器主观评分测试:https://www.wjx.cn/vm/Y4hDukA.aspx#
Comments
因为经历特殊,一直以来很期待歌声合成,8月份听到diffsinger的demo就立刻加了群。由于暑假时玩过Python,在群里偶尔也能说说话。 三个月来也学到了很多,8月也为训练声码器提交过自己的声音但没通过,中途学过wpf(后来不了了之了)认识了什么叫前后端分离,为了看懂原理补过概率论等等。 这三个月令我印象深刻的是diff-svc刚出时,效果比sovits好太多,给了我很大的希望。我记得非常清楚11月7号晚上44.1kHz的hifiGAN声码器测试时,由于根本听不出gt和合成的区别,很多人竟然为是自己的声学环境差导致的。由新声码器的极高性能引来了声码器降噪、补高频(16kHz以上)等操作,但抗混响能力依然差。后来16号发现由高质量音频训练的svc具有极强的抗噪性,经过svc后混响啥噪音的全没了,于是可以用高频替换的方法以轻微的音色偏移去除我做人声提取6个月以来都没法去掉的高频噪音(codexq佬准备做个这种工具),当的简直惊呆了,整个中午在宿舍转了很多圈甚至差点忘了下午的课[doge]。但是它还是有局限的,因此我一直想找出一个新的人声提取方案来拯救许多处境和我类似的人。Mos测试是我参加最多的了,但也帮过倒忙,比如今天差点就变成了甲级战犯[doge][doge]。 这几个月的遗憾是没有进过炼丹群,去体验他们的奉献热情和坚定信念。 这三个月真的经历了好多,在此感谢YQ之神, yxlllc,少杰,深夜诗人,小狼,九尾玄孤和这段时间一起度过的人。 不得不说这个demo的可视化做的非常好,我也知道为什么我发了我做的可视化之后没人鸟我了[笑哭]。但这个视频最好的却不是前面,最后那段,左侧看着高斯噪音经一步步扩散变为清晰的歌声,同时右侧的参与人员缓缓出现,准确的体现出视频中的那句歌词:″小的温暖也能被放大″
♥ 594 ↩ 8
大家好~! 正如视频中所说,DiffSinger社区声码器企划已经正式启动,可以在这里查看最新的动态:https://openvpi.github.io/vocoders/ 本次技术演示曲所使用的声码器权重即日起面向开源项目的开发者和学术研究者开放申请,详情请看上面的网址~ 同时,我们也为声码器企划组织了一次主观评分测试,测试结束后我们将挑选得分最高的声码器权重开放下载。点击视频简介里的链接就可以参与啦! 欢迎加入DiffSinger歌声合成交流群:907879266(QQ群)
♥ 483 ↩ 9
画师和演唱,这两个原本被认为是最难被取代的创造性职业居然最先感受到了危机[捂脸]
♥ 338 ↩ 39
从几个月前就在关注了,主要是按照opencpop自己切分出一套语料库成本太高,要是未来能方便的导入和格式化语料库自己做训练,那么VSinger将开启新时代。
♥ 173 ↩ 4
感觉好强,但想请教下外行普通人可以用来做什么呀
♥ 129 ↩ 9
希望diffsinger越来越好!
♥ 127 ↩ 9
sv人前来围观,开源引擎加油!
♥ 107
开源啊……想起了utau,n久没更新了,现在有新的开源免费软件很好,ace不太清楚,能免费录自己歌姬吗?目前看到的都是用ace的声音混合的功能搞出来的。sv不用说了,要钱,xs免费但是性能比较差,而且一些地方和utau还不一样(我也说不上来),萌新用的比较少。 现在就是祝福这个软件能搞好吧。一个开源且上线够高的编辑器是萌新的福音 utau我估计还能欣欣向荣的,毕竟一个是ai一个是拼接的,两个的特点和性能都不一样,utau上线高但是下限也低,一开始学的时候怀疑人生了
♥ 73 ↩ 5
好!希望开源越来越好!
♥ 70
还好,一开始听觉得惊艳,但是听多了就发现确实很机械,比如每个长音,除了尾部有一点起伏,过程中完全是一马平川,没有变化,但是人生会在这个过程中加入感情
♥ 63 ↩ 10
我趣!效果好好!!会开歌手入驻吗![奥比岛_击爪][奥比岛_击爪]
♥ 51 ↩ 8
做的好。希望所有的使用者使用合乎法律和社区道德的声源数据,并且合乎法律和社区道德地使用,创作更多作品。我们的社区最终会创造什么呢,我非常期待。
♥ 37
这是已经做出编辑器了?
♥ 26 ↩ 7
几个月前关注了,可惜自己不是相关专业,只是对这感兴趣,能看到不断的迭代成长,不断的进步,真是令人兴奋,什么时候能制作可视化操作的界面,我也会试一下
♥ 23 ↩ 2
什么时候能出来一个傻瓜化的工具
♥ 19 ↩ 6
咬字非常清楚,不需要字幕也能听清楚,太厉害了!这种制作是什么专业领域的?
♥ 18 ↩ 2
这有两本书《铁路破我大清龙脉》《拍照会摄走人的灵魂》,送给拒绝技术进步的人。 至于担心以后伦理社会问题的,我说我相信合成技术和鉴定技术以及相配套的管理是三者协调发展的。
♥ 15 ↩ 1
AIGC时代来临了,chatgpt和nova ai,聊天与绘画的都试过了,没想到唱歌的也来了,这边会开放api端口给大家使用吗,有个想法,将chatgpt作为前端使用,User咨询机器人比如歌曲,chatgpt创造歌曲,唱歌的api进行生成,随后绘图api根据歌词配图,是不是可行呢?
♥ 14 ↩ 5
这首歌是用了30人的训练数据,还是其中一人的?
♥ 14 ↩ 6