歌声合成阶段性研究成果：开发中新参数「口型」效果演示【数据征集中】

Description

为了在追求歌声合成上限的道路上更进一步，来自OpenVPI团队和DiffSinger开源社区的各位开发者们通力协作，启动了一项致力于实现「口型」参数的研究计划。
考虑到去中心化的声库制作生态和成本控制的现实需求，研究小组决定发挥社区协作优势，采取一套数据驱动的工作流：基于广大社区成员使用iPhone/iPad采集的口型数据集，训练能够从纯音频输入中估计口型开合度的通用模型，并将此模型集成至DiffSinger训练架构中，实现口型参数的预测与控制功能。
目前，研究计划已取得初步进展。如视频中演示，全新的口型参数可有效控制演唱时的开口大小，为调音带来更多可能性。

需注意的是，视频中演示的声库由口型数据集的其中一位提供者录制，但声库所使用的训练数据在录制时均未采集配套的口型信息。除此以外，该声库仅开启口型参数，最大程度避免其他唱法参数对实验效果的干扰。
在口型参数实装前，研究小组仍需通过收集大量口型数据提升估计模型的泛化性能，并对口型参数与其他唱法参数的耦合情况进行更细致的分析。欢迎持有符合要求设备的热心人士踊跃参与口型采集，这对我们的后续研究至关重要。关于口型参数的研究进展也将持续发布，敬请保持关注。

数据征集公告：https://www.bilibili.com/opus/1033703589130797079
App Store 上的“LipsSync”：https://apps.apple.com/app/lipssync/id6741468962
LipsSync 源码仓库：https://github.com/KCKT0112/LipsSync
口型采集反馈群：2162034182
DiffSinger导航页：diffsinger.com
DiffSinger歌声合成交流群：907879266

演示声库：挚彬
演示曲目：明月天涯（原唱：五音JW，MIDI：皮皮的柯柯）
视频制作：赤松_Akamatsu

研发与实验人员
YQ之神、粉笔、Kakaru、吃土

特别鸣谢
灵感来源：Kanru Hua（Synthesizer V Studio 2 Pro）
Apple开发者账号提供：茂森白咲
口型数据贡献者（截至此视频发布时）：赤松_Akamatsu、雲间来客、alikia2x、锟斤拷P、喵鬼情未了