什么呀？语音识别现在也要调监控啦🧐？

合集 · 通义前哨站 (71)

Description

家人们！你们有没有过这种崩溃瞬间：线上会议的录音听起来像一锅粥，转录软件完全分不清谁在说哪句话！
🤯传统的说话人日志（Speaker Diarization）系统仅依赖于声音信息，就像一个只靠耳朵的侦探，一旦环境嘈杂、有人插嘴或者声音很像，它就彻底“失聪”了 。
✨ 通义实验室首创三栖框架，把音频、视频、文本 三种信息全部协同起来，更准更稳地解决“谁在什么时候说了什么”这个难题 。
框架的核心过程是这样的：
音频侦探 👮：主力担当，负责从声音中提取每个语音片段的“声纹”特征。
视频侦探 🕵️：视觉辅助，通过追踪人脸和口型变化，判断谁是当前的活跃发言人 。
文本侦探 👩‍💻：逻辑大师，分析对话内容，通过语义判断精准判断哪里发生了说话人转换 。
最妙的是，视频和文本侦探会把线索整理成 “成对约束” 的小纸条 。比如，“这两个片段中说话的肯定是同一个人”（Must-Link），或者“这两个片段说话人不是一个人”（Cannot-Link） 。这些“铁证”会交给音频侦探，帮它完成最终的精准判断！
📈 实战数据，秀翻全场！
我们的方法在多个公开数据集上都取得了SOTA（顶尖水平）的表现！
AVA-AVD 视频数据集：在只有音频和视频的情况下，diarization错误率（DER）低至 20.32%，优于多个主流的音视频模型 。
Alimeeting 中文会议数据集：在处理声学环境负责、overlap更多的会议case时，我们的模型表现更出色，diarization错误率（DER）相对降低了 17.4%，展现了超强的鲁棒性 ！
除此之外，在我们自建真实场景数据集：集齐音、视、文三种信息后，我们的方法将 diarization错误率（DER）相对降低了 3.8%，整体带说话人ID词错误率（CpWER）相对降低了 4.0% 。
📚 论文地址：https://arxiv.org/abs/2408.12102