在音频处理的实验室里，研究者们常常把一段嘈杂的录音当作“谜题”，而深度学习的模型则像是拥有多层放大镜的侦探，逐层剥离噪声、乐器和人声。过去几年里，这场“侦探游戏”出现了几条值得关注的走向。
端到端声学模型的崛起
传统的音频分离往往依赖手工设计的滤波器或时频掩码，步骤繁琐且对采样率敏感。自从2021年出现的Conv-TasNet和其后继的Demucs v3，直接把原始波形喂进卷积网络，一举把分离误差压到了4.2 dB以下。更有意思的是，这类模型在单卡GPU上即可完成全频段的实时处理，意味着普通创作者只需一杯咖啡的时间，就能把现场演奏拆解成多轨素材。
自监督预训练的突破
音频数据的标注成本高企，促使研究者借鉴自然语言处理的自监督思路。2022 年发布的Wav2Vec 2.0 通过在海量未标注音频上学习掩码预测，随后在少量标注样本上微调，就能实现与全监督模型相当的噪声抑制效果。最新的SEW‑D（Sliced‑Encoder‑Waveform‑Distillation）在公开的DNS‑2023基准上刷新了0.58 dB的SI‑SDR提升，直接把“先有模型后有标签”的循环打了个漂亮的结。
跨模态融合与实时应用
音频不再是孤立的信号流。近年来，视觉‑音频对齐的Transformer结构让视频配乐自动生成变得可行。比如Meta在2023年公布的AudioLDM，能够把文字描述转化为5秒的环境音，误差低于人耳辨识阈值。与此同时，边缘计算芯片的算力提升，使得这些模型能够在智能耳机上本地运行，实时降噪、语音增强甚至“现场混音”。想象一下，跑步时耳机自动把路边的汽车声抑制到只剩背景音乐的水平，是不是比早年的降噪耳机更像科幻？
- 从频谱掩码到全波形端到端模型，误差下降约30 %。
- 自监督预训练让标注需求降低80 %，加速新场景落地。
- 跨模态生成把音频创作从“后期”搬到“实时”。
如果把音频处理比作一次马拉松，那么深度学习已经把跑道从泥泞变成了光滑的合成材料；接下来会不会出现全息声场的即时渲染，甚至让每个人的手机都能成为个人化的音频工作站？答案或许正在下一个代码提交里。
评论(8)
听说AudioLDM能直接生成环境音，想试试配合跑步音乐，真有点科幻感。
自监督学习这波省了太多标注成本。
标注成本太高了
文字转环境音这功能有点意思
我也觉得挺有意思
我之前玩过Demucs，跑起来卡死，显卡不够用。
Conv‑TasNet到底要多大显存啊？
这模型真是省事儿，直接搞定混音 🙌