多层旋律分离是音频转MIDI技术的核心难题之一。即便在高分辨率的采样率下，音源的频谱仍会出现交叉干扰，导致同一时间段内的多个音符难以被准确辨认。实践中，研究人员常用信号分解模型（如非负矩阵分解NMF）尝试将混合信号拆解为若干基频矩阵，但当和弦结构包含七度以上的扩展音时，基矩阵的稀疏性急剧下降，误差率往往突破15%。
从时域到频域：两条平行的路径
如果把音频看作一条河流，时域分析相当于在河面上漂流观察波峰，而频域分析则是潜入水底捕捉涡流。很多算法倾向于只用一种视角，却忽视了两者的互补性。比如在一段钢琴即兴中，左手低音与右手高音的能量分布相差数十倍，仅靠短时傅里叶变换（STFT）会把低音淹没；而加入自适应时延滤波（ADTF）后，低频的相位信息得以恢复，分离效果提升约8%。
现实案例：现场录音的噪声困境
一次现场爵士乐演出录制，麦克风捕获了钢琴、低音提琴、鼓组以及观众的轻微呼吸声。使用市面上常见的单轨转MIDI工具，生成的MIDI文件中出现了大量“幽灵音符”，尤其在鼓点密集的段落，钢琴的余音被误判为高音符。经过手工标注后，研究团队发现噪声的功率谱集中在200‑400 Hz区间，恰好与低音提琴的基频重叠。引入基于深度学习的噪声抑制模型（CNN‑LSTM）后，误检率从23%降至4%，但仍有约1%的人声残留被误识为旋律。
- 频谱分辨率提升：采用2048点FFT，频率间隔约为21 Hz，可捕捉细微音高变化。
- 时频联合模型：结合CQT（常数Q变换）与短时自回归网络，兼顾低频稳态与高频瞬态。
- 后处理校正：利用音乐理论约束（如和声规则）剔除不符合调式的音符。
综观上述技术细节，真正的挑战不在于单纯的谱图分割，而是如何让算法在噪声、混响以及演奏者的即兴变化中保持鲁棒。每当一个新模型在实验室里取得突破，往往伴随着计算资源的指数级增长——一次完整的四音轨混合音频转MIDI，GPU显存需求可能从8 GB飙升至32 GB。对普通音乐制作人而言，这意味着要么接受精度的妥协，要么投入高昂的硬件成本。于是，业界开始探索轻量化的变压器结构，试图在保持准确率的同时，将模型压缩至可在移动端实时运行的规模。
评论(8)
GPU需求飙升这点挺要命的
硬件成本确实让人头疼
算法再厉害也敌不过现场即兴演奏啊
低频部分处理起来这么麻烦吗？
之前扒钢琴谱就遇到和弦分不清的问题
200-400Hz那个噪声案例太真实了
现场录音确实头疼
这技术用在扒谱应该很实用吧🤔