音频转MIDI的核心挑战在于把连续的声波信号抽象为离散的音符信息，这一步骤往往被称作音高与时值的“逆向建模”。在实际实现中，系统先对原始波形做短时傅里叶变换（STFT）或常数 Q 变换（CQT），得到频谱图；随后通过峰值追踪与谐波模型匹配，估算每个时帧的基频（F0）和其对应的倍频结构。若只处理单音轨，以上流程已经足够；但面对吉他和钢琴等复音乐器，必须在频谱中分离出多条谐波列，这正是多音轨分离技术的入口。
多音轨分离技术的关键点
常见的做法是先做谱图的非负矩阵分解（NMF），把混合信号拆解为若干基谱和激活函数；每个基谱对应一种潜在的音高序列。近年来，卷积神经网络（CNN）与自注意力（Transformer）模型被引入，能够在时频域捕捉更细致的局部相关性。例如，某开源项目在公开数据集上实现了 92% 的音符召回率，远超传统 NMF 的 78%。值得注意的是，分离过程并非一次性完成，而是采用迭代优化：先粗略定位音高轮廓，再在局部窗口内细化振幅与起止点，最终得到每条声部的完整 MIDI 轨。
算法加速与优化策略
- 利用 GPU 加速 FFT 与卷积运算，单帧处理时延可降至 3 ms 左右。
- 模型量化（int8）配合张量RT推理，引入近 30% 的功耗节省，同时保持 0.5 dB 的信噪比损失。
- 动态帧长自适应：在高密度音符段采用 512 点窗口，低密度段切换到 1024 点，兼顾频率分辨率与计算负担。
- 后处理阶段加入贝尔曼最短路径搜索，纠正因噪声导致的音高跳变，提升整体音高准确率 1.2%。
把这些技术组合起来，音乐制作人只需要把一段现场录音拖进插件，几秒钟后便能得到可编辑的 MIDI 轨道——原本需要手工标记、切片的工作，如今只剩下咖啡杯的余温。至于未来，或许会有实时流式转写的方案出现，让即兴演奏直接映射到 DAW 的键盘上。
评论(8)
咖啡杯余温这个比喻挺有意思😂
CPU跑得动吗？还是必须上显卡？
实时转写要是真能做出来就厉害了🤔
GPU加速后延迟挺低的
确实，性能提升明显
92%的准确率够用吗？感觉还是容易出错
之前用过一个转换软件，和弦总识别错
这玩意儿能识别吉他扫弦吗？