音乐光学字符识别（Music OCR）是一种把纸质乐谱或图像转化为结构化数字乐谱的技术。与普通文字OCR不同，它必须同时辨认五线谱、谱号、音符时值、连线、装饰音等高度符号化的视觉要素。核心难点在于如何在保留音乐语义的同时，克服扫描噪声、手写抖动以及多声部交叉的复杂版面。
技术原理
典型的Music OCR流水线分为四个阶段。第一步是图像预处理：二值化、去噪、几何校正，常用Otsu阈值或自适应均值滤波。第二步是五线检测与去线，利用投影分析或Hough变换提取staff line的间距和倾斜角度；随后将线条剥离，以免干扰符号分割。第三步是符号分割，依据连通域或基于深度学习的Mask R‑CNN模型将音符头、符干、附点等独立出来。第四步是符号分类与语义重建，早期依赖模板匹配和特征向量（如Hu矩），而近年来卷积神经网络（CNN）和Transformer已经能够在MUSCIMA++、DeepScores等公开数据集上实现超过95%的准确率。最终输出常见的MusicXML或MIDI文件，供乐谱编辑器直接读取。
发展里程碑
- 1990 年代：基于规则的系统如SharpEye，主要靠手工构建符号库。
- 2002 年：Audiveris开源项目首次引入Staffline Removal算法，提升多声部识别率。
- 2014 年：PhotoScore推出OmniScore™双引擎，结合传统模式匹配与机器学习，实现手写乐谱的首次商业化识别。
- 2018 年：DeepScores数据集发布，推动基于CNN的符号分类突破90%上限。
- 2022 年起：Transformer‑based模型（如MusicTransformer OCR）开始在端到端音符序列生成上展示出接近人类标注的鲁棒性。
应用趋势与挑战
移动端扫描App已经把乐谱录入门槛降到指尖；云端服务让跨平台协同编辑成为可能；而在作曲辅助领域，AI生成的旋律可以直接映射回MusicXML，形成“写即听”的闭环。尽管如此，极端手写、古籍印刷的斑驳纸张仍是误差的主要来源；符号间的上下文关系（如切分音的延伸）也尚未被完全建模。可以预见，未来的Music OCR将更倚赖跨模态学习，融合音频回溯与视觉识别，真正实现“一键数字化”。
评论(8)
我之前用Audiveris转过一份手写谱，结果满屏错位，真是耗时又心累，期待Transformer能彻底解决这类跨声部连线误判的问题，尤其是连线被误判时让我抓狂。
手写谱子识别率现在能到多少？
我也想知道
想问下，MUSCIMA++里多声部的识别率大概在90%以上吗？
这玩意儿误差还在，老古籍真难搞。
听说DeepScores数据集挺吓人的😂
手写谱子太烂了，还得手动修。
这技术真酷，想试试手机扫描。