五线谱乐谱图像识别与演奏.ppt

五线谱乐谱图像识别与演奏 2011 2011 年年 10 10 月月 26 26 日日北京交通大学 2017-4-10 主要内容?背景?基本乐理知识与算法原理?实现步骤?总结与展望 2017-4-10 背景?现代计算机科学与音乐艺术的结合产生了计算机音乐,人们对音乐的创作、演奏、传播从传统的手工作业方式一跃而为高科技方式。?目前,数字乐谱的录入工作主要由人手动完成, 输入工作量大、效率低。因此,不可避免地产生了低速的音乐信息输入与高速信息处理之间的矛盾。?目标: 计算机读懂五线谱并进行演奏 2017-4-10 背景?计算机光学乐谱识别( Optical Music Recognition , OMR )技术,利用图像处理、模式识别、文档图像分析等相关技术,把乐谱图像自动转化成通用的数字音乐格式。?应用范围: ?计算机音乐?计算机辅助音乐教学?数字音乐图书馆等等 2017-4-10 基本乐理知识与算法原理 2017-4-10 模板匹配算法 1 1 2 2 1 1 1 1 ( , ) ( , ) ( , ) ( , ) ( , ) M N ij m n M N M N ij ij m n m n S m n T m n R i j S m n T m n ? ?? ? ????? ???? ??????? ?? 2017-4-10 基于 FFT 的快速算法? 1)对模板和待测图像进行延拓? 2)对待测图像进行预处理,用二维 FFT 算法对其进行处理? 3)用二维 FFT 算法对模板进行处理,并取共轭? 4)将待测图像的变换矩阵与模板的变换矩阵相乘? 5)对结果做 IFFT 变换,并作归一化处理,得到相关系数矩阵 2017-4-10 流程图读取图像图像预处理谱线识别与删除乐谱分割模板匹配单行乐谱生成乐谱分段载入音频播放 2017-4-10 主要流程步骤?图像预处理 RGB 图像 grb2gray () 灰度图像设置合理阈值,灰度大于阈值的设为 255 ,小于阈值的二值图像设为 0 2017-4-10 主要流程步骤?图像预处理转化后的二值图像