基于图像处理的虚拟钢琴键盘 摘要：基于图像处理的虚拟钢琴键盘是小型的虚拟键盘。该键盘采用激光投影技术，可以对使用者的打击动作进行记录，由于键盘是光投照所形成的虚拟键盘，不使用时会完全消失。使用者可以像操作普通电子琴一样弹奏。它可以在任意平面上投影出小型钢琴键盘。日常生活中，音乐爱好者可以随时随地利用虚拟钢琴键盘弹奏。虚拟钢琴键盘不仅仅面向会弹奏钢琴的人群，它简易的键盘和简化过后的音域设计更是让更多普通人群可以参与并体验。 关键词：图像处理；激光投影；虚拟键盘；便捷；红外激光 1 概述 基于计算机视觉的人机交互技术是目前计算机科学研究的热门领域之一，本项目拟以激光投影技术的虚拟钢琴键盘做为选题，探究基于微型投影及图像识别技术的虚拟钢琴键盘系统的设计方案。整个虚拟钢琴键盘系统是软件和硬件相结合的产物，而如何能够将软件和硬件良好的配合起来是其中的关键所在。 2 总体架构 本系统包含两个部分：硬件信号获取和软件数据处理，硬件部分由红外一字激光，键盘投射激光，广角摄像头，红外滤光片组成，软件部分由Visual Studio++6开发环境结合OpenCV视觉库编写和编译而成的上位机软件，整个系统是由软硬件协调完成。 示例图 如图所示在最下面的红外一字激光发射出红外线覆盖空间中的一个面，这个平面覆盖整个键盘的范围，在中间的键盘投射激光发出的是键盘形状的轮廓图形，主要用于位置的标定，在最上面的摄像头实时拍摄外界图形并且把数据传递给电脑，因为一字激光发出的光线是和水平面平行的所以没有物体遮挡时摄像头是不能检测到红外线信号的，但是如果有物体在红外一字激光区域中时遮挡物体表面就会覆盖有红外线摄像头就会检测到红外线信号，电脑获取到摄像头发送过来的信号后经过一定的算法处理之后得到红外线亮点在图片中的坐标，然后根据这个坐标使上位机发出相对应的音律。 3 硬件系统设计 3.1、红外一字激光 光源的选择拟采用红外线作为信号检测的光源，红外激光的功耗低、集成度效果好而且其发出光的频率几乎专一，为了考虑到人身安全状况故选择30mW的980nm红外激光，30mW的激光属于Ⅲ B类型激光，只要不直接在光束内观察就不会危险。由于钢琴键盘是一个平面，所以不能使用传统的单束激光和点状激光作为光源，只能选择一字形激光，通过合理调节投影键盘的位置，使一字激光完全覆盖到所有的键盘范围。 3.2、键盘投影激光 用于键盘坐标的标定、在桌面上投影出键盘形状和给用户在平面上一个键盘位置的确认，由于需要用户可观察到键盘的形状和位置，因此需要使用可见光波段激光用于键盘按键位置的标明。如果追求简洁轻便可以定制光栅片，但考虑到光栅片定制费用较高，可采用投影仪代替。 键盘图（范围限制采用14白键+10黑键） 3.3、广角摄像头 为了使整个硬件系统显得美观且大小合适，该系统对相机的选择有较高要求。 由于键盘的长度较长，则需要相机的采集范围够广，因此采用90度（此角度畸变较小）广角摄像头，这样才能压缩整个系统的大小。由于识别精度的需要和出于性价比的考虑，采用分辨率为640*480像素、帧速率30帧每秒的摄像头。 3.4、红外滤光片 镜头是整个图像采集系统中不可或缺的一部分，普通厂商生产的摄像头往往会只检测可见光但不允许红外光的进入，但本系统中需要检测的信号恰恰是红外光线，为降低除红外光线以外光线的干扰，所以要选择能够滤除可见光允许红外光进入的镜头，此时就需要对普通镜头进行处理，在镜头前加入红外滤光片。因为本系统中使用的是980nm的红外激光，所以拟使用选择了980nm的通透性滤光片，此滤光片可以滤除980nm以下的光线而对于980nm以上的光线则有很好的通透性。 4 软件设计 4.1、工作流程图 4.2、开发环境 本项目拟采用的软件开发环境是 Visual Studio++6.0，图像处理算法基于OpenCV。 4.3、程序的实现 使用Visual Studio ++通过OpenCV库对摄像头数据的读取，再通过一定的算法对手指指尖的位置进行定位，实现虚拟钢琴键盘的弹奏。 在本系统设计中感兴趣的只是亮光点和相关的颜色信号无关，所以需要把图片灰度化和二值化以方便后面算法的实现。一般来说，从摄像头采集到的图像会受到各种噪声的干扰，需要对灰度图像进行阈值操作得到二值图像同时取得噪声，可以在二值图后采用高斯滤波去噪，滤掉很小或者很大的图形点。得到去噪的图像后为了准确定位，需要将图像进行形态学，模糊化，边缘化处理，使指尖边缘显示更加平滑，之后再输入二值图，存储轮廓的向量，轮廓层次信息，检索所有轮廓并重建嵌套轮廓的完整层次结构，接下来要做的就是查找所有兴趣点的轮廓，找到兴趣点的轮廓和定位到对应兴趣点中心坐标，在图片中的位置后接下来的就是根据位置发出相应的音律，可以采用c++的beep函数，或者playsound、mciSendString等函数，如果采用系统默认播放器播放，也可使用system直接打开音频文件。 图片的前期处理代码示例 5 结束语 本项目研究基于微型投影及图像识别技术的虚拟键盘技术，运用软硬件相结合的系统，设计出一款便捷的钢琴键盘。借助于虚拟投影钢琴键盘这种人机交互模式，不再依靠复杂的硬件设备和特定的场景限制，使得用户能够拥有更加良好的体验。 作者简介：陶亚飞（2000-02-20），男，汉族，籍贯：安徽省合肥市，学历：本科。 本文来源：https://www.wddqw.com/doc/e058afd9091c59eef8c75fbfc77da26924c59661.html