仿人机器人的视觉跟踪交互设计范文

本站小编为你精心准备了仿人机器人的视觉跟踪交互设计参考范文，愿这些范文能点燃您思维的火花，激发您的写作灵感。欢迎深入阅读并收藏。

基于视觉的人机交互技术是机器人应用领域的一个研究热点。近年来，基于视觉的交互技术发展迅速，与其他交互方式相比，基于视觉的交互弹性较大，既可用于较大范围的交互也可用于较小范围的交互；使用方便，不需要高昂的设备，只需一些普通的摄像设备即可，对交互的语言，形态等限制也相对较少。视觉是机器人系统的一个关键技术，它赋予机器人一种高级感知功能，为机器人系统提供目标物体的实时图像信息和空间位姿信息，使得机器人系统能以智能和灵活的方式对其周围环境做出反应，提高机器人系统操作的可靠性和安全性。当人借助视觉交互工具主动参与和控制机器人行为时，机器人系统比无人时运行更为有效，具有更强的容错性。视觉系统可将机器人所处的状态、环境以及工作阶段直观地反馈给操作员，以便操作员在动态任务下进行更好的控制，完成动态任务。对于机器人视觉交互的研究而言，早期的研究主要集中在利用鼠标进行界面的交互、虚拟交互上[14]，而对基于信息的视觉跟踪交互研究目前尚处于起步阶段。虽然前人已进行了很多机器人视觉交互的研究，但由于环境复杂、任务动态、信息量大等问题也给机器人视觉交互的研究提出了新的要求与挑战。因此，研究实时、可靠、精确的机器人视觉交互选择是非常必要的。TLD算法是Dr.ZdenekKalal[5_8]在2007年到2010年间提出来并不断完善的，其将跟踪、学习和检测融合在一起，相互作用。在跟踪目标的同时，学习目标的特征，并通过检测器实时检验特征的正确性，进行反馈验证’减小误差。本算法适合长时间跟踪，可以克服目标遮挡和丢失的问题，具有实时性和精确性。近年来受到了很多学者的广泛关注，并在不断地研究改进。根据TLD算法的特性，本文采用此方法对目标进行跟踪，根据跟踪结果定义控制语义，实现基于视觉跟踪的机器人交互。

1仿人机器人NAO平台简介

NA0是由AldebaranRobotics公司开发设计的仿人机器人。结合前沿技术以及专为NA0开发的编程环境，使用者可以根据自己的设计对NA0进行编程，赋予它听、说、看、感知等能力，实现机器人与人、机器人与机器人之间的交流。NA0能力出众、动作流畅、是仿人机器人中的佼佼者。NA0机器人身高58cm,重4.8kg;有25个自由度，配有惯性导航仪和闭环控制系统，具有撅握能力的双手；配有多种传感器，包括超声波传感器等；CMOS摄像头，同步动态随机存取存储器；CRJ为AMDGeode86500MHZ;无线网际网络和以太网端口，灵活的操作系统选择，可以在Linux、Windows等操作系统下编辑；可以进行声音合成、语音识别、视觉识别和探测障碍物等；开放式编程框架，用户可以根据自身专业水平选择适合自己的高级编程语言，如C++,MATLAB等。NAO有广泛的应用，可将其应用于多领域的研究平台、技术教育平台、科技竞赛平台、家庭服务、展览展示等。本文主要在展览展示背景下，以NAO为应用平台，使用NAO的摄像机，进行复杂背景下视频的实时采集，将视觉跟踪技术应用于NAO机器人，以自然的方式完成人机交互展示。

2基于目标跟踪的交互信息识别方法

为建立完整的复杂背景下的机器人交互平台，在视觉跟踪算法的基础上，本文提出了一种控制NAO运动的跟踪理解算法，这种算法简单而高效地将跟踪算法获得的对象运动轨迹匹配为不同的语义，采用两种交互形式，一种是自动检测视频中的运动物体进行跟踪，另一种是手动选择感兴趣的物体进行跟踪。这样做既丰富了交互形式，也使得NAO面向具体动态交互任务具有较好的处理能力。在具体的实现中，当确定跟踪目标之后，该算法首先确定目标往哪个方向走，由于跟踪目标过程中采用最小矩形的形式，所以先获得最小矩形的中心作为目标移动的中心点，根据中心点的坐标，确定目标移动的方向。设移动前中心点的坐标为（心九），移动后目标中心点的坐标为（4,凡），根据坐标关系，当目标上下运动时，横坐标的变化是0,当目标左右运动时，纵坐标的变化为0,但是由于目标在移动过程中，不一定严格按照直线运动，会存在一定的误差，所以根据多次实验结果。但是这样定义也存在问题，因为不一定按照直线运动，除了横纵坐标分别变化以外，还可能出现横纵坐标同时变化的情况，目标是沿着倾斜的方向运动的，那么这样定义就无法对目标的运动进行正确的理解，所以还要调整理解算法，使其更加精确。在上面讨论的基础上，本文引人文献[9]中的目标矢量。首先将整个摄像画面分为9个区域，如图1所示。其中5区域作为目标中心点区域，其余的分别代表不同的运动方向。当跟踪的目标从5区域转移到其他对应的区域时，则表示相应的动作，由于区域的范围较大，所以可以有效防止相机或目标抖动引起错误的理解。NA0机器人完成一个动作需要特定的时间，所以当其接到向某一方向的运动命令之后，完成每个动作都应留有足够的时间。在做动作期间，目标的运动是不起作用的，当前运动结束后，才会继续检测运动目标的中心，这样做不会出现混乱的情况。使用这种机制，利用目标的跟踪就可以发出动作控制的命令。具体的人机交互系统的控制语义定义如图2所示。仿人机器人NAO有很多动作，控制也较为灵活，本文只是进行了简单的实验，用于验证基于跟踪交互的准确性和实时性，实现自然的人机交互，实际应用过程中可以根据实际的需要更改NAO的动作，实现动态任务完成交互。

3系统设计与实现

本系统以仿人机器人NAO为实验平台，实验计算机为CPUE5500@2.80GHz，2GB内存，将C++、OpenCV和Matlab程序在MatlabR2009a环境下运行，进行交叉编译完成程序运行。使用仿人机器人NAOv4.0版本的摄像头获取视频图像，作为实验资源，摄像头的型号为MT9M114,本文中使用的图像是RGB格式，分辨率为320x240,帧率为30帧/s。控制对象为仿人机器人NA0,无线网络实现NA0机器人与PC机相连，通过PC机发出相关指令，实现对NAO机器人的动作控制。人机交互系统的硬件设备框图如图3所示。交互者根据任务，选择交互方式，如果是自然交互，那么背景中只有一个运动目标，系统自动跟踪进行交互；如果手动选择感兴趣目标，就在PC机界面上选择自己感兴趣的目标，后续的跟踪和动作控制可以由系统自动实现。因此，根据目标运动轨迹的不同，通过跟踪理解算法，转化为不同的控制命令，通过无线网络传输到NAO机器人中，实现了复杂背景下的视觉跟踪交互。系统的软件实现框图如图4所示。

4实果与分析

为了验证本文机器人交互系统的有效性，本节对该系统进行了一系列的实验，实验结果如图5所示。从图5、图6中可以看出，该交互系统可以对于目标的上下左右运动、目标窗口尺寸大小变化的情况实现较好的跟踪，没有时间延迟，跟踪精确，这样的跟踪能力说明目标分割精确，跟踪算法实时性好，精度高。左右运动跟踪过程比较复杂，目标在运动的过程中窗口尺寸也在发生变化，所以，对区域划分，设定一定运动范围的跟踪理解算法对于交互正确进行非常有效，从而实现了复杂背景下基于视觉跟踪的自然人机交互系统。

5结论

本文建立了一个面向仿人机器人NAO的机器人机交互平台，并将视觉跟踪算法应用于该平台。基于TLD跟踪方法，建立一个复杂背景下目标跟踪的机器人交互平台，这个平台将目标移动转化为相应的控制命令，控制NAO机器人的运动。实验证明，此交互平台可以实时、有效、稳定、精确地跟踪和理解目标的运动，可根据跟踪结果完成交互任务。

作者：张丹 陈兴文 趁姝颖 单位：大连民族大学创新教育中心 东北大学信息科学与工程学院