大学生毕业设计开题报告

课题名称 :基于嵌入式的智能手势识别器的设计

一、课题研究背景

1.国内外的研究现状

目前国内外实现的手语识别系统主要分为基于传感器的系统识别和基于图像处理的识别系统。利用传感器识别的系统就是利用空间加速度和角速度这两个参数来进行的，当信息量比较大时，能更方便的获取到数据；缺点是需要在手臂上装置大量装置在表达上带来了不便性。基于图像的视觉识别是用摄像机采集手势信息进行识别的技术。这种方式的优点是动作的识别更加自然，缺点是图像处理识别时容易受到环境的干扰。

手势识别领域的研究在国外要比国内早，国内最早开始研究手势手语的识别是哈工大团队提出了将多种手势识别算法融合的方法，这种方法在分类时特征和模型的参数都很少，但这种技术对手语手势的识别在那个年代取得了良好的识别效果，通过将神经网络和 hmm 算法相结合，使系统对简单静态手语的识别率达到百分之八十以上。随着技术的发展，人们将gmm模型运用到手语识别系统中，通过这种方法对手语识别得到的结果更好。____ 年，南开大学的李国峰等人研发了基于mems加速度传感器的简单输入系统，该系统也为自热的人机交互研究开启了新理念。____年华中师范大学团队开始了基于加速度传感器手语识别研究，对预设的八种手势进行识别，其识别率达到了85.3%.____年，清华研究团队利用semg信号去识别手臂和手指动作采用多电极阵列获取semg信号，虽然实用性不是很强，识别率不是很高，但是在该领域的探索研究，做出了大量的探索工作。____年，由于传感器的手势识别领域的快速发展，国内学者张欣和陈勋等人将传感器技术与生理信号相互结合，构建了手势识别系统的远程医疗系统，该系统研发为识别领域注入了新的血液，使得国内对相关领域的研究更加热衷起来。

2.课题研究的意义

根据世卫组织最近的一项报道表明，在全球有6亿多的残疾人，其中就聋哑人占残疾人口的10%.截止到____年末，中国残疾人的数量已经占到全国总人口数的百分之六，是世界上残疾人最多的国家。在这些残疾人当中，具有听力障碍的人占33%，人数大约为2780万，这些人中只有少部分人只有听力或语言障碍，而大多数人完全失去了与健康人类正常沟通的能力，手语则是它们唯一的交流方式。对于健康的人们来说，除一些专业人士外大部分人并不能理解手语的含义，那么将手语转换成声音和图像并被人们轻易理解就变得很有实用价值。这将清除它们与社会交流的障碍为它们融入到有声世界提供了很大的帮助。手势手语是将人体产生的动作赋予了特定的含义且高度的结构化后的集中体现。

它主要是由人的手势决定也会有一些面部表情进行辅助，因此我们要对手语进行识别，首先必须要弄清手势含义，目前很多对手语的识别是依靠计算机视频识别来实现的。自上世纪九十年代以来，计算机技术得到迅猛发展已经深入到生活的方方面面之中影响迅速扩大，而且在日常生活中多模态接口技术已经变得越来越普遍。虽然传统鼠标和键盘随着计算机技术飞速发展而变得越来越先进，但是由于人的需求也在发生着很大的变化，这些传统设备也逐渐凸显出了它们的局限性，在虚拟现实和人机交互上这种限制是有着明显的表现。人机交互中手势是输入和输出的非常重要的方式，所以手势识别是多模式接口技术的一个重要部分。

随着技术的不断革新，用户对传统计算机的要求已经不仅仅局限在便利性和人机交互的方面，导致传统设备在人机互动方面已经无法满足用户的需求。而手势识别就是解决高人工智能领域的局限性问题的，它作为多模式人机接口技术已成为当前计算机技术继续深入研究的方向，能使通信在人机交互界面技术上使用的更加自然和谐，手势识别最接近的就是手语识别，对它的研究涉及心理学、人工智能、计算机视觉等多领域的学科研究，而且作为日常生活中沟通的一种方式已开始受到大批专家和学者的关注，并在手势识别研究方向开始投入大量科研经费和精力，由于手势手臂本身较为复杂而且它的时间和空间差异使得手势识别已经成为一个具有挑战性的多学科交叉融合的研究课题。

二、课题研究内容

1.手势的表示

手势表示通常是利用手势模型和模型参数来表示的，所以在识别手势的时候首先要要对手势建模，识别是根据手势表示内容而选取手势特征量与模型匹配，由于环境文化和地区的不同会导致了手势的差异，可能会有使用不同的表达方式，所以手势通常是一个不太明确的概念，有时手势表达的含义在不同情景下承载的信息是不同的。比如不同地区表示暂停的时候是左手在上右手在下，而其它地方可能就是右手在上左手在下。

本文设计的关键是对手势的建模训练，尤其是对待识别的手势的确定。具体的应用决定了采用什么样的手势模式，只有建立准确的手势模型才能利用算法进行对识别到的手势做出正确反馈。通常手势建模和手势识别所使用到的方法是相异的，采集手势特征数据的方法也不一样。目前基于数据手套的特征捕获方法是比较常用的采集数据信息的方式，通过选择相应的识别算法实现手势的识别反馈。

2.常用手势识别算法分析

2.1人工神经网络算法

这种算法还具有抗干扰能力和容错性强识别速度快等优点，它能把预处理和识别的过程同时进行处理。在目前的识别领域中，运用的比较多的神经网络是误差反向传播神经网络（简称网络）。 bp 神经网络结构图算法是一种有监督式的学习算法，它由三部分构成输入层、中间层（也叫隐藏层）和输出层，其中的输入层和输出层的神经元节点是固定的数目，两层之间存在从输入层到输出层的前馈连接和输出层至输入层的反馈连接，只有隐藏层的神经元是可以自由定义的。

在人际交互识别领域中应用神经网络算法进行手势的识别时首先需要有自己的数据库系统，再对采集到的手势数据序列进行算法的训练，使用训练好的网络去识别输入的手势数据信息数据的含义即达到识别手势的目的，识别到后经由计算处理以实现人机交互的目的。神经网络的优点是抗干扰性和容错能力强，缺点是训练量比较大，扩充性不强对时序建模能力差，无法有效处理动作的速率带来的问题。

2.2动态时间规整

动态时间规整曾是语音识别的一种主流方式，它是一种将时间归整与距离测度结合起来的非线性正则化的技术，算法是建立一套科学的时间校准匹配路径将测试模式和参考模式建立起联系的算法。dtw的算法主要利用的动态编程技术（dynamic programming， dp）去实现，它的算法实现是将全局的优化分化成众多的局部最优化。所以在使用算法的时候需要将各局部最优化，已达到全部的最优化。

在dtw算法中由于容易实现和数据的训练简单等优点被用在语音识别中广泛应用，但在手势识别领域由于其运算量太大和较弱的抗噪能力，很难达到对手势识别的实时性的`要求。

2.3特征选择

手势识别本质上是对手势进行多分类任务，在实际的实验测试过程中，能够准确区分手部状态是进行手势识别任务的前提条件，且对后续的分类以及检测等任务的精准度至关重要。比如在进行图像识别过程中，对拍摄到的图像进行特征提取是判别手势的第一步，特征性质的优劣是后续进行图像信息处理的关键，对采集到的数据进行特征提取，提取过程中如果特征过于简单就会造成对图像信息的提取不全，导致最后的判别精确度较低的问题不能满足手势识别对人体手势识别高精确度的要求，而如果不考虑提取到的特征维度问题，容易造成数据维度灾难现象即产生大量的特征数据使计算机无法短时间进行处理，这样不能满足手势识别对于现场实时性的要求。

因为在三维空间中执行的手势是动态的，采集到的加速度和姿态角的数据也是实时变化的，所以对于手势识别的数据是由内嵌在手套中的两个六轴陀螺仪加速度传感器产生的，当手部移动时会产生加速度，角速度姿态角等实时数据信息，处理器通过对传感器识别的运动数据进行采集计算最终识别手势的动作。

三、实验结果测试与分析

1.实验手势

本章主要内容是根据前面内容进行试验，通过实验验证可穿戴智能手套翻译器能够使用改进型的识别算法提高手势的识别率和识别精度。

为验证嵌入式系统对手势手语识别的可行性，在进行试验时候从准备好的手势模型中各取四个进行手势识别试验。开始手势表达时要按箭头的方向做轨迹，同时要求一次性完成动作，不能在动作执行时有停顿，做完每一个手势都要停顿一定时间。

2.实验过程及数据统计

本文所采取的实验方法及过程如下：

首先，实验所用的手势模板是已经定义好了的手势集合，实验时从中选取定义好的手势集。

其次，从手势集合中选取部分手势进行算法识别，在这个过程中逐渐将训练样本数量由少到多增加，观察样本数量对识别率的影响。

最后，使用改进型算法对手势进行识别，同样将样本数量逐渐增多，观察样本数量对手势识别率的影响，将两种算法识别的结果进行对比，比较识别率。

整个识别的流程通常是由以下几步完成的：系统的初始化、检测动作的状态是否开始、记录数据集、检测动作是否结束，模型对比和识别结果。

识别动作时最重要的是准确判断手势的开始时刻，因为每一个手势动作通常可能会连续摆动来表达含义，所以在进行动作识别时需要采集传感器信息加速度的变化去判断是否为开始信号，过程是传感器采集到数据时判断是否开始，若是开始信号则开始转换数据进行对手势的识别，当传感器停止传输数据时则表动作结束同时语音播放。

根据实验结果可知手势识别率总体上是随着样本的训练次数增加有微量上升，因此再一次增加样本的训练次数进行实验对比，来确认训练的样本数对识别率的影响，分别选用经过次和次训练的手势，总体上手势的识别率是随着样本训练次数的增加而略有提升，不过达到一定程度之后识别率就基本保持了稳定。

四、研究步骤：

_年_月-_年_月，收集资料，建立模型

_年_月-_年_月，开发软件

_年_月-_年_月，教学试验，评价修改

_年_月-_年_月，扩大试验，归纳总结

五、参考文献

李强，张然，鲍国东，姜海燕。聋人大学生心理健康状况及相关因素分析[j].中国特殊教育，2026，02:69-72.

陆德阳。残疾人与近代中国残疾人事业的发展[j] .齐鲁学刊，____，06:55-58.

[3]王丹蕾，聂桂平。手语翻译设备的发展现状及未来趋势[j].设计，____，（19）：115-117.

[4]晶茹，刘丽娜。商务沟通中口译人员的跨文化意识培养[j].学周刊，____，01:217-219.

[5]贾建锋，潘梦佳，马可心。发达国家本科招生制度经验借鉴与启示--基于美国、英国和日本的多案例研究[j].重庆理工大学学报（社会科学），____，11:118-125.

[6]李金，宋阳，梁洪。语言残障患者医疗辅助系统设计[a].中国仪器仪表学会。第九届全国信息获取与处理学术会议论文集ⅱ[c].中国仪器仪表学会，____:4.

[7]孟繁玲。我国手语翻译专业教育的现状、问题及对策[j].中州大学学报，____，（03）：87-90.

[8]刘卓璇。国内聋人高校课堂手语翻译问题与对策[j].中州大学学报，____，（06）：61-63.

[9]贾建锋，潘梦佳，马可心。发达国家本科招生制度经验借鉴与启示--基于美国，英国和日本的多案例研究[j].重庆理工大学学报（社会科学），____，11:118-12.

[10]huang g，bai z，kasun l， et al.local receptive fields based e_tremelearning machine[j].ieee computational intelligence magazine，____，10（2）：18-29.

[11]王卫民，贺冬春。自然手语翻译器系统设计和实现[j].无线互联科技，____，（15）：41-42.