一、项目基本情况
项目名称：基于LBP和HOG特征的静态手势识别人机交互系统
项目类型：参加2018“华资杯”广东省大学生计算机作品比赛暨泛珠三角+大学生计算机作品赛广东赛区选拔赛（本科组），获一等奖。
项目负责人：巫建辉-2016级-计算机科学与技术
指导老师：杨永平
二、作品展示图及功能概述
1. 作品全貌展示图
2. 项目实用价值：
科技引导新生活，人机交互越过屏幕触摸向非接触式的手势识别的方向大 踏步的发展，极富图像化和具备行动性的手势操作将会越来越与人们的生活相 关。手势是一种自然、直观、易于学习的人机交互手段。以人手直接作为计算 机的输入设备,人机间的通讯将不再需要中间的媒体,用户可以简单地定义一种 适当的手势来对周围的机器进行控制。基于视觉的手势识别是实现新一代人机交互的关键技术。
3. 项目功能简介及截图：
项目功能简
(1) 本作品从手势分割及手势识别两方面着手，提出了一种单目视觉下的手势识别方法。其基于 OpenCV，对摄像头实时采集的视频流进行手势检测。
(2) 通过实验，本方法对于复杂背景有很好的鲁棒性，在无逆光、强光的极端光照条件下识别率较高，识别速度能达到 5-8 帧/秒，基本满足实时性的要求。
(3) 根据以上成果，设计出了一个手势控制软件打开的交互系统，该系统能识别 0-9 十个手势。
作品开发及运行环境
开发语言：C++
开发工具：Visual Studio / Qt Creator
运行环境：带摄像头的 Window 平台计算机设备
作品的主要特色
在复杂的背景下，由于背景中存在类肤色区域，所以通过 RGB 阈值法提取 肤色区域并不理想。本作品通过将运动信息与肤色模型相结合的方法，去除与肤色相近的背景区域，实现了 YCbCr 色彩空间中手势图像的分割。传统的基于形态学上的手势分割无法准确的去除人脸的影响，本算法在此基础上利用 LBP 特征和级联分类器对图像区域进行初步识别去除人脸影响。最后对手势区域使用 SVM 分类器结合手指个数进行识别。
三、项目开发实践收获：
本项目在实时性方面还有改进的空间，可以考虑结合kinect等携带深度信息的双目视觉机器，以及对数据集进行改进，提高识别的准确率。
