谷歌开源「AI手势辨认」算法：凭一帧图像辨认21个3D点位

及时手形与举措跟踪方案，一向是手语辨认与手势节制体系中最为焦点的构成部门，同时在部门增进实际体验中也饰演着重要脚色。然而，现有技能每每由于遮挡可能缺乏比拟模式等题目的困扰，无法提供抱负的靠得住性。

面临这一实际挑衅，谷歌公司的科学家们研究出一种新的计较机视觉要领，用于实现手部感知。作为幕后推手，呆板进修技能为提供了强盛助力。按照先容，该方案可以或许在实机尝试中仅凭一帧图像辨认出一只手(可能多只手)上的21个3D点位。与今朝市面的手势辨认技能对比，谷歌的全新技能不必要依靠台式机来计较，只要在手机上就能举办及时追踪，而且还能同时追踪多只手，可辨认遮挡。

早在本年6月，谷歌就在2019计较机视觉与模式辨认大会上发布了此项技能的预览版本。2月之后，谷歌于美国时刻8月20日正式公布将该技能集成于引入MediaPipe傍边。MediaPipe是一套开源跨平台框架，用于构建多模应用呆板进修流水线，可以处理赏罚差异模态(譬喻视频与音频)中的感知数据。该项目标源代码以及端到端行使场景今朝都已经在GitHub上全面果真。

研究工程师Valentin Bazarevsky和Fan Zhang在博文他们的傍边写道：“感知手部外形与行为姿态的手段，有望成为改进种种技能示意及平台用户体验的重要助力。我们但愿将这种手部感知成果交付至更为普及的研究与开拓社区处，操作各人的力气配合促进创新用例的呈现，刺激新的应用方法并开辟出亘古未有的研究途径。”

据相识，谷歌的这一技能包括三套串联事变的AI模子：一个手掌探测模子(BlazePalm)用于说明框体并返回击部举措边框;一个手部标志模子(Landmark)，用于查察由手掌探测器界说的裁剪后图像地区，并返回3D位点;一个手势辨认模子，用于将之前计较得出的位点归类为一组手势。

BlazePalm：手部辨认毫不像听起来那么简朴。GlazePalm必需可以或许办理手部遮挡这一实际困难。为此，谷歌团队实习出一款手掌探测器BlazePalm——留意，是手掌而不是手部。他们以为，对拳头这类物体举办界线框描画，在难度上要比跟踪手指低得多。详细地，BlazePalm可以辨认多种差异手掌巨细，具备较大的缩放范畴，还能辨认手部遮挡，能通过辨认手臂、躯干或小我私人特性等信息精确定位手部。除此之外，这种方法尚有另一大上风，就是可以或许很好地兼容握手等非凡场景，操作忽略其余宽高比前提的方形边框模仿手掌，从而将所需的3D点数缩减至以往的三分之一到五分之一。据统计，颠末实习之后，BlazePalm辨认手掌的精确率可以到达95.7%。

Landmark：在手掌检测之后，手部标志模子开始经受，认真在检测到的手部地区之内成立21个由手到肘的3D定位坐标。在实习傍边，模子要求研究职员手动注释多达3万份真实场景下的图像，并驻足多种配景对响应坐标举办渲染和映射，最终建设出高质量的合成手部模子。据统计，在颠末实习后，算法的均匀回归偏差可低落到13.4%。

手势辨认模子：流水线上的最后一步是手势辨认，该模子操作枢纽旋转角度来确定每根手指的状态(如弯曲或伸直)，并将手指状态荟萃与预界说的势铀爻射起来，进而猜测基本的静态手势。Bazarevsky和Zhang先容称，该模子可以或许辨认来自多种文化(譬喻美国、欧洲与中国)的算数手势，以及握拳、“OK”、“摇滚”、“蜘蛛侠”等常见手势。

除此之外，这些模子也可以执行对应的单独使命，譬喻操作显卡举办图像裁剪与渲染，从而节省计较资源;而且，手掌探测模子只有在须要时才运行——由于在大大都时段内，后续视频帧内的手部位置只凭计较出的手部要害点即可推理得出，不再必要手掌探测器的参加。也就是说，只有当推理置信度低于某个阈值时，手部检测模子才会从头参与。

瞻望将来，Bazarevsky、Zhang及其团队还打算成立更强盛且、更不变的跟踪扩展技能，同时增进可以或许靠得住检测出的手势数目，并思量支持即时动态手势辨认。他们总结道：“我们信托，这项技能的宣布将为研究及开拓者社区带来助力，辅佐他们发明更多新的创意与应用偏向。”

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!