十三 发自 凹非寺

量子位 报道 | 民众号 QbitAI

疫情之下，口罩识别有多灾，问问你的iPhone用户同伙就知道了。

在“刷脸时代”，戴口罩的人脸识别已然成为一个大问题。

传统的人脸识别算法，已经无法hold住这种大面积遮挡情形，主要难点有三：

一张口罩“封印”半张脸，直接丢失大量脸部特征；

短期内无法网络大量戴口罩人脸图像，算法训练难度大；

人脸识别系统包罗检测、跟踪、识别等多个模块，对它们都市造成影响。

好消息是，AI工程师们逢山开路遇水搭桥，现在――戴口罩人脸识别――这座桥，已经搭好了，而且已经开放了。

来自百度视觉算法团队，手艺方面自然也有保障。

不外，知其然最好还要知其所以然。云云模子，百度视觉算法团队是若何完成的呢？

接下来我们逐一解密。

戴口罩人脸识别之难：若何快准狠

“三座大山”怎么翻？

首先是第一个难题，丢失了大量脸部特征，若何举行检测。

在人脸识别的过程中，会提取面部大量的特征点，而这些特征点的漫衍并不都是平均的。

而且每个区域特征点所包罗的信息量(用于身份认证)差别，例如，眼部区域就相比其他位置包罗了更多的身份信息。

百度视觉就敏锐地考察到了这一点，找到了翻过这座大山的突破口。

他们通过接纳基于空间位置的注意力机制特征学习，让算法加倍关注对眼部区域的特征学习。

△基于空间位置的注意力机制特征学习

这样一来，就能将由于佩带口罩、帽子等遮挡，所带来的信息丢失降到最低，也就能充实获取戴口罩人脸的身份信息。

△特征可视化效果

算法有了，但数据不够用来训练，又该怎么办呢？

一个传统的设施，就是在现有的人脸图像上“贴”上口罩。

但这样处置后的实验效果并不显著，原因是在真实场景中，人脸姿态会有转变，而且差别场景采集的图像存在一定的差异性。

针对这个问题，百度视觉接纳了基于人脸要害点的3D图像融合手艺。

这样处置后，不仅解决了人脸姿态转变带来的口罩形变和遮挡问题，还生成了加倍自然、真实的照片。

△合成口罩图片

通过网络市面上种种颜色、巨细和样式的口罩图片，与之前积累的未佩带口罩人脸图片举行融合，快速合成了种种场景、海量真实的戴口罩训练照片。

最后一座大山，人脸识别系统各模块(环节)之间的问题。

百度视觉对此做了一系列的优化。例如：

检测算法方面，接纳了百度最新的PyramidBox-lite检测算法，并加入跨越10万张口罩人脸数据训练，在准确率稳定的情形下，召回率提升了30%，佩带口罩的人脸检测准确率超99%以上。

口罩分类算法方面，基于人脸要害点网络，抽取了具有厚实面部语义信息的人脸特征示意，并基于该特征举行口罩遮挡判断，还通过PaddleSlim举行模子压缩，巨细缩小了3倍多。

问题解决了，性能效果又若何？

优化了识别效果之后，在佩带口罩情形下人脸识别，准确率出奇的高，速率出奇的快！

但单从理论上解决难题是不够的，应用到急需的场景中才是要害。

实在，这项已经投入到了现实场景，在百度园区，员工上班戴着口罩就可以刷脸“入场”，解决了检测“戴口罩的是谁”的问题。

更早的，针对麋集人群戴口罩的检测问题，百度与北京地铁展开了互助，连夜集结专项项目组，3天完成初版部署，7天快速迭代上线，解决了检测麋集人群“是否戴口罩”的问题。

嗯，看来是可以愉快的戴口罩上班了！

实力的背后是手艺

或许很多人会感应惊讶，百度怎么能够在云云短时间内，解决了难题，还做到了落地？

实在，这是一定的效果。

百度视觉早已在领域中深耕多年，手艺实力不容小觑。

为了到达业内SOTA水平，百度视觉手艺部在人脸检测问题上产出了一系列的研究，从多个角度举行优化。

上图即是人脸检测器设计的几个优化思绪，包罗特征融合、上下文信息、锚点设计、分外监视、数据扩充、网络结构等。黄色标注部分为百度视觉揭晓的论文。

所提出的BOX系列模子，在业界处于领先职位，例如：

DenseBox，第一个anchor free且可以举行端到端训练的物体检测器。

PyramidBox，引入基于anchor的上下文辅助方式，用于半监视学习人脸上下文特征。

DAFBox，基于注意力指引的语义增强特征融合框架来学习各个尺度的具有厚实语义特征金字塔。

BFBox，第一篇基于神经网络架构搜索的人脸检测方式，支持同时搜索适合人脸检测的特征提取器和特征金字塔。

另有像HAMBox，可在线挖掘高质量锚点的高性能框架，2019年在ICCV WIDER Face and Pedestrian Challenge上 ，以mAP值57.13%的成就夺得人脸检测的冠军，远超上一年冠军55.82%的成就。

△红色框是PyramidBox的检测效果，可以看出PyramidBox对于姿态、模糊、遮挡、尺度等条件具有极强的鲁棒性。

研究成果方面，近期即将召开的计算机视觉顶级学术会议CVPR 2020在克日宣布了收录的论文，录取率创下新低，相比去年下降3%，仅有22%，百度仍有高达22篇论文入选，其中人脸偏向主要的论文包罗：

HAMBox：Delving into Online High-quality Anchors Mining for Detecting Outer Faces

BFBox：Searching Face-appropriate Backbone and Feature Pyramid Network for Face Detector

FaceScape：a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction

Hierarchical Pyramid Diverse Attention Network for Face Recognition

此次疫情之下，人脸识别背后的焦点手艺问题，包罗庞大场景多人脸检测、多人脸跟踪定位、实时模子展望、戴口罩人脸识别。

而这些问题，从上述的研究成果来看，百度视觉都或多或少的有所涉及。

云云来看，也就不难明白，为什么百度能够云云高效解决高难度问题。

百度在此次疫情中的孝敬，也真正的彰显了那句“能力越大，责任越大”，也体现了出了在计算机视觉领域中领军者的职位。

手艺的背后，另有一个百度飞桨

无论是研究照样应用，背后都需要一个强有力的平台支持。

而此次百度在人脸识别上的乐成，离不开手艺硬实力，更离不开手艺背后的百度飞桨 (PaddlePaddle)。

飞桨是百度自研，现在国内唯一开源开放且功效完整的产业级深度学习平台，是各类型AI模子应用开发的基础。

例如在解决戴口罩人脸识别问题时，就接纳了飞桨的大规模分类库PLSC，快速对数百万ID的训练数据举行训练，还接纳了飞桨模子压缩库PaddleSlim举行模子搜索与压缩，产出高性能的人脸识别模子，使用飞桨PaddleLite快速举行云端和移动端部署。

在此前北京地铁AI口罩检测方案中，百度飞桨行使自身贮备的业界领先工具集，快速完成了多维度视频内容剖析、视频语义明白、分类标签，及口罩识别等全套模子及部署，充实展现出飞桨源于产业实践、并致力于与产业深入融合的特点。

而百度也将基于口罩相关的能力做到了落地：

与科升(广东)智能科技有限公司杀青互助，对城中村门禁系统举行革新，租户行使前期入住时登记好的人脸开锁进门，同时该人脸数据库与公安大数据后台对接(直接对接公安数据库)，对可凝职员及网上追逃职员举行预警。

十牛科技将百度大脑公布的口罩检测与戴口罩人脸识别手艺，更新至校园平安治理系统中，为学生复学做好万全准备。

与无锡华捷电子信息手艺有限公司杀青互助，针对疫情全新开发的产物，无需摘下口罩，就可以精准识别人脸，实现搭车人秒速自动测温，有用降低了公共交通出行中接触熏染风险。

与广州智体科技有限公司杀青互助，应用驾驶行为剖析API极速研发并上线了出租车、公交车司乘职员“戴口罩智能识别预警模块”，实时上传异常数据到疫情羁系、交通治理部门、公交/出租车公司后台，实现了多站点远程异地有用管控。

还包罗深圳市赛蓝科技有限公司、深圳智荟物联手艺有限公司、南京海帆数据科技有限公司等100余家试用企业，涉及零售线下门店无感刷脸购物、智慧社区刷脸门禁、企业员工刷脸考勤等场景。

此外，现在百度戴口罩识别相关基础能力已经通过飞桨Paddle Hub对外开源，制止让更多程序员重复造轮子，可以直接站在百度的肩膀上。

One More Thing

通过百度计算机视觉强悍的能力，已然解决了人群“是否戴口罩”、“戴口罩的人是谁”的问题。

平安、愉快地戴口罩上班已经不是难题。

那么更进一步的，戴口罩手机解锁、刷脸支付，还需要多久能解决呢？

传送门

飞桨(PaddlePaddle)官网:

https://www.paddlepaddle.org.cn/

PaddleSlim平台：

https://github.com/PaddlePaddle/PaddleSlim

Paddle PLSC大规模分类库：

https://github.com/PaddlePaddle/PLSC

PaddleLite平台：

https://github.com/PaddlePaddle/Paddle-Lite

PaddleHub平台：

https://github.com/PaddlePaddle/PaddleHub