首页天道酬勤人脸比对 开源(安卓开源人脸识别)

人脸比对 开源(安卓开源人脸识别)

admin 12-01 18:40 451次浏览

机器心脏释放

机器智信编辑部

小石科技团队开源的基于RGB图像的活体检测模型,是专门为工业落地场景设计的模型,兼容各种复杂场景。自主研发的剪枝轻量级模型计算复杂度为0.081G,在麒麟990 5G芯片上仅需9ms。同时,基于PyTorch训练的模型可以灵活转换为ONNX格式,实现全平台部署。

如今,人脸识别已经进入我们生活的方方面面:拿起手机、扫脸、付账、完成考勤、入住酒店等。这大大方便了我们的生活。

在享受科技带来的便利的同时,也要应对其潜在的风险。一旦假脸攻击成功,很有可能给用户造成很大的损失。

例如,2019年,在拉斯维加斯举行的黑帽安全会议上,来自腾讯的研究人员演示了如何使用一副特殊的眼镜打破苹果的Face ID。

早前有人用3D打印“石膏”脸攻击手机的人脸识别功能,成功破解了多种人脸识别解锁功能。

图片:福布斯

为了抵御这种伪人脸攻击,小石科技团队开发了适用于安卓平台的静默式实时检测算法和部署源代码,可以兼容各种工业复杂场景的实时检测。

无声活体检测算法项目地址:

https://github.com/minivision-ai/Silent-Face-Anti-Spoofing

安卓平台部署源代码项目地址:

https://github.com/minivision-ai/Silent-Face-Anti-Spoofing-APK

活体检测技术主要是判断摄像头前的人脸是真是假,其中其他媒体呈现的人脸可以定义为假脸,包括打印纸照片、电子产品显示屏、硅胶口罩、三维3D人像等。活体检测技术可以抵御各种虚假人脸攻击,保护人脸识别。

目前主流的活体解决方案分为合作活体和非合作活体。合作活体需要用户根据提示做出相应的动作来完成判别,而非合作活体则是在没有用户感受的情况下直接检测活体,具有更好的用户体验。

根据成像来源的不同,不协调活体一般分为三种技术路线:红外图像、3D结构光和RGB图像。红外图像滤除特定波段的光线,自然抵御基于屏幕的虚假人脸攻击。3D结构光引入深度信息,可以轻松识别纸质照片、屏幕等2D媒体的虚假人脸攻击。RGB图片主要通过一些细节来区分,比如屏幕拍摄中出现的云纹图案和纸张照片的反射。基于以上分析不难发现,与其他两种方法相比,基于RGB图像的活体检测只能通过图像本身的信息来判断,这在实际开放场景中更具挑战性。

小石科技团队开源的基于RGB图像的活体检测模型,是专门为工业落地场景设计的模型,兼容各种复杂场景。自主研发的剪枝轻量级模型计算复杂度为0.081G,在麒麟990 5G芯片上仅需9ms。同时,基于PyTorch训练的模型可以灵活转换为ONNX格式,实现全平台部署。

生活任务的定义

基于RGB图像的活体检测是一项分类任务。目标是有效区分真实人脸和虚假人脸,但与其他类似物品分类的任务不同。关键是攻击源分布太广,如图1所示:不同的攻击媒介、不同设备的成像质量、不同的输入分辨率对分类结果有直接影响。为了减少这些不确定因素的影响,小视觉技术团队对活体的输入做了一系列限制:活体的输入被限制在特定的分辨率范围内;输入图片都是实时流中捕获的视频帧。这些操作大大降低了实景模型在实际生产部署中失控的风险,提高了模型的场景鲁棒性。

图1真实场景中生活数据分布图

基于成像介质的不同类型,小石科技团队将样本分为真实人脸、2D成像(打印照片、电子屏幕)和3D人脸模具三类,并按照上述标准对训练数据进行整理和收集。活体检测的主要流程如图2所示。

图2开源生活管道

开源模型技术路线

小石科技团队采用自主研发的修剪轻量级网络作为骨干训练模型,使用Softmax熵Loss作为训练分类的监督者。利用不同尺度的图像作为网络的输入训练数据,增加模型之间的互补性,从而融合模型。考虑到用于辨别真假人脸的有效信息可能不完全分布在人脸区域,可能在取景画面的任何地方(如边框、云纹等)。),消食科技团队在骨干上增加了SE(挤压激发)的关注模块。

,动态适应分散的判别线索。同时小视科技团队也通过实验发现真假脸在频域中存在明显的差异,为此引入傅里叶频谱图作为模型训练的辅助监督,有效提升了模型精度。

自研的轻量级剪枝网络

小视科技团队使用自研的模型剪枝方法,将 MoboileFaceNet 的 flops 从 0.224G 降低到了 0.081G,剪枝的网络结构如图 3 所示。模型观测误检率在十万一对应的真脸通过率,在精度没有明显损失的情况下,模型前向运行的速度提升了 40%。

表 1 模型性能对比表

图 3 剪枝模型通道示意图

注意力机制

考虑到用于真假脸判别的有效信息不一定完全分布在脸部区域,也有可能在取景画面的任何地方(如边框,摩尔纹等)。小视科技团队在 backbone 中加入了 SE(Squeeze-and-Excitation)的注意力模块,动态适应分散的判别线索,热力图如图 4 所示。对于假脸,模型更关注于边框信息和屏幕的摩尔纹信息,对于真脸更加关注脸部以及周围的信息。

图 4 活体模型热力图

数据预处理

使用人脸检测器获取图像中的人脸框坐标,按照一定比例 (scale) 对人脸框进行扩边,图 5 展示了部分 patch 的区域,为了保证模型的输入尺寸的一致性,将 patch 区域 resize 到固定尺寸。

图 5 Patch 示例图

傅里叶频谱图

将假脸照片与真脸照片转化生成频域图,对比发现假脸的高频信息分布比较单一,仅沿着水平和垂直方向延伸,而真脸的高频信息从图像的中心向外呈发散状,如图 6 所示。根据以上的实验,小视科技团队发现真脸和假脸的傅里叶频谱存在差异,从而引入了傅里叶频谱对模型训练进行辅助监督。

图 6 傅里叶频谱图

基于傅里叶频谱图的辅助网络监督

基于对于真脸和假脸在频域的观察分析,小视科技团队提出了基于傅里叶频谱图进行辅助网络监督的训练方法,整理架构图如图 7 所示。网络的主分支采用 Softmax+ CrossEntropy 作为网络的监督,如公式(1)所示。其中, f_j表示输出类别的第 j 个置信度, y_i 表示样本的真实标签,N 为训练样本的个数。

小视科技团队采用在线的方式生成傅里叶频谱图,使用 L2 Loss 作为损失函数。输入图片的尺寸为 3x80x80,从主干网络中提取尺寸为 128x10x10 特征图,经过 FTGenerator 分支生成 1x10x10 的预测频谱图 F_P 。通过傅里叶变换,将输入图片转化成频谱图,再进行归一化,最后 resize 成 1x10x10 尺寸得到 F_G ,使用 L2 Loss 计算两特征图之间差异,如公式(2)所示。

为了控制 L_FT在训练过程中对梯度的贡献作用,分别引入了

平衡两个损失函数L_Softmax和L_FT,如公式(3)所示,其中

。在实验中设置

图 7 傅里叶频谱辅助监督训练架构图

其他模型策略

使用大体量网络 ResNet34 蒸馏剪枝网络 MiniFASNetV1 和 MiniFASNetV2,精度得到提升。

使用模型融合的机制,针对于不同输入尺度、不同网络结构以及不同迭代次数的模型进行融合,充分挖掘模型间对分类任务的互补性,提升模型精度。

实验结果

测试集建立

小视科技团队基于实际的生产场景建立了 100W 量级的测试集,从移动设备的视频流中实时获取图像。真脸数据包含了强光、暗光、背光、弱光以及阴阳脸等各种复杂场景。基于 2D 的假脸数据使用打印纸、铜版纸、照片纸以及电脑屏幕、平板 Pad 屏幕、手机屏幕,在不同的距离、角度和光线下进行采集。基于 3D 的假脸数据则采用头模、硅胶面具和纸质照片抠洞的人脸面具进行采集。

模型评价指标

小视科技团队采用 ROC 曲线作为模型的观测指标,控制十万一的误检率,保证模型在 97%+ 的通过率。与一般的分类任务不同,团队采用了 ROC 曲线而非分类精度作为度量指标,其原因是:生产落地场景对活体模型的误检控制具有很高的要求。

为了降低活体在应用场景发生误检的概率,小视科技团队控制模型误检率在十万一量级的同时,保证了较高的真脸通过率。团队将活体定义为三分类任务,为了适应 ROC 曲线的评价指标,将真脸以外的类别都定义成假脸,从而解决了使用 ROC 曲线适应多分类的问题。

最终的开源融合模型,包含了两个剪枝网络的单模型,在测试集上的观测指标如表 2 所示。开源模型误检控制在 1e-5 的情况下,真脸通过率能够达到 97.8%。未开源的高精度模型在相同的误检率下,真脸通过率达到 99.5%。

表 2 模型观测指标

速度指标

开源融合模型在不同芯片上速度指标如表 3 所示,在麒麟 990 5G 上仅需要 19ms。

表 3 模型测试速度

安卓端体验 APK DEMO 演示

为了方便开发者更好地体验该项静默活体检测技术,小视科技团队准备了用于测试的安卓端 APK,不仅可以直观地感受该项技术达到的效果,还可以实时观测速度、置信度等相关指标。

点击链接下载安卓端体验 APK:https://ai.minivision.cn/#/coreability/livedetectionvideo

线上分享

7月23日20:00-21:00,小视科技副总裁、AI研究院院长胡建国将带来线上分享,为大家详解这一工业级静默活体检测算法,期待与广大业内开发者和爱好者共同交流。

添加机器之心小助手syncedai3,进群一起看直播。

云手机哪家好UPhone研无止境IOS网络请求之AFNetWorking3.x使用详情C++的array和&DeepRust匹配:有更好的方法吗?C++构造析构赋值运算函数怎么应用雷士灯具管理系统
() 收集人脸信息会泄露隐私么(人脸识别的隐私保护)
相关内容