? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，，一直突破立异。。。。。具有人工智能领域深挚的学术积累，，，，，，，，具备健全的人才作育机制，，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；� AI 云基础设施，，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，，引领AI立异，，，，，，，，助力工业界及学术界探索 AI 界线。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，，能够支持诸多物联网装备，，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。

< 返回论文解读

商汤提出低比特人脸识别模子量化训练的新要领

2020-05-13

导读：在CVPR 2020 上，，，，，，，，商汤身份认证团队首次提出了用于低比特人脸识别模子量化训练的旋转一致的余量损失函数（Rotation Consistent Margin Loss，，，，，，，， RCM）。。。。�？？？？？？？肆呈侗鹎鹩谕ㄋ妆占掷嗍姑�，，，，，，，，属于怀抱学习领域，，，，，，，，然而鲜有针对开集人脸识别的量化研究。。。。。该事情针对低比特人脸识别模子的量化，，，，，，，，在特征空间重新界说了量化误差，，，，，，，，并剖析了量化误差对特征漫衍的影响，，，，，，，，最终提出了旋转一致的余量损失函数。。。。。在多小我私家脸测试集上抵达了SOTA效果。。。。。

念头

近年来深度卷积神经网络的泛起极大地提升了人脸识别精度，，，，，，，，增进人脸识别的大规模应用，，，，，，，，如安防布控、人证比对、楼宇门禁、手机解锁等场景。。。。。然而过大的存储开销和推理时间，，，，，，，，限制了重大模子在端侧装备的安排。。。。。量化手艺是解决该问题的有用要领之一。。。。。其焦点头脑是用低比特（如4bit）位宽体现网络权重(weights)和激活值(activations)，，，，，，，，从而同时降低存储和加速推理。。。。。然而将全精度的一连值映射为低比特体现的离散值的量化历程会引入量化误差。。。。。有许多关于缩小量化误差的要领被提出，，，，，，，，然而都集中在通俗闭集分类使命或目的检测使命。。。。�？？？？？？？肆呈侗�，，，，，，，，属于怀抱学习的领域，，，，，，，，理论上需要将相同ID的人映射到特征空间中的统一点，，，，，，，，差别ID的人尽可能远离，，，，，，，，其对量化误差更为敏感，，，，，，，，量化造成的精度损失也更为严重。。。。。在图1中，，，，，，，，（a）直观的展示了开闭集的量化历程；；；；；（b）定量比照了量化前后精度的转变；；；；；（c）比照了量化前后正对（ID相同的差别照片）在特征空间中的夹角。。。。。

要领

针对上文所述开集人脸识别量化面临的挑战，，，，，，，，本事情提出了用于低比特人脸识别模子量化训练的旋转一致的余量损失函数。。。。。

随着SphereFace、CosFace、ArcFace等事情的提出，，，，，，，，人脸特征被以为漫衍于半径牢靠的超球外貌，，，，，，，，特征模长不再对识别爆发影响。。。。。相似性怀抱也从l2距离转换为余弦相似度。。。。�；；；；；诖�，，，，，，，，本文将人脸识别模子的量化误差界说为全精度模子特征与对应量化模子输出特征之间的夹角，，，，，，，，即

基于上述界说，，，，，，，，本事情对量化误差举行了剖析。。。。。我们使用ArcFace在CASIA-WebFace上训练了ResNet18，，，，，，，，并划分量化至8、6和4bit。。。。。为了阻止修改模子权重，，，，，，，，此处接纳的是post-training 量化方法。。。。。

基于上述实验，，，，，，，，我们获得三个主要视察。。。。。

视察一：随着位宽的降低，，，，，，，，类中心的量化误差急剧增大（如图2（a）所示）。。。。。此处，，，，，，，，类中心界说为统一类中所有图像特征的均值。。。。。

剖析一：较大的类中心误差说明个体的量化误差并非随机，，，，，，，，而是朝着统一偏向旋转，，，，，，，，最终导致整个类的偏移。。。。。在MobileNetV2和VGG上举行了重复试验，，，，，，，，以扫除模子结构的影响。。。。。我们将类中心量化误差记为类误差（class error）。。。。。

视察二：量化前后，，，，，，，，类间夹角均坚持在90°（如图2（b）所示）。。。。。

剖析二：稳固的类间漫衍说明量化误差并不削弱类间可分性。。。。。

视察三：量化后，，，，，，，，类内散度增大，，，，，，，，且位宽越小，，，，，，，，散度越大（如图2（c）所示）。。。。。

剖析三：类内散度的增添说明量化误差削弱了类内紧凑性。。。。。

基于上述剖析与视察，，，，，，，，本事情提出将一张图像的量化误差剖析为类误差和个体误差，，，，，，，，

以前的要领要么忽略量化误差——直接基于原有损失函数举行监视训练，，，，，，，，要么实验消除整个量化误差。。。。。一个自然的疑问是：提高量化模子精度等价于镌汰量化误差吗？？？？？？？基于上述剖析，，，，，，，，我们以为至少关于人脸识别使命，，，，，，，，这种假设是不建设的。。。。。首先，，，，，，，，虽然类误差的数值较大，，，，，，，，但它体现类整体的移动，，，，，，，，且量化后的类间可分性并未削弱。。。。。而个体误差则严重损害了类间紧凑性，，，，，，，，是造成精度降低的主要缘故原由。。。。。若是粗暴地实验直接消除整个量化误差，，，，，，，，则来自于类误差的监视会导致量化模子越发关注于将类整体移向全精度时的位置，，，，，，，，而非重修类内紧凑性。。。。。

因此，，，，，，，，本事情将个体误差作为余量（margin）引入原有人脸识别损失函数，，，，，，，，提出旋转一致的余量损失函数（Rotation Consistent Margin Loss）