哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，，一直突破立异。。。。。。。。具有人工智能领域深挚的学术积累，，，，，，，具备健全的人才作育机制，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；；；；� AI 云基础设施，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，引领AI立异，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，能够支持诸多物联网装备，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。。。

< 返回论文解读

CVPR 2020 Oral | DMCP: 可微分的深度模子剪枝算法解读

2020-07-29

模子轻量化是深度学习工业化中一个绕不开的话题。。。。。。。。许多神经网络模子虽然性能很好，，，，，，，可是盘算开销重大，，，，，，，难以在手机等端上装备高效运行。。。。。。。。因此，，，，，，，怎样获得盘算开销知足要求，，，，，，，同时性能也可支持工业应用的模子一直是各人研究的重点。。。。。。。。其中，，，，，，，模子剪枝就是此类要领中较量主要的一项手艺。。。。。。。。它通过裁剪神经网络的通道数来降低盘算开销，，，，，，，同时凭证特定剪枝算法来选取裁剪掉哪些通道从而降低该历程中的性能损失。。。。。。。。在CVPR 2020上，，，，，，，商汤研究院被吸收为oral的论文DMCP提出了一种基于马尔可夫历程的剪枝算法，，，，，，，为模子剪枝提供了新的思绪。。。。。。。。该事情将模子剪枝建模成了马尔科夫历程，，，，，，，其中的转移概率可以通过可微分的方法来举行优化，，，，，，，取得了很是好的效果。。。。。。。。

念头

古板的模子剪枝要领一样平常分为三步（如图一所示）：训练原模子；；；；；；；；用剪枝算法剪掉“不主要”的通道；；；；；；；；将剪枝后模子参数举行微调。。。。。。。。而近年来，，，，，，，有的事情提出剪枝后的模子参数着实并不主要，，，，，，，直接将剪枝模子参数初始化后重新训练，，，，，，，也可以抵达同样的、甚至更高的精度。。。。。。。。因此可以将模子剪枝作为模子结构搜索问题来解决，，，，，，，使用搜索算法搜索出模子每一层的通道数。。。。。。。。

图1.png

图一古板的模子剪枝pipeline

先前的将模子剪枝看作模子结构搜索的事情大多都接纳强化学习算法或者遗传算法，，，，，，，而这些算法需要在原模子中大宗的采样子结构来评估精度，，，，，，，甚至需要花大宗时间来训练子结构，，，，，，，因此很难泛化到更大更重大的网络。。。。。。。。同时，，，，，，，模子结构搜索问题中也保存此问题。。。。。。。。DARTS[1]提出了一种可微分的要领来提高搜索效率。。。。。。。。然而这种可谓分的要领不可直接套用在模子剪枝中。。。。。。。。首先二者的搜索空间差别，，，，，，，其次DARTS中神经网络每一层的可选操作是相互自力的，，，，，，，可是模子剪枝中的选择隐含着一种相互依赖的关系，，，，，，，例如一层有k+1个通道的话，，，，，，，隐含着这层至少有k个通道。。。。。。。。

因此，，，，，，，DMCP选择将剪枝的历程建模为一个马尔科夫模子。。。。。。。。图二展示了一层通道数为5的卷积层的剪枝历程。。。。。。。。其中S1体现保存第一个通道，，，，，，，S2体现保存第二个通道，，，，，，，以此类推。。。。。。。。T体现剪枝完毕。。。。。。。。概率p则为转移概率，，，，，，，通过可学习的参数盘算获得，，，，，，，后文中会详细先容。。。。。。。。

剪枝历程.gif

图二单层剪枝历程示意图。。。。。。。。

要领

(1) 优化剪枝空间

在古板的剪枝要领中，，，，，，，会为每个通道盘算“主要性”来决议是否保存它。。。。。。。。而当我们把模子剪枝看作模子结构搜索问题后，，，，，，，差别模子的区别则在于每一层的通道数目。。。。。。。。若是仍然每个通道单独判断，，，，，，，就会爆发同样的结构，，，，，，，造成优化难题。。。。。。。。如图三所示：情形1中，，，，，，，最后两个通道被剪掉，，，，，，，情形2中，，，，，，，第2个和第4个通道被剪掉，，，，，，，而这两种情形都会爆发3个通道的卷积层，，，，，，，使剪枝空间远大于现实网络个数。。。。。。。。

图3.png

图三剪枝空间冗余示意图

因此，，，，，，，DMCP接纳保存前k个通道的方法，，，，，，，大大缩小了剪枝空间。。。。。。。。

(2) 建模剪枝历程

在一层卷积层中，，，，，，，界说图4.png 为保存前k-1个通道的情形下，，，，，，，保存第k个通道的概率。。。。。。。。那么保存前k个通道的概率则为图5.png ，，，，，，，且：

图6.png （1）

由(1)中的剪枝方法，，，，，，，我们可以得出，，，，，，，已知保存第k-1个通道后，，，，，，，保存前k-2个通道与保存第k个通道条件自力，，，，，，，且不保存第k-1个通道时，，，，，，，保存第k个通道的概率为0，，，，，，，则有下面的式子建设：

图7.png （2）

其中pk为马尔科夫模子中的转移概率。。。。。。。。这样，，，，，，，通过在优化完毕后的马尔可夫模子上采样就可以获得响应的剪枝后的模子。。。。。。。。

(3) 学习转移概率

图8.png

图四可微分马尔可夫模子示意图

图四形貌了怎样将马尔科夫模子中的转移概率与原模子举行团结，，，，，，，从而使转移概率可以通过模子损失函数的梯度来更新。。。。。。。。该历程大致可分为三个办法

办法一、盘算转移概率pk。。。。。。。。

pk可以由如下公式盘算获得：

图9.png （3）

其中图10.png 是可学习的参数。。。。。。。。在该要领中，，，，，，，每层至少保存了一个通道，，，，，，，因此p1 = 1。。。。。。。。

办法二、盘算出每一个通道被保存的的边沿概率p(wk)。。。。。。。。

图11.png （4）

由上述公式可以看出，，，，，，，边际概率p(wk)可以被化简为前k个转移概率的乘积，，，，，，，并且随着k的增大而减小。。。。。。。。

办法三、将每一个通道的边沿概率与对应通道的输出相乘，，，，，，，作为下一层的输入。。。。。。。。

图12.png （5）

若第k个通道的边际概率趋于0，，，，，，，则体现该通道的输出趋于0，，，，，，，从而可以被剪掉。。。。。。。。通过这种建模方法，，，，，，，可以包管每一层中靠后的通道先会被剪枝。。。。。。。。

(4) 训练流程

图13.png

图五训练流程示意图

如图五所示，，，，，，，DMCP的训练可以分为两个阶段：训练原模子和更新马尔科夫模子。。。。。。。。这两个阶段是交替举行来优化的。。。。。。。。

阶段一，，，，，，，训练原模子。。。。。。。。

在每一轮迭代历程中，，，，，，，使用马尔科夫历程采样两个随机结构，，，，，，，同时也采样了最大与最小的结构来包管原模子的所有参数可以充分训练。。。。。。。。所有采样的结构都与原模子共享训练参数，，，，，，，因此所有子模子在使命数据集上的精度损失函数获得的梯度都会更新至原模子的参数上。。。。。。。。

阶段二，，，，，，，更新马尔科夫模子

在训练原模子后，，，，，，，通过前文中所形貌的要领将马尔科夫模子中的转移概率和原模子团结，，，，，，，从而可以使用梯度下降的方法更新马尔科夫模子的参数，，，，，，，其损失函数如下：

图14.png （6）

其中图15.png 为模子在使命数据集上的精度损失函数，，，，，，，图16.png 为盘算量约束，，，，，，，图17.png 为超参数。。。。。。。。这里我们使用了模子期望FLOPs来约束模子的盘算量（现实应用中可以利便的换用latency等指标来约束模子的盘算量），，，，，，，其损失函数如下:

图18.png （7）

上述等式中的图19.png 为目的盘算量，，，，，，，模子的盘算量期望为每一层的盘算量期望的总和。。。。。。。。

图20.png （8）

实验效果

作者在ImageNet数据集上比照了其他最新模子剪枝要领，，，，，，，在种种盘算量下，，，，，，，DMCP在MobileNet-v2和ResNet上均凌驾现有要领，，，，，，，如下表所示：

图21.png

传送门

DMCP代码现在已经开源，，，，，，，接待列位同砚使用和交流。。。。。。。。

论文：DMCP: Differentiable Markov Channel Pruning for Neural Networks

论文作者：Shaopeng Guo, Yujie Wang, Quanquan Li, Junjie Yan

论文地点： https://arxiv.org/pdf/2005.03354.pdf

源码地点：https:///github.com/zx55/dmcp

References

[1] Yann Le Cun, John S. Denker, and Sara A. Solla. Optimal brain damage. In Advances in Neural Information Processing Systems, pages 598–605. Morgan Kaufmann, 1990.

[2] Zhuang Liu, Mingjie Sun, Tinghui Zhou, Gao Huang, and Trevor Darrell. Rethinking the value of network pruning. arXiv preprint arXiv:1810.05270, 2018.

[3] Yihui He, Ji Lin, Zhijian Liu, Hanrui Wang, Li-Jia Li, and Song Han. Amc: Automl for model compression and ac- celeration on mobile devices. In Proceedings of the European Conference on Computer Vision (ECCV), pages 784– 800, 2018.

[4] Hanxiao Liu, Karen Simonyan, and Yiming Yang. Darts: Differentiable architecture search. arXiv preprint arXiv:1806.09055, 2018.

[5] echun Liu, Haoyuan Mu, Xiangyu Zhang, Zichao Guo, Xin Yang, Tim Kwang-Ting Cheng, and Jian Sun. Metapruning: Meta learning for automatic neural network channel pruning. arXiv preprint arXiv:1903.10258, 2019

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】