? ? ?

手艺能力

以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，具备健全的人才作育机制，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；� AI 云基础设施，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，引领AI立异，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，能够支持诸多物联网装备，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。

< 返回论文解读

ICLR 2021 Spotlight | 给权重共享一点自由度，，，，，，通道搜索性能大幅度提升！

2021-08-10

近年来，，，，，，模子轻量化作为一种常用的模子加速要领，，，，，，受到深度学习研究职员的青睐。。。。。。作为一篇网络通道数压缩的文章，，，，，，本文探讨了牢靠权重共享的方法在模子压缩中的利弊，，，，，，并据此提出一种新的自由权重共享的解法。。。。。�；；；；；谔岢龅娜ㄖ毓蚕碚铰裕�，，，本文还提出了一种基于 FLOPs 的分组要领，，，，，，以实现更优分组的目的。。。。。。为相识决搜索空间过大的难题，，，，，，本文提出了一种多阶段通道数搜索的要领，，，，，，以促使从“粗搜索”到“细搜索”的进化，，，，，，进而实现高精度细粒度的模子通道数搜索。。。。。。

本文主要先容我们 ICLR 2021 吸收的一篇文章：

Locally Free Weight Sharing for Network Width Search。。。。。。

Part 1 念头和配景

深度学习网络结构可以容易的通过堆叠多层非线性层来实现。。。。。。然而在现实应用中，，，，，，我们还需要决议每层设计的网络宽度，，，，，，这个使命通常需要适配特定的网络盘算预算, 如 FLOPs, latency。。。。。。因此，，，，，，为了顺应差别的预算本钱，，，，，，一个太过参数化的网络结构往往需要通过被裁剪，，，，，，以顺应差别的使命需求。。。。。。得益于近年来 NAS 手艺的迅速生长，，，，，，基于权重共享的超网络 (supernet)的通道(channel) 搜索要领被普遍应用。。。。。。Supernet 作为一个网络结构（i.e., 网络宽度）性能的评估器，，，，，，用于评估搜索空间中所有通道数设置(网络宽度)的相对排序。。。。。。此使命中搜索空间往往是重大 (如10^25 for MobileNetV2)，，，，，，因而准确评估差别通道数设置关于 supernet 而言是很是难题的。。。。。。在网络宽度搜索算法中，，，，，，怎样训练 supernet 以及建设 supernet 与搜索空间中结构的对应关系，，，，，，关于其是否能准确评估差别网络宽度的相对排序十分主要。。。。。。

在本篇论文中，，，，，，我们提出了一种新的局部自由的权重共享方法，，，，，，使搜索空间中的每个网络宽度能拥有一定的自由度来自由的选择与 supernet 网络权重的对应关系。。。。。。详细而言，，，，，，关于每一个网络结构，，，，，，我们给一定水平的自由，，，，，，使其能在一定规模内自由的选取合适的 supernet 权重并与之对应，，，，，，从而更准确的训练 supernet 和搜索合适的网络宽度。。。。。。同时，，，，，，为了减小搜索空间，，，，，，我们提出了一种基于 FLOPs 的分组要领，，，，，，使每一组通道都尽可能有相同的 FLOPs，，，，，，从而扫除了 supernet 训练和网络宽度选择时的分组不公正造成的滋扰。。。。。。由于我们提出的局部自由的权重共享方法，，，，，，搜索空间被一定水平放大。。。。。。因此我们也提出了多阶段搜索的要领，，，，，，实现从“粗搜到细搜”的历程，，，，，，以提高搜索的准确性。。。。。。本论文搜索出的结构在 ImageNet (mobile setting) 下取得了 SOTA(state-of-the-art) 的效果。。。。。。

Part 2 主要思绪

局部自由的权重共享方法

为了建设 supernet 的权重与搜索空间中的结构的对应关系，，，，，，古板的网络宽度搜索算法会接纳牢靠的对应关系。。。。。。例如，，，，，，网络中前 c 个 channel 对应宽度 c。。。。。。

然而这种强约束也限制了supernet的性能。。。。。。例如，，，，，，小的宽度对应的supernet的权重永远是大的宽度的一个子集，，，，，，这种牢靠的对应关系将导致恣意两组差别的网络宽度的权重共享水平抵达最大。。。。。。事实上，，，，，，关于牢靠的对应关系，，，，，，恣意两组差别网络宽度的权重共享水平都是1。。。。。。

理想情形下，，，，，，每组网络宽度都应有充分的自由度来选择其与 supernet 的权重对应关系，，，，，，恣意两组网络宽度的共享水平可能是完全共享，，，，，，部分共享或者是没有共享。。。。。。然而，，，，，，这样做也会导致，，，，，，搜索空间从O(n) 增添到 O(2^n)，，，，，，从而增添 supernet 准确排序的肩负。。。。。。

因此，，，，，，我们提出局部权重共享的战略。。。。。。关于每一组网络宽度，，，，，，部分channel 接纳牢靠的对应战略，，，，，，关于剩余的channel给与其一定的自由度以选择合适的对应关系。。。。。。

Supernet优化和搜索方法

为了在提出的局部自由的权重共享方法中，，，，，，找到合适的 supernet 与网络宽度之间的对应关系，，，，，，我们提出接纳每组网络宽度对应的取得最佳 performance（如，，，，，，最大 accuracy 和最小的 loss）的权重对应方法来构建其与 supernet 之间的联系。。。。。。

基于supernet的训练历程：

响应的搜索历程：

基于FLOPs敏感度的通道数分组要领

为了减小搜索空间的大�。。。。。。�，，，以往的要领往往接纳匀称分组的战略，，，，，，将每层所有的通道数匀称的分为牢靠的组数。。。。。。然而，，，，，，这种分组要领忽略了通道自身的信息，，，，，，如 kernel 大�。。。。。。�，，，特征图区分率等等。。。。。。我们也注重到这些信息直接与 FLOPs 的组成相关，，，，，，基于这个视察，，，，，，我们提出构建基于 FLOPs 敏感度的通道数分组计划，，，，，，使得每个组内都能有相同的 FLOPs，，，，，，从而能够扫除分组差别带来的训练和测试差别。。。。。。

多阶段搜索要领

为了搜索到高精度且细粒度的网络结构，，，，，，往往需要界说一个十分重大的搜索空间。。。。。。然而，，，，，，从重大的搜索空间中很难直接搜索到合适的网络宽度。。。。。。针对这个问题，，，，，，我们提出多阶段搜索来阻止搜索空间过大的问题，，，，，，同时包管搜索效果的细粒度。。。。。。

Part 3 实验效果

同时我们验证了我们搜索结构在目的检测使命上的迁徙能力。。。。。。

Ablation Study

1. channel选择自由区间的作用

基于 CIFAR-10 数据集，，，，，，我们对提出的局部权重共享战略举行了评估，，，，，，如图 2 所示。。。。。�？？？？？？？？杉谒孀抛杂啥鹊奶岣撸�，，，supernet 的评估能力和最终搜索结构的精度将会响应提高。。。。。。

2. 训练和搜索时间影响的评估

由于我们提出的算法将会涉及到搜索 supernet 与网络宽度对应关系的历程，，，，，，因此哈哈(haha)体育算法比牢靠的权重共享方法需要支付一定水平特另外盘算价钱。。。。。。因此，，，，，，我们研究在特殊提供更多的训练和搜索时间的情形下，，，，，，是否会带来特另外性能提升。。。。。。

如表6所示，，，，，，在给定的训练和测试框架下，，，，，，特另外训练时间并不会提升 supernet 评估的准确性，，，，，，而提高搜索时间也仅能微量提升搜索效果。。。。。。

Part 4 总结

超网络训练和评估是网络宽度搜索的主要议题。。。。。。与目今要领接纳牢靠的权重共享要领差别，，，，，，哈哈(haha)体育要领更注重于探索 supernet 与网络宽度之间的对应关系。。。。。。这种自由的对应要领的提出，，，，，，能够资助探索 supernet 更好的训练和表达要领。。。。。。CafeNet 的姊妹篇事情 BCNet 现在也被 CVPR 2021 接受，，，，，，其是从权重共享的公正性举行切入的，，，，，，我们也会后续举行解读与分享。。。。。。

Part 5 作者先容

论文一作苏修，，，，，，现在在悉尼大学攻读博士，，，，，，主要从事 AutoML 领域中模子压缩和神经网络结构搜索等偏向的研究，，，，，，在 CVPR、ICLR 上揭晓多篇 paper。。。。。。

主页：https://xiusu.github.io

论文二作游山为本文的通讯作者，，，，，，现在在商汤科技担当研究员，，，，，，主要研究偏向为自动化机械学习、模子轻量化以及在盘算机视觉中的应用与落地，，，，，，现在揭晓 20 余篇包括NeurIPS、ICLR、CVPR、KDD、AAAI、IJCAI 在内的国际顶会 paper，，，，，，担当多个 top-tier 聚会或期刊审稿人。。。。。。

主页：http://shanyou92.github.io/

论文三作黄涛，，，，，，现在在商汤科技担当研究员，，，，，，主要研究偏向为自念头械学习、模子轻量化及其在盘算机视觉中的应用，，，，，，在 CVPR、ICLR 上揭晓过多篇 paper。。。。。。

主页：https://taohuang.info/

论文地点

https://arxiv.org/pdf/2102.05258.pdf

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴