- ½¹µãÊÖÒÕ
- ÒÔÔ´´ÊÖÒÕϵͳΪ»ù±¾£¬£¬£¬£¬£¬SenseCoreÉÌÌÀAI´ó×°ÖÃΪ½¹µã»ù×ù£¬£¬£¬£¬£¬½á¹¹¶àÁìÓò¡¢¶àÆ«ÏòÇ°ÑØÑо¿£¬£¬£¬£¬£¬
¿ìËÙÂòͨAIÔÚ¸÷¸ö±ÊÖ±³¡¾°ÖеÄÓ¦Ó㬣¬£¬£¬£¬ÏòÐÐÒµ¸³ÄÜ¡£¡£¡£¡£¡£¡£¡£
¡¾ÉÌÌÀ̩̹¹ûÕæ¿Î¡¿Ä£×ÓÁ¿»¯ÏàʶһÏ£¿£¿£¿£¿£¿£¿
µ¼¶Á
Ëæ×ÅÉî¶ÈѧϰµÄÉú³¤£¬£¬£¬£¬£¬Éñ¾ÍøÂç±»ÆÕ±éÓ¦ÓÃÓÚÖÖÖÖÁìÓò£¬£¬£¬£¬£¬Ä£×ÓÐÔÄܵÄÌá¸ßͬʱҲÒýÈëÁËÖØ´óµÄ²ÎÊýÄ¿ºÍÅÌËãÁ¿¡£¡£¡£¡£¡£¡£¡£Ä£×ÓÁ¿»¯ÊÇÒ»ÖÖ½«¸¡µãÅÌËãת³ÉµÍ±ÈÌØ¶¨µãÅÌËãµÄÊÖÒÕ£¬£¬£¬£¬£¬¿ÉÒÔÓÐÓõĽµµÍÄ£×ÓÅÌËãÇ¿¶È¡¢²ÎÊý¾ÞϸºÍÄÚ´æÏûºÄ£¬£¬£¬£¬£¬µ«ÍùÍù´øÀ´ÖØ´óµÄ¾«¶ÈËðʧ¡£¡£¡£¡£¡£¡£¡£ÓÈÆäÊÇÔÚ¼«µÍ±ÈÌØ(<4bit)¡¢¶þÖµÍøÂç(1bit)¡¢ÉõÖÁ½«ÌݶȾÙÐÐÁ¿»¯Ê±£¬£¬£¬£¬£¬´øÀ´µÄ¾«¶ÈÌôÕ½¸ü´ó¡£¡£¡£¡£¡£¡£¡£
2020Äê4ÔÂ9ÈÕÉÌÌÀ̩̹¹ûÕæ¿ÎµÚ009ÆÚµÄÏßÉÏÖ±²¥¿Î³Ì£¬£¬£¬£¬£¬ÓÉÉÌÌÀÑо¿Ôº--Á´½ÓÓë±àÒëÍŶӵÄÁ½Î»Ñо¿Ô±·ÖÏíÁËÍŶÓÔÚÄ£×ÓÁ¿»¯·½ÃæµÄµÄһϵÁÐÑо¿ÊÂÇ飬£¬£¬£¬£¬ÆäÖаüÀ¨CVPR 2020¡¢ICCV 2019µÈ¶àƪÓë±±º½ÁõÏéÁúÏÈÉúÍŶÓÏàÖúµÄÂÛÎÄЧ¹û£¬£¬£¬£¬£¬¿ìÀ´Ò»¶ÃΪ¿ì°É~
¿Î³ÌPPT¼°ÊÓÆµ»Ø·Å»ñÈ¡·½·¨¼ûÎÄÄ©ÌáÐÑ~
Part 1 Á¿»¯×ÛÊö
1 ʲôÊÇÄ£×ÓÁ¿»¯£¿£¿£¿£¿£¿£¿ÎªÊ²Ã´Òª¾ÙÐÐÄ£×ÓÁ¿»¯£¿£¿£¿£¿£¿£¿
Ä£×ÓÁ¿»¯ÊÇÓÉÄ£×Ó¡¢Á¿»¯Á½¸ö´Ê×é³É¡£¡£¡£¡£¡£¡£¡£ÎÒÃÇҪ׼ȷÃ÷È·Ä£×ÓÁ¿»¯£¬£¬£¬£¬£¬Òª¿´ÕâÁ½¸ö´Ê»®·ÖÊÇʲôÒâ˼¡£¡£¡£¡£¡£¡£¡£
ÔÚÅÌËã»úÊÓ¾õ¡¢Éî¶ÈѧϰµÄÓᄈϣ¬£¬£¬£¬£¬Ä£×ÓÌØÖ¸¾í»ýÉñ¾ÍøÂ磬£¬£¬£¬£¬ÓÃÓÚÌáȡͼÏñ/ÊÓÆµÊÓ¾õÌØÕ÷¡£¡£¡£¡£¡£¡£¡£
Á¿»¯ÊÇÖ¸½«ÐźŵÄÒ»Á¬È¡Öµ½üËÆÎªÓÐÏÞ¶à¸öÀëÉ¢ÖµµÄÀú³Ì¡£¡£¡£¡£¡£¡£¡£¿£¿£¿£¿£¿£¿ÉÃ÷È·³ÉÒ»ÖÖÐÅϢѹËõµÄÒªÁì¡£¡£¡£¡£¡£¡£¡£ÔÚÅÌËã»úϵͳÉÏ˼Á¿Õâ¸ö¿´·¨£¬£¬£¬£¬£¬Ò»Ñùƽ³£ÓᰵͱÈÌØ¡±À´ÌåÏÖ¡£¡£¡£¡£¡£¡£¡£Ò²ÓÐÈ˳ÆÁ¿»¯Îª¡°¶¨µã»¯¡±£¬£¬£¬£¬£¬¿ÉÊÇÑÏ¿áÀ´½²ËùÌåÏֵĹæÄ£ÊÇËõСµÄ¡£¡£¡£¡£¡£¡£¡£¶¨µã»¯ÌØÖ¸scaleΪ2µÄÃݴεÄÏßÐÔÁ¿»¯£¬£¬£¬£¬£¬ÊÇÒ»ÖÖÔ½·¢ÊÊÓõÄÁ¿»¯ÒªÁì¡£¡£¡£¡£¡£¡£¡£

¾í»ýÉñ¾ÍøÂç¾ßÓкܺõľ«¶È£¬£¬£¬£¬£¬ÉõÖÁÔÚһЩʹÃüÉϺñÈÈËÁ³Ê¶±ð¡¢Í¼Ïñ·ÖÀ࣬£¬£¬£¬£¬ÒѾÓâÔ½ÁËÈËÀྫ¶È¡£¡£¡£¡£¡£¡£¡£µ«ÆäÈõµãÒ²½ÏÁ¿ÏÔ×Å£¬£¬£¬£¬£¬¾ßÓнϴóµÄ²ÎÊýÄ¿£¬£¬£¬£¬£¬ÅÌËãÁ¿£¬£¬£¬£¬£¬ÒÔ¼°ÄÚ´æÕ¼Óᣡ£¡£¡£¡£¡£¡£¶øÄ£×ÓÁ¿»¯¿ÉÒÔ»º½âÏÖÓоí»ýÉñ¾ÍøÂç²ÎÊýÄ¿´ó¡¢ÅÌËãÁ¿´ó¡¢ÄÚ´æÕ¼ÓöàµÈÎÊÌ⣬£¬£¬£¬£¬¾ßÓÐΪÉñ¾ÍøÂçѹËõ²ÎÊý¡¢ÌáÉýËÙÂÊ¡¢½µµÍÄÚ´æÕ¼Óõȡ°Ç±ÔÚ¡±ÓÅÊÆ¡£¡£¡£¡£¡£¡£¡£ÎªÊ²Ã´¡°Ç±ÔÚ¡±ÊǼÓÒýºÅµÄÄØ£¿£¿£¿£¿£¿£¿ÓÉÓÚÏëͬʱµÖ´ïÕâÈý¸öÌØÕ÷²¢½ûÖ¹Ò×£¬£¬£¬£¬£¬ÔÚÏÖʵӦÓÃÀú³ÌÖб£´æÖî¶àÏÞÖÆºÍÌõ¼þÌõ¼þ¡£¡£¡£¡£¡£¡£¡£
ÁíÍ⣬£¬£¬£¬£¬ÓÉÓÚÄ£×ÓÁ¿»¯ÊÇÒ»ÖÖ½üËÆËã·¨ÒªÁ죬£¬£¬£¬£¬¾«¶ÈËðʧÊÇÒ»¸öÑÏËàµÄÎÊÌ⣬£¬£¬£¬£¬´ó²¿·ÖµÄÑо¿¶¼ÔÚ¹Ø×¢ÕâÒ»ÎÊÌâ¡£¡£¡£¡£¡£¡£¡£×÷Ϊһ¸öÔÚ¹«Ë¾Ö§³ÖÐí¶àÓªÒµÏßµÄÍŶӣ¬£¬£¬£¬£¬ÎÒÃÇ»áÔÚ¹Ø×¢¾«¶ÈµÄͬʱ£¬£¬£¬£¬£¬×¢Öذ²ÅÅ×îÖÕµÄËÙÂʺÍ×ÊÔ´Õ¼ÓÃÇéÐΡ£¡£¡£¡£¡£¡£¡£
2 ѹËõ²ÎÊý

Ä£×ÓÁ¿»¯ÔÚ×î³õµÄ½ç˵ÀïÊÇΪÁËѹËõÄ£×Ó²ÎÊý£¬£¬£¬£¬£¬ºÃ±Èº«ËÉÔÚICLR2016ÉÏ»ñµÃbest paperµÄÂÛÎÄ£¬£¬£¬£¬£¬Ê×´ÎÌá³öÁ˲ÎÊýÄ¿»¯ÒªÁì¡£¡£¡£¡£¡£¡£¡£ÆäʹÓÃk-mean¾ÛÀ࣬£¬£¬£¬£¬ÈÃÏà½üµÄÊýÖµ¾ÛÀൽͳһ¸ö¾ÛÀàÖÐÐÄ£¬£¬£¬£¬£¬¸´ÓÃͳһ¸öÊýÖµ£¬£¬£¬£¬£¬´Ó¶øµÖ´ïÓøüÉÙµÄÊýÖµÌåÏÖ¸ü¶àµÄÊý£¬£¬£¬£¬£¬ÕâÊÇÁ¿»¯²Ù×÷µÄÒ»Öּƻ®¡£¡£¡£¡£¡£¡£¡£·´¹ýÀ´£¬£¬£¬£¬£¬´ÓÁ¿»¯Êý±äµ½ÔʼÊýµÄÀú³Ì£¬£¬£¬£¬£¬³ÆÖ®Îª·´Á¿»¯£¬£¬£¬£¬£¬·´Á¿»¯²Ù×÷ÍêÖ®ºó£¬£¬£¬£¬£¬Ä£×ӾͿÉÒÔÆ¾Ö¤ÔÀ´µÄ·½·¨¾ÙÐÐÕý³£µÄÅÌËã¡£¡£¡£¡£¡£¡£¡£
ÎÒÃÇÒÔΪ¾ø´ó²¿·ÖµÄÄ£×ÓÁ¿»¯Ëã·¨¶¼ÄÜѹËõ²ÎÊý£¬£¬£¬£¬£¬Òò´ËѹËõ²ÎÊýµÄÊÊÓÃÐÔ²»±£´æÎÊÌâ¡£¡£¡£¡£¡£¡£¡£
3 ÌáÉýËÙÂÊ

Á¿»¯ÊÇ·ñÒ»¶¨ÄܼÓËÙÅÌË㣿£¿£¿£¿£¿£¿»Ø¸²ÊÇ·ñ¶¨µÄ£¬£¬£¬£¬£¬Ðí´óÅú»¯Ëã·¨¶¼ÎÞ·¨´øÀ´ÊµÖÊÐÔ¼ÓËÙ¡£¡£¡£¡£¡£¡£¡£
ÒýÈëÒ»¸ö¿´·¨£ºÀíÂÛÅÌËã·åÖµ¡£¡£¡£¡£¡£¡£¡£ÔÚ¸ßÐÔÄÜÅÌËãÁìÓò£¬£¬£¬£¬£¬Õâ¿´·¨Ò»Ñùƽ³£±»½ç˵Ϊ£ºµ¥Î»Ê±ÖÓÖÜÆÚÄÚÄÜÍê³ÉµÄÅÌËã¸öÊý ³ËÉÏ Ð¾Æ¬ÆµÂÊ¡£¡£¡£¡£¡£¡£¡£
ʲôÑùµÄÁ¿»¯ÒªÁì¿ÉÒÔ´øÀ´Ç±ÔÚ¡¢¿ÉÂ䵨µÄËÙÂÊÌáÉýÄØ£¿£¿£¿£¿£¿£¿ÎÒÃÇ×ܽáÐèÒªÖª×ãÁ½¸öÌõ¼þ£º
1¡¢Á¿»¯ÊýÖµµÄÅÌËãÔÚ°²ÅÅÓ²¼þÉϵķåÖµÐÔÄܸü¸ß ¡£¡£¡£¡£¡£¡£¡£
2¡¢Á¿»¯Ëã·¨ÒýÈëµÄÌØÊâÅÌË㣨overhead£©ÉÙ ¡£¡£¡£¡£¡£¡£¡£
Ҫ׼ȷÃ÷È·ÉÏÊöÌõ¼þ£¬£¬£¬£¬£¬ÐèÒªÓÐÒ»¶¨µÄ¸ßÐÔÄÜÅÌËã»ù´¡ÖªÊ¶£¬£¬£¬£¬£¬ÏÞÓÚÆª·ù¾Í²»Õö¿ªÌÖÂÛÁË¡£¡£¡£¡£¡£¡£¡£ÏÖÖ±½Ó¸ø³öÈçϽáÂÛ£ºÒÑÖªÌáËÙ¸ÅÂʽϴóµÄÁ¿»¯ÒªÁìÖ÷ÒªÓÐÈçÏÂÈýÀ࣬£¬£¬£¬£¬
1¡¢¶þÖµ»¯£¬£¬£¬£¬£¬Æä¿ÉÒÔÓüòÆÓµÄλÔËËãÀ´Í¬Ê±ÅÌËã´ó×ÚµÄÊý¡£¡£¡£¡£¡£¡£¡£±ÈÕÕ´Ónvdia gpuµ½x86ƽ̨£¬£¬£¬£¬£¬1bitÅÌËã»®·ÖÓÐ5µ½128±¶µÄÀíÂÛÐÔÄÜÌáÉý¡£¡£¡£¡£¡£¡£¡£ÇÒÆäÖ»»áÒýÈëÒ»¸öÌØÁíÍâÁ¿»¯²Ù×÷£¬£¬£¬£¬£¬¸Ã²Ù×÷¿ÉÒÔÏíÊܵ½SIMD£¨µ¥Ö¸Áî´ó¶¼¾ÝÁ÷£©µÄ¼ÓËÙÊÕÒæ¡£¡£¡£¡£¡£¡£¡£
2¡¢ÏßÐÔÁ¿»¯£¬£¬£¬£¬£¬ÓÖ¿Éϸ·ÖΪ·Ç¶Ô³Æ£¬£¬£¬£¬£¬¶Ô³ÆºÍristretto¼¸ÖÖ¡£¡£¡£¡£¡£¡£¡£ÔÚnvdia gpu£¬£¬£¬£¬£¬x86ºÍarmƽ̨ÉÏ£¬£¬£¬£¬£¬¾ùÖ§³Ö8bitµÄÅÌË㣬£¬£¬£¬£¬Ð§ÂÊÌáÉý´Ó1±¶µ½16±¶²»µÈ£¬£¬£¬£¬£¬ÆäÖÐtensor coreÉõÖÁÖ§³Ö4bitÅÌË㣬£¬£¬£¬£¬ÕâÒ²ÊǺÜÊÇÓÐDZÁ¦µÄÆ«Ïò¡£¡£¡£¡£¡£¡£¡£ÓÉÓÚÏßÐÔÁ¿»¯ÒýÈëµÄÌØÊâÁ¿»¯/·´Á¿»¯ÅÌËã¶¼ÊDZê×¼µÄÏòÁ¿²Ù×÷£¬£¬£¬£¬£¬Ò²¿ÉÒÔʹÓÃSIMD¾ÙÐмÓËÙ£¬£¬£¬£¬£¬´øÀ´µÄÌØÊâÅÌËãºÄʱ²»´ó¡£¡£¡£¡£¡£¡£¡£
3¡¢¶ÔÊýÄ¿»¯£¬£¬£¬£¬£¬Ò»¸ö½ÏÁ¿ÌØÊâµÄÁ¿»¯ÒªÁì¡£¡£¡£¡£¡£¡£¡£¿£¿£¿£¿£¿£¿ÉÒÔÏëÏóһϣ¬£¬£¬£¬£¬Á½¸öͬµ×µÄÃÝÖ¸Êý¾ÙÐÐÏà³Ë£¬£¬£¬£¬£¬ÄÇôµÈ¼ÛÓÚÆäÖ¸ÊýÏà¼Ó£¬£¬£¬£¬£¬½µµÍÁËÅÌËãÇ¿¶È¡£¡£¡£¡£¡£¡£¡£Í¬Ê±¼Ó·¨Ò²±»×ª±äΪË÷ÒýÅÌËã¡£¡£¡£¡£¡£¡£¡£µ«Ã»Óп´µ½ÓÐÔÚÈý´óƽ̨ÉÏʵÏÖ¶ÔÊýÄ¿»¯µÄ¼ÓËٿ⣬£¬£¬£¬£¬¿ÉÄÜ×ÅʵÏֵļÓËÙЧ¹û²»ÏÔ×Å¡£¡£¡£¡£¡£¡£¡£Ö»ÓÐһЩרÓÃоƬÉÏʹÓÃÁ˶ÔÊýÄ¿»¯¡£¡£¡£¡£¡£¡£¡£

¼òÆÓ¿´Ò»Ï¶þÖµ»¯ºÍÏßÐÔÁ¿»¯Á½ÖÖ·½·¨£¬£¬£¬£¬£¬»®·ÖÊÇÓÒÉϽǵÄͼºÍÓÒϽǵÄͼ¡£¡£¡£¡£¡£¡£¡£
×ܽáһϣ¬£¬£¬£¬£¬ÒªÊ¹ÓÃÁ¿»¯ÊÖÒÕÀ´ÌáÉýÄ£×ÓÔËÐÐËÙÂÊ£¬£¬£¬£¬£¬ÐèÒªÖª×ãÁ½¸öÌõ¼þ£º
1¡¢Ñ¡ÔñÊʺϰ²ÅŵÄÁ¿»¯¼Æ»®¡£¡£¡£¡£¡£¡£¡£
2¡¢ÔÚ°²ÅÅÆ½Ì¨ÉÏʹÓþÓÉÉî¶ÈÓÅ»¯µÄÁ¿»¯ÅÌËã¿â£¨ÐëÒªµÄʱ¼ä£¬£¬£¬£¬£¬¿ÉÄÜÐèҪߣÆðÐä×Ó×Ô¼ºÉÏ£©¡£¡£¡£¡£¡£¡£¡£
Ê×ÏȰü¹ÜÄãʵÏֵĵͱÈÌØÅÌËãЧÂÊÁè¼ÝÔÏȸ¡µãÅÌË㣬£¬£¬£¬£¬²»È»ÎªºÎÒª¼ç¸º¾«¶ÈËðʧµÄΣº¦¶øÊ¹Óò¢²»¼ÓËÙµÄÁ¿»¯Ä£×ÓÄØ¡£¡£¡£¡£¡£¡£¡£µ«µÍ±ÈÌØÅÌËãЧÂÊÁè¼Ý¸¡µãÅÌËã×Åʵ²¢½ûÖ¹Ò×£¬£¬£¬£¬£¬ÓÉÓÚ¸÷ÈËÔÚ¸¡µãµÄÅÌËã¿âÉÏÒѾ×öÁ˺ÜÊǶàÏ꾡µÄÓÅ»¯ºÃ±Èwinograd£¬£¬£¬£¬£¬¼ä½Ó¾í»ýµÈµÈ¡£¡£¡£¡£¡£¡£¡£
ΪÁË×î´óÏ޶Ȱü¹ÜÊÊÓÃÐÔ£¬£¬£¬£¬£¬ºóÃæµÄÂÛÎÄËùÓÐÊÂÇé¶¼ÊÇ»ùÓÚ¶þÖµ»¯¡¢ÏßÐÔÁ¿»¯Á½ÖÖÌõ¼þÀ´×öµÄ£¬£¬£¬£¬£¬²¢ÇÒ¾ø´ó²¿·ÖÊÂÇé¶¼±¨¸æ×îÖÕÏÖʵµÄ¼ÓËÙЧ¹û¡£¡£¡£¡£¡£¡£¡£ÕâÒ²ÊÇÁ´½ÓÓë±àÒëÍŶÓ×öÑо¿µÄÒ»¸öÆø¸Å¡£¡£¡£¡£¡£¡£¡£
4 ½µµÍÄÚ´æ

Ä£×ÓÁ¿»¯ÉÐÓÐÒ»¸öDZÔÚµÄÀûÒæÊǽµµÍÔËÐÐʱÄÚ´æÕ¼Ó㬣¬£¬£¬£¬Õâ¸öÌØÕ÷ÎÞÂÛÊÇÔÚÒÆ¶¯¶ËÕÕ¾ÉÔÆ¶Ë¶¼ÊǾßÓÐÏÖʵÒâÒåµÄ¡£¡£¡£¡£¡£¡£¡£ÈôÊǽµµÍÄÚ´æÕ¼Ó㬣¬£¬£¬£¬¿ÉÒÔ»ñµÃÈçÏÂÀûÒæ£º
1¡¢½µµÍ·Ã´æÁ¿£¬£¬£¬£¬£¬±£´æÌáÉýËÙÂʵĿÉÄÜ ¡£¡£¡£¡£¡£¡£¡£
2¡¢ÔÚͬÑùÓ²¼þÇéÐÎÏ£¬£¬£¬£¬£¬Í¬Ê±´¦Öóͷ£¸ü¶àÊÓÆµ»òÕßÊÓÆµÂ·Êý ¡£¡£¡£¡£¡£¡£¡£
3¡¢ÑµÁ·¸ü´óµÄÄ£×Ó¡£¡£¡£¡£¡£¡£¡£
ÎÒÃÇÆÊÎöÏÂÔËÐÐʱÄÚ´æ¶¼ÊDZ»Ê²Ã´¹¤¾ßÕ¼Óõ쬣¬£¬£¬£¬¸÷ÈËÌåÌùµÄ²ÎÊýweightÖ»Õ¼ºÜÉÙÒ»²¿·Ö£¬£¬£¬£¬£¬ ´ó²¿·ÖÄÚ´æÕ¼ÓÃÀ´×Ô¼¤»îÖµactivation¡£¡£¡£¡£¡£¡£¡£ÈôÊÇÄã×öµÍ±ÈÌØÁ¿»¯Ö»¹Ø×¢¾í»ýµÄ»°£¨Ðí¶àÂÛÎÄ×ÅʵҲÊÇÖ»Á¿»¯Á˾í»ý£©£¬£¬£¬£¬£¬ÄÇôÊÇÎÞ·¨´øÀ´ÄÚ´æÕ¼ÓýµµÍµÄ¡£¡£¡£¡£¡£¡£¡£
ÔõÑù²Å»ªÓÃÁ¿»¯½µµÍÄÚ´æÕ¼Ó㬣¬£¬£¬£¬Ö»ÓÐÒ»¸ö·½·¨: ½«¾¡¿ÉÄܶàµÄlayerµÄ¼¤»îÖµ¶¼¾ÙÐÐÁ¿»¯ ¡£¡£¡£¡£¡£¡£¡£ÔÚÕâ¸öÆ«ÏòÉÏ֮ǰÉÌÌÀµÄһλʵϰÉúÀîÈó¶«Ò²ÓÐÒ»¸öÊÂÇ飬£¬£¬£¬£¬×öÁ˳ýÁ˾í»ýÖ®Íâ¸ü¶à²ãµÄÁ¿»¯¡£¡£¡£¡£¡£¡£¡£¿ÉÊÇÕâÑù×ö»á´øÀ´¸ü¶àµÄ¾«¶ÈËðʧ£¬£¬£¬£¬£¬Õâ¿ÉÄÜÒ²ÊǸ÷ÈËÐèÒªÌåÌùµÄ¡£¡£¡£¡£¡£¡£¡£
5 Éú²úÁ¿»¯Ä£×Ó

Éú²úÒ»¸öÁ¿»¯Ä£×ÓµÄÓÐÒÔϼ¸ÖÖÒªÁ죬£¬£¬£¬£¬½è¼øÁËICCV2019ÉÏһƪdata-freeÁ¿»¯ÂÛÎĵĽç˵¡£¡£¡£¡£¡£¡£¡£
L1£ºÖ±½Ó½«Ò»¸ö¸¡µã²ÎÊýÖ±½Óת»¯³ÉÁ¿»¯Êý£¬£¬£¬£¬£¬Ò»Ñùƽ³£»á´øÀ´ºÜ´óµÄ¾«¶ÈËðʧ£¬£¬£¬£¬£¬µ«Ê¹ÓÃÉϺÜÊǼòÆÓ¡£¡£¡£¡£¡£¡£¡£
L2£º»ùÓÚÊý¾ÝУ׼µÄ¼Æ»®£¬£¬£¬£¬£¬Ðí¶àоƬ¶¼»áÌṩÕâÑùµÄ¹¦Ð§£¬£¬£¬£¬£¬ºÃ±ÈtensorRT£¬£¬£¬£¬£¬¸ßͨ£¬£¬£¬£¬£¬º®Îä¼ÍµÈ¡£¡£¡£¡£¡£¡£¡£ËüÐèҪתģ×ÓµÄʱ¼äÌá¹©Ò»Ð©ÕæÊµµÄÅÌËãÊý¾Ý¡£¡£¡£¡£¡£¡£¡£
L3£º»ùÓÚѵÁ·finetuneµÄ¼Æ»®£¬£¬£¬£¬£¬ÓÐÐí¶àÂÛÎͼÊÇʹÓÃÕâÖÖÒªÁ죬£¬£¬£¬£¬ËüµÄÀûÒæÊÇ¿ÉÒÔ´øÀ´¸ü´óµÄ¾«¶ÈÌáÉý£¬£¬£¬£¬£¬ÈõµãÊÇÐèÒªÐÞ¸ÄѵÁ·´úÂ룬£¬£¬£¬£¬ÊµÑéÖÜÆÚ½ÏÁ¿³¤¡£¡£¡£¡£¡£¡£¡£
ÉÏͼÐÎòÁËÒ»ÖÖÊÊÓõÄpipelineÁ÷³Ì£¬£¬£¬£¬£¬Ò»Ñùƽ³£»áÓÅÏÈʹÓò»¾ÙÐÐfinetuneµÄofflineÒªÁ죬£¬£¬£¬£¬Ò²¾ÍÊÇÀëÏ߼ƻ®¡£¡£¡£¡£¡£¡£¡£µ±ÀëÏ߼ƻ®¾«¶ÈËðʧ¹ýÓÚÑÏÖØ£¬£¬£¬£¬£¬ÎÒÃDzŻá¾ÙÐлùÓÚfinetuneµÄÒªÁ죬£¬£¬£¬£¬À´×ö½øÒ»²½µÄÇÀ¾È¡£¡£¡£¡£¡£¡£¡£
6 Á¿»¯Ä£×ÓµÄÂ䵨

×îºóÁÄÁÄ×è°Ä£×ÓÁ¿»¯Ëã·¨Â䵨µÄ¼¸¸öÎÊÌ⣬£¬£¬£¬£¬½¹µãËäÈ»ÊǾ«¶ÈÎÊÌâ¡£¡£¡£¡£¡£¡£¡£ÎÒÃÇ·¢Ã÷ËäȻѧÊõ½ç¸÷È˺ÜÔç¾Í×îÏÈ×öÁ¿»¯£¬£¬£¬£¬£¬µ«ÏÖÔÚËã·¨»¹ÎÞ·¨´ó¹æÄ£Â䵨¡£¡£¡£¡£¡£¡£¡£Ö÷Òª±£´æ¼¸¸ögap£º
1¡¢¿ÉÂ䵨µÄÏßÐÔÁ¿»¯¼Æ»®ÎÞ·¨ºÜºÃµÄÃè»æÒ»Ð©ÂþÑÜ£¬£¬£¬£¬£¬ºÃ±È¸ß˹ÂþÑÜ
2¡¢±ÈÌØÊýÔ½µÍ£¬£¬£¬£¬£¬¾«¶ÈËðʧ¾ÍÔ½´ó£¬£¬£¬£¬£¬ÊÊÓÃÐÔ¾ÍÔ½²î
3¡¢Ê¹ÃüÔ½ÄÑ£¬£¬£¬£¬£¬¾«¶ÈËðʧԽ´ó£¬£¬£¬£¬£¬ºÃ±Èʶ±ðʹÃü£¬£¬£¬£¬£¬¾Í±È·ÖÀàʹÃüÒªÄѺÜÊǶà
4¡¢Ð¡Ä£×Ó»á±È´óÄ£×Ó¸üÄÑÁ¿»¯
5¡¢Ä³Ð©Ìض¨½á¹¹£¬£¬£¬£¬£¬Èçdepthwise£¬£¬£¬£¬£¬¶ÔÁ¿»¯¾«¶ÈÊ®·Ö²»ÓѺÃ
6¡¢³£¼ûµÄ¶Ô°²ÅÅÓѺõÄÒªÁìºÃ±Èmerge BN£¬£¬£¬£¬£¬È«Á¿»¯£¬£¬£¬£¬£¬¶¼»á¸ø¾«¶È´øÀ´¸ü´óµÄÌôÕ½
³ýÁ˾«¶ÈÍ⣬£¬£¬£¬£¬ÈíÓ²¼þÖ§³ÖÇ·ºÃÒ²ÊÇÒ»¸ö×è°£º²î±ðµÄÓ²¼þÖ§³ÖµÄµÍ±ÈÌØÖ¸ÁîÊÇ·×ÆçÑùµÄ£¬£¬£¬£¬£¬Í¬ÑùѵÁ·»ñµÃµÄµÍ±ÈÌØÄ£×Ó£¬£¬£¬£¬£¬ÎÞ·¨Ö±½Ó°²ÅÅÔÚËùÓÐÓ²¼þÉÏ¡£¡£¡£¡£¡£¡£¡£³ýÁËÓ²¼þÖ®Í⣬£¬£¬£¬£¬²î±ðÈí¼þ¿âʵÏÖµÄÁ¿»¯¼Æ»®ºÍϸ½ÚÒ²·×ÆçÑù£¬£¬£¬£¬£¬Á¿»¯Ï¸½ÚÀï°üÀ¨Á¿»¯Î»Öá¢ÊÇ·ñÖ§³Öperchannel¡¢ÊÇ·ñ»ìÏý¾«¶ÈµÈµÈ¡£¡£¡£¡£¡£¡£¡£×ÝȻӲ¼þÖ§³ÖÁËÁ¿»¯£¬£¬£¬£¬£¬µ«Äã»á·¢Ã÷²»ÊÇËùÓÐÓ²¼þ¿ÉÒÔÔڵͱÈÌØÉÏÌṩ¸üºÃµÄËÙÂÊÌáÉý£¬£¬£¬£¬£¬ Ôì³ÉÕâ¸ö״̬µÄÖ÷ÒªÔµ¹ÊÔÓÉÓжà¸ö£¬£¬£¬£¬£¬Ò»·½ÃæÊÇÖ¸Á·åÖµÌáÉý¿ÉÄÜ×Ô¼º¾Í²¢Î´¼¸£¬£¬£¬£¬£¬¶øÒªÒýÈë½Ï¶àµÄÌØÊâÅÌË㣬£¬£¬£¬£¬ÁíÒ»·½ÃæÒ²È¡¾öÓÚÈí¼þ¹¤³ÌʦÓÅ»¯Ö¸ÁîµÄˮƽ£¬£¬£¬£¬£¬Í¬Ê±ÓÉÓÚÍøÂç½á¹¹ÎÞа¶àÑù£¬£¬£¬£¬£¬·×Æç¶¨ÄÜÔÚ²î±ðÍøÂç½á¹¹ÉϵִïͬÑùºÃµÄ¼ÓËٱȣ¬£¬£¬£¬£¬ÐèÒªÓÅ»¯×ã¹»¶àµÄµÄcorner case²Å¿ÉÒÔ½â¾ö¡£¡£¡£¡£¡£¡£¡£
ÐÅÍи÷È˶ÔÄ£×ÓÁ¿»¯µÄ¿´·¨ºÍÂ䵨ÄѵãÓÐÁËÒ»¸öϵͳÐÔµÄÊìϤ¡£¡£¡£¡£¡£¡£¡£ÎҵIJ¿·Ö¾Íµ½ÕâÀï¿¢ÊÂÁË£¬£¬£¬£¬£¬ÏÂÃæÊǸ÷ÈË×îÆÚ´ýµÄÂÛÎĽâ¶Áʱ¼ä¡£¡£¡£¡£¡£¡£¡£
Part 2 ÂÛÎĽâ¶Á
1 µÍ±ÈÌØÁ¿»¯£ºDifferentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks£¨ICCV 2019£©
ÓÉÓÚÁ¿»¯º¯Êý×Ô¼ºÊÇÀëÉ¢²»¿Éµ¼µÄ£¬£¬£¬£¬£¬µ¼ÖÂÆäÎÞ·¨Ïñ±ê×¼Éñ¾ÍøÂçÒ»ÑùʹÓ÷´ÏòÈö²¥ÅÌËãÌݶȣ¬£¬£¬£¬£¬Ò»¸ö³£ÓõÄ×ö·¨ÊÇʹÓÃÌݶÈֱͨԤ¼ÆÆ÷£¨STE£©£¬£¬£¬£¬£¬¼´ÔÚ·´ÏòÀú³ÌÖкöÂÔÁ¿»¯ÕâÒ»°ì·¨±¬·¢µÄÓ°Ï죬£¬£¬£¬£¬¶øÕâÒ²¾Í×ÔÈ»µÄ´øÀ´ÁËÌݶȽû¾øÈ·µÄÎÊÌâ¡£¡£¡£¡£¡£¡£¡£È¨ÖؾÓÉSTEÄõ½µÄÌݶȸúËüÓ¦¸ÃÄõ½µÄÌݶÈÊDz»Æ¥ÅäµÄ¡£¡£¡£¡£¡£¡£¡£ICLR 2020ÄêÓÐһƪÂÛÎÄͨ¹ýʵÑéÏêϸµÄÆÊÎöÁËÕâÒ»Õ÷Ï󣬣¬£¬£¬£¬·¢Ã÷Ëæ×űÈÌØÊýµÄ½µµÍ£¬£¬£¬£¬£¬²»Æ¥ÅäµÄÕ÷ÏóÔ½·¢ÏÔ×Å¡£¡£¡£¡£¡£¡£¡£

ÕâÈõͱÈÌØÁ¿»¯ÍøÂçºÜÄѸßЧѵÁ·£¬£¬£¬£¬£¬Õë¶ÔÕâ¸öÎÊÌ⣬£¬£¬£¬£¬¸ÃÎÄÕÂÌá³öÁËÒ»¸ö¿É΢·ÖµÄÈíÁ¿»¯º¯ÊýDSQ£¬£¬£¬£¬£¬ÒýÈëÁË¿ÉÇóµ¼µÄÁ¿»¯º¯Êý£¬£¬£¬£¬£¬»º½âÁ˲»¿ÉÇóµ¼´øÀ´µÄÌݶȲ»Æ¥ÅäÎÊÌâ¡£¡£¡£¡£¡£¡£¡£Í¬Ê±£¬£¬£¬£¬£¬Õâ¸öº¯ÊýËæ×ÅѵÁ·µÄ¾ÙÐпÉÒÔÖð²½Ç÷½ü³ß»³±§»¯£¬£¬£¬£¬£¬Òò´Ë¿ÉÒÔÔÚ°²ÅÅʱֱ½ÓʹÓøßЧµÄÏßÐԵͱÈÌØÁ¿»¯º¯Êý¾ÙÐÐÍÆÀí£¬£¬£¬£¬£¬±ðµÄ£¬£¬£¬£¬£¬ÓÉÓÚÕâ¸öº¯ÊýÊÇ¿ÉÒÔÇ󵼵쬣¬£¬£¬£¬Òò´Ë½Ø¶ÏÖµÒ²Äܹ»Ö±½Ó±»ÓÅ»¯£¬£¬£¬£¬£¬ÔÚѵÁ·Àú³ÌÖÐÆ½ºâ½Ø¶ÏÎó²îºÍÈ¡ÕûÎó²î¼äµÄ¹ØÏµ¡£¡£¡£¡£¡£¡£¡£

ͨ¹ý¿ÉÊÓ»¯ÆÊÎö£¬£¬£¬£¬£¬ÎÒÃÇ·¢Ã÷¾ÓÉDSQº¯Êýºó£¬£¬£¬£¬£¬²ÎÊýµÄÂþÑÜÔ½·¢¿¿½üÓÚÁ¿»¯ºóµÄÂþÑÜ£¬£¬£¬£¬£¬¼õСÁ˸¡µã²ÎÊýºÍÁ¿»¯²ÎÊýµÄºè¹µ¡£¡£¡£¡£¡£¡£¡£ÎªÁËÑéÖ¤ÕâÌ×ÒªÁìµÄЧÂÊ£¬£¬£¬£¬£¬ÎÒÃÇ»ùÓÚARM NEONÖеÄSADDWºÍMLAÖ¸ÁîʵÏÖÁ˸ßЧµÄµÍ±ÈÌØ¾í»ý£¬£¬£¬£¬£¬²¢ÔÚÊ÷Ý®ÅÉÉÏÒÔResNet-18Ϊ»ù´¡¾ÙÐвâÊÔ£¬£¬£¬£¬£¬Ïà±ÈÌÚѶ¿ªÔ´µÄ¸ßÐÔÄÜÍÆÀí¿âNCNNÓÐ1.6±¶×óÓÒµÄÌáËÙ¡£¡£¡£¡£¡£¡£¡£

ÂÛÎĵص㣺https://arxiv.org/abs/1908.05033
2 Ä£×Ó¶þÖµ»¯£ºIR-Net: Forward and Backward Information Retention for Highly Accurate Binary Neural Networks£¨CVPR 2020£©
Ä£×Ó¶þÖµ»¯ÔÚÄ£×ӵ碌îÖµºÍ²ÎÊýÉÏÖ»ÓÐÁ½¸öÖµ£¨0ºÍ1£©ÌåÏÖ£¬£¬£¬£¬£¬¿ÉÒÔÔ¤¼ûµÄÊÇÕâÑùÁ¿»¯Ò»¶¨»á´øÀ´½Ï´óµÄ¾«¶ÈºÍÐÅÏ¢Ëðʧ¡£¡£¡£¡£¡£¡£¡£¸ÃÎÄÕÂÒýÈëÁËÐÅÏ¢ìØ£¬£¬£¬£¬£¬ÒÔÁ¿»¯²ÎÊýºÍ¸¡µã²ÎÊýµÄÐÅÏ¢ìØ×÷Ϊģ×ӵįÀÅбê×¼¡£¡£¡£¡£¡£¡£¡£
³ýÁËǰÏòÐÅÏ¢Ëðʧ£¬£¬£¬£¬£¬¶þÖµ»¯Ä£×ÓÔÚ·´ÏòÀú³ÌÖÐÃæÁÙµÄÌôÕ½¸ü´ó£¬£¬£¬£¬£¬±ê×¼µÄºãµÈÓ³ÉäÌݶȽüËÆ»áµ¼Ö½ϴóµÄÌݶÈÎó²î£¬£¬£¬£¬£¬¶ø°üÀ¨½Ø¶Ï½¨Ä£µÄÌݶȽüËÆ»áʹµÃ´ó×Ú±»½Ø¶ÏµÄÊýÖµ²»¿É»ñµÃ¸üУ¬£¬£¬£¬£¬ËðʧÁ˸üÐÂÄÜÁ¦¡£¡£¡£¡£¡£¡£¡£¸ÃÎÄÕÂÌá³öÁËÁ½½×¶Î½üËÆÌݶÈÔ¤¼ÆÆ÷£¬£¬£¬£¬£¬ÈÃÄ£×ÓÓÅ»¯ÔÚǰÆÚ¼á³Ö½ÏÁ¿¸ßµÄ¸üÐÂÄÜÁ¦£¬£¬£¬£¬£¬ºóÆÚÌݶȵÄÎó²î¸üµÍ¡£¡£¡£¡£¡£¡£¡£

ͬÑùÔÚÊ÷Ý®ÅÉÉϾÙÐÐÁËËÙÂÊÑéÖ¤£¬£¬£¬£¬£¬½èÖú¾©¶«¿ªÔ´µÄdaBNNÍÆÀí¿â£¬£¬£¬£¬£¬²âÊÔÁËIR-NetµÄÐÔÄÜ£¬£¬£¬£¬£¬Ïà±ÈdaBNNÖеÄÈ«¾«¶ÈÄ£×Ó£¬£¬£¬£¬£¬Ô¼ÄªÓÐ5.6±¶×óÓÒµÄËÙÂÊÌáÉý¡£¡£¡£¡£¡£¡£¡£

ÂÛÎĵص㣺https://arxiv.org/abs/1909.10788
ÏîÄ¿µØµã£ºhttps://github.com/htqin/IR-Net
3 8bitѵÁ·¼ÓËÙ£ºTowards Unified INT8 Training for Convolutional Neural Network£¨CVPR 2020£©
³ýÁËʹÓÃÁ¿»¯ÊÖÒÕ¼ÓËÙǰÏòÍÆÀíÀú³Ì£¬£¬£¬£¬£¬ÊÇ·ñÄܹ»½øÒ»²½¼ÓËÙ°üÀ¨·´ÏòÈö²¥ÔÚÄÚµÄÌݶÈÅÌËãÀú³ÌÄØ£¿£¿£¿£¿£¿£¿ÆÊÎö·¢Ã÷·´ÏòÈö²¥ÔÚѵÁ·Àú³ÌÖÐÕ¼ÓÃÁËÒ»°ëµÄʱ¼ä£¬£¬£¬£¬£¬ÈôÊÇÄÜïÔÌÕâ¸öʱ¼ä£¬£¬£¬£¬£¬ÄÇô¾ÍÄÜ´ó´óÔöÌíѵÁ·Ð§ÂÊ¡£¡£¡£¡£¡£¡£¡£Ò»¸öÖ±½ÓµÄÏë·¨¾ÍÊÇÁ¿»¯Ìݶȣ¬£¬£¬£¬£¬µ«ÕâÑù×ö»áµ¼ÖÂѵÁ·²»ÊÕÁ²¡£¡£¡£¡£¡£¡£¡£¾ÓÉͳ¼Æ£¬£¬£¬£¬£¬ÎÒÃÇ·¢Ã÷ÌݶȵÄÂþÑÜÓ뼤»îÖµºÍ²ÎÊýÖµÓкܴó²î±ð£¬£¬£¬£¬£¬´ó×Ú²ÎÊý·ºÆðÔÚ0ÖÜΧ£¬£¬£¬£¬£¬Í¬Ê±±£´æ½Ï´óµÄ¼«¶ËÖµ£¬£¬£¬£¬£¬ÈôÊÇ¶ÔÆä¾ÙÐÐÁ¿»¯»á´øÀ´ºÜÊÇ´óµÄÁ¿»¯Îó²î¡£¡£¡£¡£¡£¡£¡£

·¢Ã÷ÁËÌݶȵÄÌØÕ÷ºó£¬£¬£¬£¬£¬ÎÒÃÇ´ÓÀíÂ۽ǶȾÙÐÐÁËÆÊÎö£¬£¬£¬£¬£¬½è¼øÁËÓÅ»¯ÀíÂÛÖеĺó»ÚÖµÆÊÎö¡£¡£¡£¡£¡£¡£¡£ÍƵ¼³öÁËÒýÈëÌÝ»³±§»¯Ö®ºóµÄÊÕÁ²ÐÔÉϽ磺

¸ÃÉϽç°üÀ¨ÈýÏ£¬£¬£¬£¬ÆäÖеÚÒ»ÏîËæ¸üеü´úµÄ¾ÙÐлáÇ÷ÏòÓÚÁ㣬£¬£¬£¬£¬Òò´ËÖ÷ÒªÓɺóÁ½Ïî¾öÒ飬£¬£¬£¬£¬»®·Ö¶ÔÓ¦Á¿»¯Îó²îµÄ¾ÞϸºÍѧϰÂÊ¡£¡£¡£¡£¡£¡£¡£Ö»ÓÐÈ·±£¸ÃÉϽ羡¿ÉÄÜС£¬£¬£¬£¬£¬ÊÕÁ²ÐԲŻª»ñµÃ°ü¹Ü¡£¡£¡£¡£¡£¡£¡£

Òò´ËÕë¶ÔµÚ¶þÏîºÍµÚÈýÏ£¬£¬£¬£¬Í¨¹ýʹÁ¿»¯ÌݶÈÓëÏÖʵÌݶȵÄcosine¾àÀëÔ½·¢¿¿½ü£¬£¬£¬£¬£¬½µµÍÁ¿»¯Îó²î£¬£¬£¬£¬£¬È»ºóƾ֤Îó²îµÄ¾Þϸ¼õСѧϰÂÊ£¬£¬£¬£¬£¬Ê¹µÃ¾¡¿ÉÄÜÔÚÔ½·¢×¼È·µÄÆ«ÏòÉϾÙÐиüУ¬£¬£¬£¬£¬²¢ÇÒ²»»áÔÚ¹ýʧµÄÆ«ÏòÉϸüйý¶à£¬£¬£¬£¬£¬¿ÉÒÔ°ü¹ÜÔÚÊÕÁ²½çÏßÄÚ¸üУ¬£¬£¬£¬£¬È·±£Õý³£ÊÕÁ²¡£¡£¡£¡£¡£¡£¡£ÂÛÎÄÔÚ·ÖÀàºÍÄ¿µÄ¼ì²âʹÃüÉ϶¼¾ÙÐÐÁ˾«¶ÈÑéÖ¤£¬£¬£¬£¬£¬ËðʧÔÚ1%×óÓÒ¡£¡£¡£¡£¡£¡£¡£

½èÖú¸ßÐÔÄÜÍŶÓÌṩµÄÆðÔ´ÓÅ»¯ÊµÏÖ£¬£¬£¬£¬£¬¸ÃÒªÁì¿ÉÒÔÔÚNVIDIA GTX 1080TIÉÏ´øÀ´22%µÄ¼ÓËÙ¡£¡£¡£¡£¡£¡£¡£

ÂÛÎĵص㣺https://arxiv.org/abs/1912.12607
4 µÍ±ÈÌØÈËÁ³Ê¶±ð£ºRotation Consistent Margin Loss for Efficient Low-bit Face Recognition£¨CVPR 2020£©
ÓÉÓÚ¿ª¼¯ÎÊÌâÀï²âÊÔ¼¯Öб£´æÑµÁ·¼¯²»±£´æµÄÖֱ𣬣¬£¬£¬£¬Òò´Ëʶ±ðʹÃü±È·ÖÀàʹÃü¸üÄÑ£¬£¬£¬£¬£¬ÆÀ¼ÛÖ¸±êÒ²Ô½·¢ÑϿᡣ¡£¡£¡£¡£¡£¡£¶øÒýÈëÁ¿»¯Ö®ºó£¬£¬£¬£¬£¬Ò²¾ÍÃæÁÙןü´óµÄÌôÕ½¡£¡£¡£¡£¡£¡£¡£ÎªÁËÉîÈëÆÊÎöÈËÁ³Ê¶±ðÊÜÁ¿»¯µÄÓ°Ï죬£¬£¬£¬£¬ÂÛÎÄÊ×ÏÈ»ùÓÚÈËÁ³ÌØÕ÷ʹÓüнǻ³±§×÷ΪÏàËÆ¶ÈȨºâµÄ¹²Ê¶½ç˵ÁËÁ¿»¯Îó²î£¬£¬£¬£¬£¬²¢½ç˵Á¿»¯ºóµÄÀàÖÐÐÄΪÊôÓÚ¸ÃÀàËùÓÐÑù±¾ÌØÕ÷¾ÙÐÐÁ¿»¯ºóµÄ¾ùÖµ¡£¡£¡£¡£¡£¡£¡£¶ÔÁ¿»¯Îó²î¾ÙÐÐÆÊÎö£¬£¬£¬£¬£¬·¢Ã÷ÒýÈëÁ¿»¯ºóÿ¸öÀàµÄÖÐÐͼÓÐËùÆ«ÒÆ£¬£¬£¬£¬£¬µ«ÀàÖ®¼äµÄ¼Ð½Ç¼á³ÖסÁË£¬£¬£¬£¬£¬ÀàÄڵľàÀë¼á³ÖµÄ½Ï²î¡£¡£¡£¡£¡£¡£¡£¿£¿£¿£¿£¿£¿ÉÒÔÃ÷È·³ÉÖÖÖÖÔÚÁ¿»¯ºó±¬·¢ÁËÒ»¸öÕûÌåµÄÐýת£¬£¬£¬£¬£¬Ã¿¸öÀàµÄ½ô´ÕÐÔÓÐËùϽµ¡£¡£¡£¡£¡£¡£¡£

Òò´ËÎÄÕ½«Á¿»¯Îó²îÆÊÎö³ÉÀàÎó²îºÍ¸öÌåÎó²î¡£¡£¡£¡£¡£¡£¡£ÎÄÕÂÌá³öÁËÐýתһÖÂËðʧº¯Êý£¬£¬£¬£¬£¬Ê¹µÃÑù±¾¾ßÓÐÓëÀàÖÐÐÄÓÐͬÑùµÄÆ«ÒÆ£¬£¬£¬£¬£¬µÖÏûÁ¿»¯´øÀ´µÄÓ°Ï죬£¬£¬£¬£¬ÈÃÌØÕ÷Ô½·¢±£Ðò¡£¡£¡£¡£¡£¡£¡£

ÂÛÎÄÔÚ²î±ðÊý¾Ý¼¯ÉϾÙÐÐÁËʵÑ飬£¬£¬£¬£¬ÔÚ¼òÆÓµÄÊý¾Ý¼¯ÉÏ3/4bit»ù±¾Äܹ»¼á³Ö¾«¶È£¬£¬£¬£¬£¬ÔÚ¸üÓÐÌôÕ½µÄÊý¾Ý¼¯ÉÏÏà±È»ùÏßÒªÁìÒ²Äܹ»ÓÐ1-2%µÄ¾«¶ÈÌáÉý¡£¡£¡£¡£¡£¡£¡£

5 Á¿»¯ÓѺÃÍøÂç½á¹¹£ºDMS: Differentiable diMension Search for Binary Neural Networks£¨ICLR 2020 Workshop£©
¶ÔÁ¿»¯ºÍÍøÂç½á¹¹µÄ̽Ë÷£¬£¬£¬£¬£¬Ðí¶àÂÛÎͼ»á¶ÔÍøÂç½á¹¹¾ÙÐÐ΢µ÷£ºÔöÌíͨµÀÊýÄ¿£¬£¬£¬£¬£¬Ð޸Ŀç²ãÅþÁ¬µÈ¡£¡£¡£¡£¡£¡£¡£¹ØÓÚ¶þÖµ»¯Ä£×ÓÀ´ËµÕâЩ¸Ä¶¯ÄÜ´øÀ´±ÈÈ«¾«¶ÈÄ£×Ó¸ü´óµÄÊÕÒæ¡£¡£¡£¡£¡£¡£¡£

ÕâÆô·¢ÁËÎÒÃÇ£¬£¬£¬£¬£¬ÊÇ·ñ±£´æÒ»Ð©Ä£×ӽṹ£¬£¬£¬£¬£¬ËûÃǹØÓÚÁ¿»¯Ô½·¢ÓѺÃÄØ£¿£¿£¿£¿£¿£¿±¾ÎÄ´Ó¾í»ýºËoutput channelµÄ½Ç¶È¾ÙÐÐÁË̽Ë÷£¬£¬£¬£¬£¬½«Á¿»¯Å侰ϵÄchannel̽Ë÷ת»»ÎªÍøÂç½á¹¹ËÑË÷£¨NAS£©ÎÊÌâ¡£¡£¡£¡£¡£¡£¡£ChannelµÄËÑË÷¿Õ¼äÒ»Ñùƽ³£½Ï´ó£¬£¬£¬£¬£¬Ö±½ÓʹÓÃÒÑÓеÄNASÅöÃæÁÙºÜÊǸߵÄËÑË÷ÖØÆ¯ºó£¬£¬£¬£¬£¬ÎªÏàʶ¾öÕâ¸öÎÊÌ⣬£¬£¬£¬£¬±¾ÎÄÌá³öÁËËÑË÷¿Õ¼ä¾ÛÀàÒªÁì¡£¡£¡£¡£¡£¡£¡£Ê×ÏȽ«channelµÄ±ä»»²ÎÊýr½¨Ä£ÎªÌý´ÓLogisticÂþÑܵÄËæ»ú±äÁ¿£¬£¬£¬£¬£¬¹ãÒåµÄËÑË÷¿Õ¼ä¿ÉÒÔÒÔΪÊÇ´Ó¸ÃÂþÑÜÖоÙÐвÉÑù£¬£¬£¬£¬£¬ÎÒÃǽ«²ÉÑùÏÞÖÆÎªÈý¸öµã£º()£¬£¬£¬£¬£¬ÓÉÓÚLogisticÂþÑܵÄÂþÑܺ¯Êý¿ÉÒÔ¾ÙÐÐÇóµ¼£¬£¬£¬£¬£¬ºÍÄܹ»¾ÙÐÐÓÅ»¯£¬£¬£¬£¬£¬Í¬Ê±ÎÒÃǽ«¾ÙÐÐË¥¼õ£¬£¬£¬£¬£¬¼´¿É×îÖÕÊÕÁ²µ½ÉÏ£¬£¬£¬£¬£¬×÷Ϊ×îÓŵÄchannel·ÅËõϵÊý¡£¡£¡£¡£¡£¡£¡£
¶ÔËÑË÷¿Õ¼ä¾ÙÐн¨Ä££¬£¬£¬£¬£¬¶ÔÍøÂç½á¹¹¾ÙÐÐ̽Ë÷¡£¡£¡£¡£¡£¡£¡£

ʵÑéÅú×¢£¬£¬£¬£¬£¬ËÑË÷»ñµÃµÄ½á¹¹¾ßÓнϴóµÄ¾«¶ÈDZÁ¦£¬£¬£¬£¬£¬Ê¹ÓÃResNet-18ÍØÆË£¬£¬£¬£¬£¬Í¨¹ýѰÕÒ×îÓŵÄchannelÉèÖ㬣¬£¬£¬£¬ÔÚ²ÎÊýÄ¿±È±ê×¼BNNÉÙµÄÇéÐÎÏ£¬£¬£¬£¬£¬¿ÉÒÔʵÏÖ7%×óÓҵľ«¶ÈÌáÉý¡£¡£¡£¡£¡£¡£¡£

ÂÛÎĵص㣺
https://drive.google.com/file/d/1DgD1mIBv7MHwM27Vjvb-g8IwlUOv6UJF/view?usp=sharing
ÏîÄ¿µØµã£º
https://github.com/yhhhli/DMS_for_BNN
Part 3 Q&A
Q£ºÖ÷Á÷ѵÁ·¿ò¼ÜÊÇ·ñÖ§³ÖfinetuneÒªÁìµÄINT8Á¿»¯£¿£¿£¿£¿£¿£¿
A£ºfinetune ÒªÁìµÄINT8Á¿»¯ÔÚÏÖÔÚµÄtensorflowÀïÊÇÖ§³ÖµÃ½ÏÁ¿ºÃµÄ£¬£¬£¬£¬£¬¿ÉÒÔ¿´µ½googleµÄÁ¿»¯°×ƤÊéÖоÍÏÈÈÝÁËfinetune¡£¡£¡£¡£¡£¡£¡£PytorchÕýÔÚ²¹ÆëÕâ·½ÃæµÄ¹¦Ð§£¬£¬£¬£¬£¬ÔÚ1.3°æ±¾ÖмÓÈëÁËfinetune µÄÁ¿»¯¹¦Ð§£¬£¬£¬£¬£¬µ«»¹ÔÚʵÑé½×¶Î¡£¡£¡£¡£¡£¡£¡£ÒÔÊÇÏÖÔÚµÄPyTorch¿ò¼Ü×öµÄ½ÏÁ¿Ò»Ñùƽ³££¬£¬£¬£¬£¬µ«¹«Ë¾ÄÚ²¿»áÌṩÍêÉÆµÄfinetune¼Æ»®ºÍ¿ªÔ´Ëã·¨¡£¡£¡£¡£¡£¡£¡£
Q£º²î±ðÁ¿»¯Ê¹ÃüÄѶÈÓвî±ðµÄÔµ¹ÊÔÓÉÊÇʲô£¿£¿£¿£¿£¿£¿ÄÄЩʹÃü×÷ΪINT8Á¿»¯Ëðʧ»á½ÏÁ¿´ó£¿£¿£¿£¿£¿£¿
A£ºÀýÈç·ÖÀàʹÃü£¬£¬£¬£¬£¬Ö»Òª°ü¹Ü×îÖÕµÄÕ¹Íû¸ÅÂʵÄÏà¶Ô¾Þϸ£¬£¬£¬£¬£¬ÊǼá³Ö¹ØÏµ¼´¿É£¬£¬£¬£¬£¬µ«»Ø¹éʹÃü£¬£¬£¬£¬£¬ºÃ±È¼ì²âʹÃüƫһµã¶¼»áÓ°Ïìµ½¼ì²â³ö¿òµÄ׼ȷÐÔ£¬£¬£¬£¬£¬ÒÔÊÇ»á±È·ÖÀàʹÃüµÄÄѶȸü¸ß¡£¡£¡£¡£¡£¡£¡£ÊʲÅÌáµ½µÄÈËÁ³Ê¶±ðµÄʹÃüÊdzöfeatureµÄ£¬£¬£¬£¬£¬featureµÄÆ«ÏòÒÔ¼°×Ô¼ºÈ¨ºâµÄÄѶÈʹÆä±È·ÖÀàʹÃüÔ½·¢ÄÑÌ⣬£¬£¬£¬£¬ÒÔ¼°Ò»Ð©low levelµÄʹÃüÓÉÓÚÊä³öµÄ¸÷¸öÏñËØµã¶¼Òª¹Ë¼°µ½£¬£¬£¬£¬£¬ÒÔÊÇÒ²»á±È·ÖÀàʹÃü¸üÄÑÌâ¡£¡£¡£¡£¡£¡£¡£ÁíÍâ´ÓÂþÑÜ·½Ã棬£¬£¬£¬£¬Á¿»¯ÐèÒª×öÂþÑܵÄ˼Á¿£¬£¬£¬£¬£¬ÈôÊÇһЩʹÃü¶ÔÂþÑܲ»ÓѺ㬣¬£¬£¬£¬Á¿»¯µÄ°²ÅÅÒ²»áÔ½·¢ÄÑÌâ¡£¡£¡£¡£¡£¡£¡£
Q£ºÔÚ¶ÔÍøÂç½á¹¹ÓѺÃÐ͵ÄÁ¿»¯Àú³ÌÖÐ ¹ØÓÚchannel·ÖÅÉÉÏÓÐʲôÂÄÀú£¿£¿£¿£¿£¿£¿
A£º¿ÉÒÔ¿´µ½¹þ¹þ(haha)ÌåÓýÂÛÎÄÔö²¹ÖÊÁÏÖÐչʾÁË×îÖÕµÄchannelÊý£¬£¬£¬£¬£¬×ܽáÀ´¿´ÈôÊDzãÖÐ×Ô¼ºÅÌËãÁ¿½ÏС£¬£¬£¬£¬£¬ÄÇôËüµÄchannel¾ÍÐèÒª¸ü´óһЩ£¬£¬£¬£¬£¬²î±ðÍøÂç½á¹¹µÄ¼ÍÂÉÒ²ÓÐËù²î±ð¡£¡£¡£¡£¡£¡£¡£
Q£ºINT8 TrainingÊÇÖØÐÂ×îÏÈѵÁ·µÄʱ¼ä¾Í½ÓÄÉ8bit¶¨µãÂ𣿣¿£¿£¿£¿£¿ÕÕ¾É˵ÏÈÈ«FP32¾«¶È¾ÙÐÐѵÁ·Ò»¶Îʱ¼ä£¬£¬£¬£¬£¬ÔÙ¾ÙÐÐÁ¿»¯£¿£¿£¿£¿£¿£¿Êǽö¶Ô¾í»ý²ã¾ÙÐÐÁË8±ÈÌØ¶¨µãÁ¿»¯Â𣿣¿£¿£¿£¿£¿
A£ºÖØÐÂ×îÏÈѵÁ·µÄʱ¼ä¾Í½ÓÄÉ8bit¶¨µã¡£¡£¡£¡£¡£¡£¡£µÚ¶þÖÖÒªÌå»á¸üÎȹÌһЩ£¬£¬£¬£¬£¬µ«ÎÞ·¨µÖ´ï½ÏºÃµÄ¼ÓËÙЧ¹û¡£¡£¡£¡£¡£¡£¡£Ä¿½ñ¹þ¹þ(haha)ÌåÓý¼Æ»®ÀïÖ»¶Ô¾í»ý²ã¾ÙÐÐÁ¿»¯£¬£¬£¬£¬£¬²¢ÇÒûÓÐÌåÌùÈ«ÅþÁ¬²ãºÍµÚÒ»²ãµÄ¾í»ý£¬£¬£¬£¬£¬ÕâÊÇÒ»¸ö½ÏÁ¿±ê×¼µÄsetting£¬£¬£¬£¬£¬ÒÔÊÇÏÖÔÚµÖ´ïµÄ¼ÓËÙЧ¹û»¹Ã»Óкܺ㬣¬£¬£¬£¬ÔõÑù×öµÃ¸ü¿ìÊÇÐèÒªÆäËû²ã¶¼ÐèÒªÁ¿»¯µÄ¡£¡£¡£¡£¡£¡£¡£
Q£ºµ±Ä£×ÓÔÚÕæÕý°²ÅÅ£¬£¬£¬£¬£¬ÐèҪģ×ÓѹËõµÄʱ¼ä£¬£¬£¬£¬£¬Á¿»¯¡¢¼ôÖ¦¡¢ÖªÊ¶ÕôÁóµÈѹËõÒªÁìÒ»Ñùƽ³£»áʹÓÃÄÄÐ©ÄØ£¿£¿£¿£¿£¿£¿
A£ºÁ¿»¯ÊÇÒ»¸ö´ó²¿·ÖÓ²¼þƽ̨¶¼»áÖ§³ÖµÄ£¬£¬£¬£¬£¬Òò´Ë½ÏÁ¿³£Ó㻣»£»£»£»£»ÖªÊ¶ÕôÁóÓÐÀûÓÚ»ñµÃСģ×Ó£¬£¬£¬£¬£¬»¹¿ÉÒÔ½øÒ»²½ÌáÉýÁ¿»¯Ä£×ӵľ«¶È£¬£¬£¬£¬£¬ÒÔÊÇÕâ¸ö¼¼ÇÉÒ²»áʹÓ㬣¬£¬£¬£¬ÓÈÆäÊÇÔÚÓÐÒѾѵºÃ½ÏÁ¿Ç¿µÄ´óÄ£×ӵĻù´¡ÉÏ»áºÜÊÇÓÐÓᣡ£¡£¡£¡£¡£¡£¼ôÖ¦ÓõĻáÏà¶Ô½ÏÉÙ£¬£¬£¬£¬£¬ÓÉÓÚ¿ÉÒÔ±»ÍøÂç½á¹¹ËÑË÷ÁýÕÖ¡£¡£¡£¡£¡£¡£¡£
¡¸ÉÌÌÀ̩̹¹ûÕæ¿Î¡¹¹«Öںźǫ́»Ø¸´¡°Á¿»¯¡±£¬£¬£¬£¬£¬¼´¿É»ñÈ¡ÏìÓ¦µÄ¿Î³Ì×ÊÁÏŶ£¡
-
11ÔÂ2ÈÕ£¬£¬£¬£¬£¬ÎªÆÚÆßÌìµÄÅÌËã»úÊÓ¾õ¶¥»áICCV 2019ÂäÄ»¡£¡£¡£¡£¡£¡£¡£ÉÌÌÀ¿Æ¼¼ÒÔ57ƪÂÛÎÄ£¨11ƪOral£©£¬£¬£¬£¬£¬13Ïî¹Ú¾üµÄЧ¹û´´Á¢Ð¡°¸ß¶È¡±(Ïê¼ûÎÄÕ¡¶ÉÌÌÀ¿Æ¼¼57ƪÂÛÎÄÈëÑ¡ICCV 2019£¬£¬£¬£¬£¬13ÏÈü¶á¹Ú¡·)£¬£¬£¬£¬£¬ÈÃÌìϼûÖ¤ÉÌÌÀÑо¿ÊÖÒÕ»ýÀ۵ġ°ºñ¶È¡±£¬£¬£¬£¬£¬ÔÚ´ó»áÏÖ³¡Ò²ÄÜÇ××Ô¸ÐÊÜÉÌÌÀAI+ÐÐÒµÓ¦ÓÃÂ䵨µÄ¡°¹ã¶È¡±2019-11-03
-
¿ËÈÕ£¬£¬£¬£¬£¬Óɰ¢Àï°Í°Í¼¯ÍÅ¡¢ÉÌÌÀ¿Æ¼¼¼°Ïã¸Û¿Æ¼¼Ô°¹«Ë¾Ð¯ÊÖ½¨ÉèµÄÏã¸ÛÈ˹¤ÖÇÄܼ°Êý¾ÝʵÑéÊÒ£¨HKAI Lab£©ÔÚÏã¸Û¿ÆÑ§Ô°Õýʽ¿ªÄ»¡£¡£¡£¡£¡£¡£¡£ÉÌÌÀ¿Æ¼¼Ê×´´ÈË¡¢Ïã¸ÛÖÐÎÄ´óѧ½ÌÊÚÌÀÏþŸ¡¢°¢Àï°Í°Í¼¯ÍÅÊ×ϯÊÖÒÕ¹ÙÕŽ¨·æºÍÏã¸Û¿Æ¼¼Ô°¹«Ë¾ÐÐÕþ×ܲûƿËÇ¿»®·Ö½ÒÏþÁ˽²»°£¬£¬£¬£¬£¬×£Ô¸HKAI LabÄܹ»ÖúÁ¦Ïã¸ÛÊ×´´È˹¤ÖÇÄÜÆóÒµÉú̬Éú³¤¡£¡£¡£¡£¡£¡£¡£2018-10-18





·µ»Ø