¹þ¹þ(haha)ÌåÓý

ÉêÇëÊÔÓÃ
怬
½¹µãÊÖÒÕ
ÒÔÔ­´´ÊÖÒÕϵͳΪ»ù±¾£¬£¬£¬£¬£¬SenseCoreÉÌÌÀAI´ó×°ÖÃΪ½¹µã»ù×ù£¬£¬£¬£¬£¬½á¹¹¶àÁìÓò¡¢¶àÆ«ÏòÇ°ÑØÑо¿£¬£¬£¬£¬£¬
¿ìËÙÂòͨAIÔÚ¸÷¸ö±ÊÖ±³¡¾°ÖеÄÓ¦Ó㬣¬£¬£¬£¬ÏòÐÐÒµ¸³ÄÜ ¡£¡£¡£¡£¡£¡£¡£

¡¾ÉÌÌÀ̩̹¹ûÕæ¿Î¡¿Ä£×ÓÁ¿»¯ÏàʶһÏ£¿£¿£¿£¿£¿£¿

2020-04-09

µ¼¶Á 

Ëæ×ÅÉî¶ÈѧϰµÄÉú³¤£¬£¬£¬£¬£¬Éñ¾­ÍøÂç±»ÆÕ±éÓ¦ÓÃÓÚÖÖÖÖÁìÓò£¬£¬£¬£¬£¬Ä£×ÓÐÔÄܵÄÌá¸ßͬʱҲÒýÈëÁËÖØ´óµÄ²ÎÊýÄ¿ºÍÅÌËãÁ¿ ¡£¡£¡£¡£¡£¡£¡£Ä£×ÓÁ¿»¯ÊÇÒ»ÖÖ½«¸¡µãÅÌËãת³ÉµÍ±ÈÌØ¶¨µãÅÌËãµÄÊÖÒÕ£¬£¬£¬£¬£¬¿ÉÒÔÓÐÓõĽµµÍÄ£×ÓÅÌËãÇ¿¶È¡¢²ÎÊý¾ÞϸºÍÄÚ´æÏûºÄ£¬£¬£¬£¬£¬µ«ÍùÍù´øÀ´ÖØ´óµÄ¾«¶ÈËðʧ ¡£¡£¡£¡£¡£¡£¡£ÓÈÆäÊÇÔÚ¼«µÍ±ÈÌØ(<4bit)¡¢¶þÖµÍøÂç(1bit)¡¢ÉõÖÁ½«ÌݶȾÙÐÐÁ¿»¯Ê±£¬£¬£¬£¬£¬´øÀ´µÄ¾«¶ÈÌôÕ½¸ü´ó ¡£¡£¡£¡£¡£¡£¡£

2020Äê4ÔÂ9ÈÕÉÌÌÀ̩̹¹ûÕæ¿ÎµÚ009ÆÚµÄÏßÉÏÖ±²¥¿Î³Ì£¬£¬£¬£¬£¬ÓÉÉÌÌÀÑо¿Ôº--Á´½ÓÓë±àÒëÍŶӵÄÁ½Î»Ñо¿Ô±·ÖÏíÁËÍŶÓÔÚÄ£×ÓÁ¿»¯·½ÃæµÄµÄһϵÁÐÑо¿ÊÂÇ飬£¬£¬£¬£¬ÆäÖаüÀ¨CVPR  2020¡¢ICCV 2019µÈ¶àƪÓë±±º½ÁõÏéÁúÏÈÉúÍŶÓÏàÖúµÄÂÛÎÄЧ¹û£¬£¬£¬£¬£¬¿ìÀ´Ò»¶ÃΪ¿ì°É~

¿Î³ÌPPT¼°ÊÓÆµ»Ø·Å»ñÈ¡·½·¨¼ûÎÄÄ©ÌáÐÑ~

 

Part 1 Á¿»¯×ÛÊö

1 ʲôÊÇÄ£×ÓÁ¿»¯£¿£¿£¿£¿£¿£¿ÎªÊ²Ã´Òª¾ÙÐÐÄ£×ÓÁ¿»¯£¿£¿£¿£¿£¿£¿

Ä£×ÓÁ¿»¯ÊÇÓÉÄ£×Ó¡¢Á¿»¯Á½¸ö´Ê×é³É ¡£¡£¡£¡£¡£¡£¡£ÎÒÃÇҪ׼ȷÃ÷È·Ä£×ÓÁ¿»¯£¬£¬£¬£¬£¬Òª¿´ÕâÁ½¸ö´Ê»®·ÖÊÇʲôÒâ˼ ¡£¡£¡£¡£¡£¡£¡£

ÔÚÅÌËã»úÊÓ¾õ¡¢Éî¶ÈѧϰµÄÓᄈϣ¬£¬£¬£¬£¬Ä£×ÓÌØÖ¸¾í»ýÉñ¾­ÍøÂ磬£¬£¬£¬£¬ÓÃÓÚÌáȡͼÏñ/ÊÓÆµÊÓ¾õÌØÕ÷ ¡£¡£¡£¡£¡£¡£¡£

Á¿»¯ÊÇÖ¸½«ÐźŵÄÒ»Á¬È¡Öµ½üËÆÎªÓÐÏÞ¶à¸öÀëÉ¢ÖµµÄÀú³Ì ¡£¡£¡£¡£¡£¡£¡£¿£¿£¿£¿£¿£¿ÉÃ÷È·³ÉÒ»ÖÖÐÅϢѹËõµÄÒªÁì ¡£¡£¡£¡£¡£¡£¡£ÔÚÅÌËã»úϵͳÉÏ˼Á¿Õâ¸ö¿´·¨£¬£¬£¬£¬£¬Ò»Ñùƽ³£ÓᰵͱÈÌØ¡±À´ÌåÏÖ ¡£¡£¡£¡£¡£¡£¡£Ò²ÓÐÈ˳ÆÁ¿»¯Îª¡°¶¨µã»¯¡±£¬£¬£¬£¬£¬¿ÉÊÇÑÏ¿áÀ´½²ËùÌåÏֵĹæÄ£ÊÇËõСµÄ ¡£¡£¡£¡£¡£¡£¡£¶¨µã»¯ÌØÖ¸scaleΪ2µÄÃݴεÄÏßÐÔÁ¿»¯£¬£¬£¬£¬£¬ÊÇÒ»ÖÖÔ½·¢ÊÊÓõÄÁ¿»¯ÒªÁì ¡£¡£¡£¡£¡£¡£¡£

5edef0e4cfb1a.png

¾í»ýÉñ¾­ÍøÂç¾ßÓкܺõľ«¶È£¬£¬£¬£¬£¬ÉõÖÁÔÚһЩʹÃüÉϺñÈÈËÁ³Ê¶±ð¡¢Í¼Ïñ·ÖÀ࣬£¬£¬£¬£¬ÒѾ­ÓâÔ½ÁËÈËÀྫ¶È ¡£¡£¡£¡£¡£¡£¡£µ«ÆäÈõµãÒ²½ÏÁ¿ÏÔ×Å£¬£¬£¬£¬£¬¾ßÓнϴóµÄ²ÎÊýÄ¿£¬£¬£¬£¬£¬ÅÌËãÁ¿£¬£¬£¬£¬£¬ÒÔ¼°ÄÚ´æÕ¼Óà ¡£¡£¡£¡£¡£¡£¡£¶øÄ£×ÓÁ¿»¯¿ÉÒÔ»º½âÏÖÓоí»ýÉñ¾­ÍøÂç²ÎÊýÄ¿´ó¡¢ÅÌËãÁ¿´ó¡¢ÄÚ´æÕ¼ÓöàµÈÎÊÌ⣬£¬£¬£¬£¬¾ßÓÐΪÉñ¾­ÍøÂçѹËõ²ÎÊý¡¢ÌáÉýËÙÂÊ¡¢½µµÍÄÚ´æÕ¼Óõȡ°Ç±ÔÚ¡±ÓÅÊÆ ¡£¡£¡£¡£¡£¡£¡£ÎªÊ²Ã´¡°Ç±ÔÚ¡±ÊǼÓÒýºÅµÄÄØ£¿£¿£¿£¿£¿£¿ÓÉÓÚÏëͬʱµÖ´ïÕâÈý¸öÌØÕ÷²¢½ûÖ¹Ò×£¬£¬£¬£¬£¬ÔÚÏÖʵӦÓÃÀú³ÌÖб£´æÖî¶àÏÞÖÆºÍÌõ¼þÌõ¼þ ¡£¡£¡£¡£¡£¡£¡£

ÁíÍ⣬£¬£¬£¬£¬ÓÉÓÚÄ£×ÓÁ¿»¯ÊÇÒ»ÖÖ½üËÆËã·¨ÒªÁ죬£¬£¬£¬£¬¾«¶ÈËðʧÊÇÒ»¸öÑÏËàµÄÎÊÌ⣬£¬£¬£¬£¬´ó²¿·ÖµÄÑо¿¶¼ÔÚ¹Ø×¢ÕâÒ»ÎÊÌâ ¡£¡£¡£¡£¡£¡£¡£×÷Ϊһ¸öÔÚ¹«Ë¾Ö§³ÖÐí¶àÓªÒµÏßµÄÍŶÓ£¬£¬£¬£¬£¬ÎÒÃÇ»áÔÚ¹Ø×¢¾«¶ÈµÄͬʱ£¬£¬£¬£¬£¬×¢Öذ²ÅÅ×îÖÕµÄËÙÂʺÍ×ÊÔ´Õ¼ÓÃÇéÐÎ ¡£¡£¡£¡£¡£¡£¡£

2 ѹËõ²ÎÊý

5edef12ccfa5c.png

Ä£×ÓÁ¿»¯ÔÚ×î³õµÄ½ç˵ÀïÊÇΪÁËѹËõÄ£×Ó²ÎÊý£¬£¬£¬£¬£¬ºÃ±Èº«ËÉÔÚICLR2016ÉÏ»ñµÃbest paperµÄÂÛÎÄ£¬£¬£¬£¬£¬Ê×´ÎÌá³öÁ˲ÎÊýÄ¿»¯ÒªÁì ¡£¡£¡£¡£¡£¡£¡£ÆäʹÓÃk-mean¾ÛÀ࣬£¬£¬£¬£¬ÈÃÏà½üµÄÊýÖµ¾ÛÀൽͳһ¸ö¾ÛÀàÖÐÐÄ£¬£¬£¬£¬£¬¸´ÓÃͳһ¸öÊýÖµ£¬£¬£¬£¬£¬´Ó¶øµÖ´ïÓøüÉÙµÄÊýÖµÌåÏÖ¸ü¶àµÄÊý£¬£¬£¬£¬£¬ÕâÊÇÁ¿»¯²Ù×÷µÄÒ»Öּƻ® ¡£¡£¡£¡£¡£¡£¡£·´¹ýÀ´£¬£¬£¬£¬£¬´ÓÁ¿»¯Êý±äµ½Ô­Ê¼ÊýµÄÀú³Ì£¬£¬£¬£¬£¬³ÆÖ®Îª·´Á¿»¯£¬£¬£¬£¬£¬·´Á¿»¯²Ù×÷ÍêÖ®ºó£¬£¬£¬£¬£¬Ä£×ӾͿÉÒÔÆ¾Ö¤Ô­À´µÄ·½·¨¾ÙÐÐÕý³£µÄÅÌËã ¡£¡£¡£¡£¡£¡£¡£

ÎÒÃÇÒÔΪ¾ø´ó²¿·ÖµÄÄ£×ÓÁ¿»¯Ëã·¨¶¼ÄÜѹËõ²ÎÊý£¬£¬£¬£¬£¬Òò´ËѹËõ²ÎÊýµÄÊÊÓÃÐÔ²»±£´æÎÊÌâ ¡£¡£¡£¡£¡£¡£¡£

3 ÌáÉýËÙÂÊ

5edef15fb9a22.png

Á¿»¯ÊÇ·ñÒ»¶¨ÄܼÓËÙÅÌË㣿£¿£¿£¿£¿£¿»Ø¸²ÊÇ·ñ¶¨µÄ£¬£¬£¬£¬£¬Ðí´óÅú»¯Ëã·¨¶¼ÎÞ·¨´øÀ´ÊµÖÊÐÔ¼ÓËÙ ¡£¡£¡£¡£¡£¡£¡£

ÒýÈëÒ»¸ö¿´·¨£ºÀíÂÛÅÌËã·åÖµ ¡£¡£¡£¡£¡£¡£¡£ÔÚ¸ßÐÔÄÜÅÌËãÁìÓò£¬£¬£¬£¬£¬Õâ¿´·¨Ò»Ñùƽ³£±»½ç˵Ϊ£ºµ¥Î»Ê±ÖÓÖÜÆÚÄÚÄÜÍê³ÉµÄÅÌËã¸öÊý ³ËÉÏ Ð¾Æ¬ÆµÂÊ ¡£¡£¡£¡£¡£¡£¡£

ʲôÑùµÄÁ¿»¯ÒªÁì¿ÉÒÔ´øÀ´Ç±ÔÚ¡¢¿ÉÂ䵨µÄËÙÂÊÌáÉýÄØ£¿£¿£¿£¿£¿£¿ÎÒÃÇ×ܽáÐèÒªÖª×ãÁ½¸öÌõ¼þ£º

1¡¢Á¿»¯ÊýÖµµÄÅÌËãÔÚ°²ÅÅÓ²¼þÉϵķåÖµÐÔÄܸü¸ß ¡£¡£¡£¡£¡£¡£¡£

2¡¢Á¿»¯Ëã·¨ÒýÈëµÄÌØÊâÅÌË㣨overhead£©ÉÙ ¡£¡£¡£¡£¡£¡£¡£

Ҫ׼ȷÃ÷È·ÉÏÊöÌõ¼þ£¬£¬£¬£¬£¬ÐèÒªÓÐÒ»¶¨µÄ¸ßÐÔÄÜÅÌËã»ù´¡ÖªÊ¶£¬£¬£¬£¬£¬ÏÞÓÚÆª·ù¾Í²»Õö¿ªÌÖÂÛÁË ¡£¡£¡£¡£¡£¡£¡£ÏÖÖ±½Ó¸ø³öÈçϽáÂÛ£ºÒÑÖªÌáËÙ¸ÅÂʽϴóµÄÁ¿»¯ÒªÁìÖ÷ÒªÓÐÈçÏÂÈýÀ࣬£¬£¬£¬£¬

1¡¢¶þÖµ»¯£¬£¬£¬£¬£¬Æä¿ÉÒÔÓüòÆÓµÄλÔËËãÀ´Í¬Ê±ÅÌËã´ó×ÚµÄÊý ¡£¡£¡£¡£¡£¡£¡£±ÈÕÕ´Ónvdia gpuµ½x86ƽ̨£¬£¬£¬£¬£¬1bitÅÌËã»®·ÖÓÐ5µ½128±¶µÄÀíÂÛÐÔÄÜÌáÉý ¡£¡£¡£¡£¡£¡£¡£ÇÒÆäÖ»»áÒýÈëÒ»¸öÌØÁíÍâÁ¿»¯²Ù×÷£¬£¬£¬£¬£¬¸Ã²Ù×÷¿ÉÒÔÏíÊܵ½SIMD£¨µ¥Ö¸Áî´ó¶¼¾ÝÁ÷£©µÄ¼ÓËÙÊÕÒæ ¡£¡£¡£¡£¡£¡£¡£

2¡¢ÏßÐÔÁ¿»¯£¬£¬£¬£¬£¬ÓÖ¿Éϸ·ÖΪ·Ç¶Ô³Æ£¬£¬£¬£¬£¬¶Ô³ÆºÍristretto¼¸ÖÖ ¡£¡£¡£¡£¡£¡£¡£ÔÚnvdia gpu£¬£¬£¬£¬£¬x86ºÍarmƽ̨ÉÏ£¬£¬£¬£¬£¬¾ùÖ§³Ö8bitµÄÅÌË㣬£¬£¬£¬£¬Ð§ÂÊÌáÉý´Ó1±¶µ½16±¶²»µÈ£¬£¬£¬£¬£¬ÆäÖÐtensor coreÉõÖÁÖ§³Ö4bitÅÌË㣬£¬£¬£¬£¬ÕâÒ²ÊǺÜÊÇÓÐDZÁ¦µÄÆ«Ïò ¡£¡£¡£¡£¡£¡£¡£ÓÉÓÚÏßÐÔÁ¿»¯ÒýÈëµÄÌØÊâÁ¿»¯/·´Á¿»¯ÅÌËã¶¼ÊDZê×¼µÄÏòÁ¿²Ù×÷£¬£¬£¬£¬£¬Ò²¿ÉÒÔʹÓÃSIMD¾ÙÐмÓËÙ£¬£¬£¬£¬£¬´øÀ´µÄÌØÊâÅÌËãºÄʱ²»´ó ¡£¡£¡£¡£¡£¡£¡£

3¡¢¶ÔÊýÄ¿»¯£¬£¬£¬£¬£¬Ò»¸ö½ÏÁ¿ÌØÊâµÄÁ¿»¯ÒªÁì ¡£¡£¡£¡£¡£¡£¡£¿£¿£¿£¿£¿£¿ÉÒÔÏëÏóһϣ¬£¬£¬£¬£¬Á½¸öͬµ×µÄÃÝÖ¸Êý¾ÙÐÐÏà³Ë£¬£¬£¬£¬£¬ÄÇôµÈ¼ÛÓÚÆäÖ¸ÊýÏà¼Ó£¬£¬£¬£¬£¬½µµÍÁËÅÌËãÇ¿¶È ¡£¡£¡£¡£¡£¡£¡£Í¬Ê±¼Ó·¨Ò²±»×ª±äΪË÷ÒýÅÌËã ¡£¡£¡£¡£¡£¡£¡£µ«Ã»Óп´µ½ÓÐÔÚÈý´óƽ̨ÉÏʵÏÖ¶ÔÊýÄ¿»¯µÄ¼ÓËٿ⣬£¬£¬£¬£¬¿ÉÄÜ×ÅʵÏֵļÓËÙЧ¹û²»ÏÔ×Å ¡£¡£¡£¡£¡£¡£¡£Ö»ÓÐһЩרÓÃоƬÉÏʹÓÃÁ˶ÔÊýÄ¿»¯ ¡£¡£¡£¡£¡£¡£¡£

5edef2571bff1.png

¼òÆÓ¿´Ò»Ï¶þÖµ»¯ºÍÏßÐÔÁ¿»¯Á½ÖÖ·½·¨£¬£¬£¬£¬£¬»®·ÖÊÇÓÒÉϽǵÄͼºÍÓÒϽǵÄͼ ¡£¡£¡£¡£¡£¡£¡£

×ܽáһϣ¬£¬£¬£¬£¬ÒªÊ¹ÓÃÁ¿»¯ÊÖÒÕÀ´ÌáÉýÄ£×ÓÔËÐÐËÙÂÊ£¬£¬£¬£¬£¬ÐèÒªÖª×ãÁ½¸öÌõ¼þ£º

1¡¢Ñ¡ÔñÊʺϰ²ÅŵÄÁ¿»¯¼Æ»® ¡£¡£¡£¡£¡£¡£¡£

2¡¢ÔÚ°²ÅÅÆ½Ì¨ÉÏʹÓþ­ÓÉÉî¶ÈÓÅ»¯µÄÁ¿»¯ÅÌËã¿â£¨ÐëÒªµÄʱ¼ä£¬£¬£¬£¬£¬¿ÉÄÜÐèҪߣÆðÐä×Ó×Ô¼ºÉÏ£© ¡£¡£¡£¡£¡£¡£¡£

Ê×ÏȰü¹ÜÄãʵÏֵĵͱÈÌØÅÌËãЧÂÊÁè¼ÝÔ­Ïȸ¡µãÅÌË㣬£¬£¬£¬£¬²»È»ÎªºÎÒª¼ç¸º¾«¶ÈËðʧµÄΣº¦¶øÊ¹Óò¢²»¼ÓËÙµÄÁ¿»¯Ä£×ÓÄØ ¡£¡£¡£¡£¡£¡£¡£µ«µÍ±ÈÌØÅÌËãЧÂÊÁè¼Ý¸¡µãÅÌËã×Åʵ²¢½ûÖ¹Ò×£¬£¬£¬£¬£¬ÓÉÓÚ¸÷ÈËÔÚ¸¡µãµÄÅÌËã¿âÉÏÒѾ­×öÁ˺ÜÊǶàÏ꾡µÄÓÅ»¯ºÃ±Èwinograd£¬£¬£¬£¬£¬¼ä½Ó¾í»ýµÈµÈ ¡£¡£¡£¡£¡£¡£¡£

ΪÁË×î´óÏ޶Ȱü¹ÜÊÊÓÃÐÔ£¬£¬£¬£¬£¬ºóÃæµÄÂÛÎÄËùÓÐÊÂÇé¶¼ÊÇ»ùÓÚ¶þÖµ»¯¡¢ÏßÐÔÁ¿»¯Á½ÖÖÌõ¼þÀ´×öµÄ£¬£¬£¬£¬£¬²¢ÇÒ¾ø´ó²¿·ÖÊÂÇé¶¼±¨¸æ×îÖÕÏÖʵµÄ¼ÓËÙЧ¹û ¡£¡£¡£¡£¡£¡£¡£ÕâÒ²ÊÇÁ´½ÓÓë±àÒëÍŶÓ×öÑо¿µÄÒ»¸öÆø¸Å ¡£¡£¡£¡£¡£¡£¡£

4 ½µµÍÄÚ´æ

5edef2800d1a0.png

Ä£×ÓÁ¿»¯ÉÐÓÐÒ»¸öDZÔÚµÄÀûÒæÊǽµµÍÔËÐÐʱÄÚ´æÕ¼Ó㬣¬£¬£¬£¬Õâ¸öÌØÕ÷ÎÞÂÛÊÇÔÚÒÆ¶¯¶ËÕÕ¾ÉÔÆ¶Ë¶¼ÊǾßÓÐÏÖʵÒâÒåµÄ ¡£¡£¡£¡£¡£¡£¡£ÈôÊǽµµÍÄÚ´æÕ¼Ó㬣¬£¬£¬£¬¿ÉÒÔ»ñµÃÈçÏÂÀûÒæ£º

1¡¢½µµÍ·Ã´æÁ¿£¬£¬£¬£¬£¬±£´æÌáÉýËÙÂʵĿÉÄÜ ¡£¡£¡£¡£¡£¡£¡£

2¡¢ÔÚͬÑùÓ²¼þÇéÐÎÏ£¬£¬£¬£¬£¬Í¬Ê±´¦Öóͷ£¸ü¶àÊÓÆµ»òÕßÊÓÆµÂ·Êý ¡£¡£¡£¡£¡£¡£¡£

3¡¢ÑµÁ·¸ü´óµÄÄ£×Ó ¡£¡£¡£¡£¡£¡£¡£

ÎÒÃÇÆÊÎöÏÂÔËÐÐʱÄÚ´æ¶¼ÊDZ»Ê²Ã´¹¤¾ßÕ¼ÓõÄ£¬£¬£¬£¬£¬¸÷ÈËÌåÌùµÄ²ÎÊýweightÖ»Õ¼ºÜÉÙÒ»²¿·Ö£¬£¬£¬£¬£¬ ´ó²¿·ÖÄÚ´æÕ¼ÓÃÀ´×Ô¼¤»îÖµactivation ¡£¡£¡£¡£¡£¡£¡£ÈôÊÇÄã×öµÍ±ÈÌØÁ¿»¯Ö»¹Ø×¢¾í»ýµÄ»°£¨Ðí¶àÂÛÎÄ×ÅʵҲÊÇÖ»Á¿»¯Á˾í»ý£©£¬£¬£¬£¬£¬ÄÇôÊÇÎÞ·¨´øÀ´ÄÚ´æÕ¼ÓýµµÍµÄ ¡£¡£¡£¡£¡£¡£¡£

ÔõÑù²Å»ªÓÃÁ¿»¯½µµÍÄÚ´æÕ¼Ó㬣¬£¬£¬£¬Ö»ÓÐÒ»¸ö·½·¨: ½«¾¡¿ÉÄܶàµÄlayerµÄ¼¤»îÖµ¶¼¾ÙÐÐÁ¿»¯ ¡£¡£¡£¡£¡£¡£¡£ÔÚÕâ¸öÆ«ÏòÉÏ֮ǰÉÌÌÀµÄһλʵϰÉúÀîÈó¶«Ò²ÓÐÒ»¸öÊÂÇ飬£¬£¬£¬£¬×öÁ˳ýÁ˾í»ýÖ®Íâ¸ü¶à²ãµÄÁ¿»¯ ¡£¡£¡£¡£¡£¡£¡£¿ÉÊÇÕâÑù×ö»á´øÀ´¸ü¶àµÄ¾«¶ÈËðʧ£¬£¬£¬£¬£¬Õâ¿ÉÄÜÒ²ÊǸ÷ÈËÐèÒªÌåÌùµÄ ¡£¡£¡£¡£¡£¡£¡£

5 Éú²úÁ¿»¯Ä£×Ó

5edef2c0723d8.png

Éú²úÒ»¸öÁ¿»¯Ä£×ÓµÄÓÐÒÔϼ¸ÖÖÒªÁ죬£¬£¬£¬£¬½è¼øÁËICCV2019ÉÏһƪdata-freeÁ¿»¯ÂÛÎĵĽç˵ ¡£¡£¡£¡£¡£¡£¡£

L1£ºÖ±½Ó½«Ò»¸ö¸¡µã²ÎÊýÖ±½Óת»¯³ÉÁ¿»¯Êý£¬£¬£¬£¬£¬Ò»Ñùƽ³£»á´øÀ´ºÜ´óµÄ¾«¶ÈËðʧ£¬£¬£¬£¬£¬µ«Ê¹ÓÃÉϺÜÊǼòÆÓ ¡£¡£¡£¡£¡£¡£¡£

L2£º»ùÓÚÊý¾ÝУ׼µÄ¼Æ»®£¬£¬£¬£¬£¬Ðí¶àоƬ¶¼»áÌṩÕâÑùµÄ¹¦Ð§£¬£¬£¬£¬£¬ºÃ±ÈtensorRT£¬£¬£¬£¬£¬¸ßͨ£¬£¬£¬£¬£¬º®Îä¼ÍµÈ ¡£¡£¡£¡£¡£¡£¡£ËüÐèҪתģ×ÓµÄʱ¼äÌá¹©Ò»Ð©ÕæÊµµÄÅÌËãÊý¾Ý ¡£¡£¡£¡£¡£¡£¡£

L3£º»ùÓÚѵÁ·finetuneµÄ¼Æ»®£¬£¬£¬£¬£¬ÓÐÐí¶àÂÛÎͼÊÇʹÓÃÕâÖÖÒªÁ죬£¬£¬£¬£¬ËüµÄÀûÒæÊÇ¿ÉÒÔ´øÀ´¸ü´óµÄ¾«¶ÈÌáÉý£¬£¬£¬£¬£¬ÈõµãÊÇÐèÒªÐÞ¸ÄѵÁ·´úÂ룬£¬£¬£¬£¬ÊµÑéÖÜÆÚ½ÏÁ¿³¤ ¡£¡£¡£¡£¡£¡£¡£

ÉÏͼÐÎòÁËÒ»ÖÖÊÊÓõÄpipelineÁ÷³Ì£¬£¬£¬£¬£¬Ò»Ñùƽ³£»áÓÅÏÈʹÓò»¾ÙÐÐfinetuneµÄofflineÒªÁ죬£¬£¬£¬£¬Ò²¾ÍÊÇÀëÏ߼ƻ® ¡£¡£¡£¡£¡£¡£¡£µ±ÀëÏ߼ƻ®¾«¶ÈËðʧ¹ýÓÚÑÏÖØ£¬£¬£¬£¬£¬ÎÒÃDzŻá¾ÙÐлùÓÚfinetuneµÄÒªÁ죬£¬£¬£¬£¬À´×ö½øÒ»²½µÄÇÀ¾È ¡£¡£¡£¡£¡£¡£¡£

6 Á¿»¯Ä£×ÓµÄÂ䵨

5edef2f43be3b.png

 ×îºóÁÄÁÄ×è°­Ä£×ÓÁ¿»¯Ëã·¨Â䵨µÄ¼¸¸öÎÊÌ⣬£¬£¬£¬£¬½¹µãËäÈ»ÊǾ«¶ÈÎÊÌâ ¡£¡£¡£¡£¡£¡£¡£ÎÒÃÇ·¢Ã÷ËäȻѧÊõ½ç¸÷È˺ÜÔç¾Í×îÏÈ×öÁ¿»¯£¬£¬£¬£¬£¬µ«ÏÖÔÚËã·¨»¹ÎÞ·¨´ó¹æÄ£Â䵨 ¡£¡£¡£¡£¡£¡£¡£Ö÷Òª±£´æ¼¸¸ögap£º

1¡¢¿ÉÂ䵨µÄÏßÐÔÁ¿»¯¼Æ»®ÎÞ·¨ºÜºÃµÄÃè»æÒ»Ð©ÂþÑÜ£¬£¬£¬£¬£¬ºÃ±È¸ß˹ÂþÑÜ

2¡¢±ÈÌØÊýÔ½µÍ£¬£¬£¬£¬£¬¾«¶ÈËðʧ¾ÍÔ½´ó£¬£¬£¬£¬£¬ÊÊÓÃÐÔ¾ÍÔ½²î

3¡¢Ê¹ÃüÔ½ÄÑ£¬£¬£¬£¬£¬¾«¶ÈËðʧԽ´ó£¬£¬£¬£¬£¬ºÃ±Èʶ±ðʹÃü£¬£¬£¬£¬£¬¾Í±È·ÖÀàʹÃüÒªÄѺÜÊǶà

4¡¢Ð¡Ä£×Ó»á±È´óÄ£×Ó¸üÄÑÁ¿»¯

5¡¢Ä³Ð©Ìض¨½á¹¹£¬£¬£¬£¬£¬Èçdepthwise£¬£¬£¬£¬£¬¶ÔÁ¿»¯¾«¶ÈÊ®·Ö²»ÓѺÃ

6¡¢³£¼ûµÄ¶Ô°²ÅÅÓѺõÄÒªÁìºÃ±Èmerge BN£¬£¬£¬£¬£¬È«Á¿»¯£¬£¬£¬£¬£¬¶¼»á¸ø¾«¶È´øÀ´¸ü´óµÄÌôÕ½

³ýÁ˾«¶ÈÍ⣬£¬£¬£¬£¬ÈíÓ²¼þÖ§³ÖÇ·ºÃÒ²ÊÇÒ»¸ö×è°­£º²î±ðµÄÓ²¼þÖ§³ÖµÄµÍ±ÈÌØÖ¸ÁîÊÇ·×ÆçÑùµÄ£¬£¬£¬£¬£¬Í¬ÑùѵÁ·»ñµÃµÄµÍ±ÈÌØÄ£×Ó£¬£¬£¬£¬£¬ÎÞ·¨Ö±½Ó°²ÅÅÔÚËùÓÐÓ²¼þÉÏ ¡£¡£¡£¡£¡£¡£¡£³ýÁËÓ²¼þÖ®Í⣬£¬£¬£¬£¬²î±ðÈí¼þ¿âʵÏÖµÄÁ¿»¯¼Æ»®ºÍϸ½ÚÒ²·×ÆçÑù£¬£¬£¬£¬£¬Á¿»¯Ï¸½ÚÀï°üÀ¨Á¿»¯Î»Öá¢ÊÇ·ñÖ§³Öperchannel¡¢ÊÇ·ñ»ìÏý¾«¶ÈµÈµÈ ¡£¡£¡£¡£¡£¡£¡£×ÝȻӲ¼þÖ§³ÖÁËÁ¿»¯£¬£¬£¬£¬£¬µ«Äã»á·¢Ã÷²»ÊÇËùÓÐÓ²¼þ¿ÉÒÔÔڵͱÈÌØÉÏÌṩ¸üºÃµÄËÙÂÊÌáÉý£¬£¬£¬£¬£¬ Ôì³ÉÕâ¸ö״̬µÄÖ÷ÒªÔµ¹ÊÔ­ÓÉÓжà¸ö£¬£¬£¬£¬£¬Ò»·½ÃæÊÇÖ¸Á·åÖµÌáÉý¿ÉÄÜ×Ô¼º¾Í²¢Î´¼¸£¬£¬£¬£¬£¬¶øÒªÒýÈë½Ï¶àµÄÌØÊâÅÌË㣬£¬£¬£¬£¬ÁíÒ»·½ÃæÒ²È¡¾öÓÚÈí¼þ¹¤³ÌʦÓÅ»¯Ö¸ÁîµÄˮƽ£¬£¬£¬£¬£¬Í¬Ê±ÓÉÓÚÍøÂç½á¹¹ÎÞа¶àÑù£¬£¬£¬£¬£¬·×Æç¶¨ÄÜÔÚ²î±ðÍøÂç½á¹¹ÉϵִïͬÑùºÃµÄ¼ÓËٱȣ¬£¬£¬£¬£¬ÐèÒªÓÅ»¯×ã¹»¶àµÄµÄcorner case²Å¿ÉÒÔ½â¾ö ¡£¡£¡£¡£¡£¡£¡£

ÐÅÍи÷È˶ÔÄ£×ÓÁ¿»¯µÄ¿´·¨ºÍÂ䵨ÄѵãÓÐÁËÒ»¸öϵͳÐÔµÄÊìϤ ¡£¡£¡£¡£¡£¡£¡£ÎҵIJ¿·Ö¾Íµ½ÕâÀï¿¢ÊÂÁË£¬£¬£¬£¬£¬ÏÂÃæÊǸ÷ÈË×îÆÚ´ýµÄÂÛÎĽâ¶Áʱ¼ä ¡£¡£¡£¡£¡£¡£¡£

Part 2 ÂÛÎĽâ¶Á

1 µÍ±ÈÌØÁ¿»¯£ºDifferentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks£¨ICCV 2019£©

ÓÉÓÚÁ¿»¯º¯Êý×Ô¼ºÊÇÀëÉ¢²»¿Éµ¼µÄ£¬£¬£¬£¬£¬µ¼ÖÂÆäÎÞ·¨Ïñ±ê×¼Éñ¾­ÍøÂçÒ»ÑùʹÓ÷´ÏòÈö²¥ÅÌËãÌݶÈ£¬£¬£¬£¬£¬Ò»¸ö³£ÓõÄ×ö·¨ÊÇʹÓÃÌݶÈֱͨԤ¼ÆÆ÷£¨STE£©£¬£¬£¬£¬£¬¼´ÔÚ·´ÏòÀú³ÌÖкöÂÔÁ¿»¯ÕâÒ»°ì·¨±¬·¢µÄÓ°Ï죬£¬£¬£¬£¬¶øÕâÒ²¾Í×ÔÈ»µÄ´øÀ´ÁËÌݶȽû¾øÈ·µÄÎÊÌâ ¡£¡£¡£¡£¡£¡£¡£È¨Öؾ­ÓÉSTEÄõ½µÄÌݶȸúËüÓ¦¸ÃÄõ½µÄÌݶÈÊDz»Æ¥ÅäµÄ ¡£¡£¡£¡£¡£¡£¡£ICLR 2020ÄêÓÐһƪÂÛÎÄͨ¹ýʵÑéÏêϸµÄÆÊÎöÁËÕâÒ»Õ÷Ï󣬣¬£¬£¬£¬·¢Ã÷Ëæ×űÈÌØÊýµÄ½µµÍ£¬£¬£¬£¬£¬²»Æ¥ÅäµÄÕ÷ÏóÔ½·¢ÏÔ×Å ¡£¡£¡£¡£¡£¡£¡£

5edef3261f24d.png

ÕâÈõͱÈÌØÁ¿»¯ÍøÂçºÜÄѸßЧѵÁ·£¬£¬£¬£¬£¬Õë¶ÔÕâ¸öÎÊÌ⣬£¬£¬£¬£¬¸ÃÎÄÕÂÌá³öÁËÒ»¸ö¿É΢·ÖµÄÈíÁ¿»¯º¯ÊýDSQ£¬£¬£¬£¬£¬ÒýÈëÁË¿ÉÇóµ¼µÄÁ¿»¯º¯Êý£¬£¬£¬£¬£¬»º½âÁ˲»¿ÉÇóµ¼´øÀ´µÄÌݶȲ»Æ¥ÅäÎÊÌâ ¡£¡£¡£¡£¡£¡£¡£Í¬Ê±£¬£¬£¬£¬£¬Õâ¸öº¯ÊýËæ×ÅѵÁ·µÄ¾ÙÐпÉÒÔÖð²½Ç÷½ü³ß»³±§»¯£¬£¬£¬£¬£¬Òò´Ë¿ÉÒÔÔÚ°²ÅÅʱֱ½ÓʹÓøßЧµÄÏßÐԵͱÈÌØÁ¿»¯º¯Êý¾ÙÐÐÍÆÀí£¬£¬£¬£¬£¬±ðµÄ£¬£¬£¬£¬£¬ÓÉÓÚÕâ¸öº¯ÊýÊÇ¿ÉÒÔÇ󵼵쬣¬£¬£¬£¬Òò´Ë½Ø¶ÏÖµÒ²Äܹ»Ö±½Ó±»ÓÅ»¯£¬£¬£¬£¬£¬ÔÚѵÁ·Àú³ÌÖÐÆ½ºâ½Ø¶ÏÎó²îºÍÈ¡ÕûÎó²î¼äµÄ¹ØÏµ ¡£¡£¡£¡£¡£¡£¡£

5edef349d72c6.png

ͨ¹ý¿ÉÊÓ»¯ÆÊÎö£¬£¬£¬£¬£¬ÎÒÃÇ·¢Ã÷¾­ÓÉDSQº¯Êýºó£¬£¬£¬£¬£¬²ÎÊýµÄÂþÑÜÔ½·¢¿¿½üÓÚÁ¿»¯ºóµÄÂþÑÜ£¬£¬£¬£¬£¬¼õСÁ˸¡µã²ÎÊýºÍÁ¿»¯²ÎÊýµÄºè¹µ ¡£¡£¡£¡£¡£¡£¡£ÎªÁËÑéÖ¤ÕâÌ×ÒªÁìµÄЧÂÊ£¬£¬£¬£¬£¬ÎÒÃÇ»ùÓÚARM NEONÖеÄSADDWºÍMLAÖ¸ÁîʵÏÖÁ˸ßЧµÄµÍ±ÈÌØ¾í»ý£¬£¬£¬£¬£¬²¢ÔÚÊ÷Ý®ÅÉÉÏÒÔResNet-18Ϊ»ù´¡¾ÙÐвâÊÔ£¬£¬£¬£¬£¬Ïà±ÈÌÚѶ¿ªÔ´µÄ¸ßÐÔÄÜÍÆÀí¿âNCNNÓÐ1.6±¶×óÓÒµÄÌáËÙ ¡£¡£¡£¡£¡£¡£¡£

5edef3673f7b1.png

ÂÛÎĵص㣺https://arxiv.org/abs/1908.05033

2 Ä£×Ó¶þÖµ»¯£ºIR-Net: Forward and Backward Information Retention for Highly Accurate Binary Neural Networks£¨CVPR 2020£©

Ä£×Ó¶þÖµ»¯ÔÚÄ£×ӵ碌îÖµºÍ²ÎÊýÉÏÖ»ÓÐÁ½¸öÖµ£¨0ºÍ1£©ÌåÏÖ£¬£¬£¬£¬£¬¿ÉÒÔÔ¤¼ûµÄÊÇÕâÑùÁ¿»¯Ò»¶¨»á´øÀ´½Ï´óµÄ¾«¶ÈºÍÐÅÏ¢Ëðʧ ¡£¡£¡£¡£¡£¡£¡£¸ÃÎÄÕÂÒýÈëÁËÐÅÏ¢ìØ£¬£¬£¬£¬£¬ÒÔÁ¿»¯²ÎÊýºÍ¸¡µã²ÎÊýµÄÐÅÏ¢ìØ×÷Ϊģ×ӵįÀÅбê×¼ ¡£¡£¡£¡£¡£¡£¡£

³ýÁËǰÏòÐÅÏ¢Ëðʧ£¬£¬£¬£¬£¬¶þÖµ»¯Ä£×ÓÔÚ·´ÏòÀú³ÌÖÐÃæÁÙµÄÌôÕ½¸ü´ó£¬£¬£¬£¬£¬±ê×¼µÄºãµÈÓ³ÉäÌݶȽüËÆ»áµ¼Ö½ϴóµÄÌݶÈÎó²î£¬£¬£¬£¬£¬¶ø°üÀ¨½Ø¶Ï½¨Ä£µÄÌݶȽüËÆ»áʹµÃ´ó×Ú±»½Ø¶ÏµÄÊýÖµ²»¿É»ñµÃ¸üУ¬£¬£¬£¬£¬ËðʧÁ˸üÐÂÄÜÁ¦ ¡£¡£¡£¡£¡£¡£¡£¸ÃÎÄÕÂÌá³öÁËÁ½½×¶Î½üËÆÌݶÈÔ¤¼ÆÆ÷£¬£¬£¬£¬£¬ÈÃÄ£×ÓÓÅ»¯ÔÚǰÆÚ¼á³Ö½ÏÁ¿¸ßµÄ¸üÐÂÄÜÁ¦£¬£¬£¬£¬£¬ºóÆÚÌݶȵÄÎó²î¸üµÍ ¡£¡£¡£¡£¡£¡£¡£

5edef38529e80.png

ͬÑùÔÚÊ÷Ý®ÅÉÉϾÙÐÐÁËËÙÂÊÑéÖ¤£¬£¬£¬£¬£¬½èÖú¾©¶«¿ªÔ´µÄdaBNNÍÆÀí¿â£¬£¬£¬£¬£¬²âÊÔÁËIR-NetµÄÐÔÄÜ£¬£¬£¬£¬£¬Ïà±ÈdaBNNÖеÄÈ«¾«¶ÈÄ£×Ó£¬£¬£¬£¬£¬Ô¼ÄªÓÐ5.6±¶×óÓÒµÄËÙÂÊÌáÉý ¡£¡£¡£¡£¡£¡£¡£

5edef397d674c.png

ÂÛÎĵص㣺https://arxiv.org/abs/1909.10788

ÏîÄ¿µØµã£ºhttps://github.com/htqin/IR-Net

3 8bitѵÁ·¼ÓËÙ£ºTowards Unified INT8 Training for Convolutional Neural Network£¨CVPR 2020£©

³ýÁËʹÓÃÁ¿»¯ÊÖÒÕ¼ÓËÙǰÏòÍÆÀíÀú³Ì£¬£¬£¬£¬£¬ÊÇ·ñÄܹ»½øÒ»²½¼ÓËÙ°üÀ¨·´ÏòÈö²¥ÔÚÄÚµÄÌݶÈÅÌËãÀú³ÌÄØ£¿£¿£¿£¿£¿£¿ÆÊÎö·¢Ã÷·´ÏòÈö²¥ÔÚѵÁ·Àú³ÌÖÐÕ¼ÓÃÁËÒ»°ëµÄʱ¼ä£¬£¬£¬£¬£¬ÈôÊÇÄÜïÔÌ­Õâ¸öʱ¼ä£¬£¬£¬£¬£¬ÄÇô¾ÍÄÜ´ó´óÔöÌíѵÁ·Ð§ÂÊ ¡£¡£¡£¡£¡£¡£¡£Ò»¸öÖ±½ÓµÄÏë·¨¾ÍÊÇÁ¿»¯ÌݶÈ£¬£¬£¬£¬£¬µ«ÕâÑù×ö»áµ¼ÖÂѵÁ·²»ÊÕÁ² ¡£¡£¡£¡£¡£¡£¡£¾­ÓÉͳ¼Æ£¬£¬£¬£¬£¬ÎÒÃÇ·¢Ã÷ÌݶȵÄÂþÑÜÓ뼤»îÖµºÍ²ÎÊýÖµÓкܴó²î±ð£¬£¬£¬£¬£¬´ó×Ú²ÎÊý·ºÆðÔÚ0ÖÜΧ£¬£¬£¬£¬£¬Í¬Ê±±£´æ½Ï´óµÄ¼«¶ËÖµ£¬£¬£¬£¬£¬ÈôÊÇ¶ÔÆä¾ÙÐÐÁ¿»¯»á´øÀ´ºÜÊÇ´óµÄÁ¿»¯Îó²î ¡£¡£¡£¡£¡£¡£¡£

5edef3b0cae04.png

·¢Ã÷ÁËÌݶȵÄÌØÕ÷ºó£¬£¬£¬£¬£¬ÎÒÃÇ´ÓÀíÂ۽ǶȾÙÐÐÁËÆÊÎö£¬£¬£¬£¬£¬½è¼øÁËÓÅ»¯ÀíÂÛÖеĺó»ÚÖµÆÊÎö ¡£¡£¡£¡£¡£¡£¡£ÍƵ¼³öÁËÒýÈëÌÝ»³±§»¯Ö®ºóµÄÊÕÁ²ÐÔÉϽ磺

5edef3c50ff4d.png

¸ÃÉϽç°üÀ¨ÈýÏ£¬£¬£¬£¬ÆäÖеÚÒ»ÏîËæ¸üеü´úµÄ¾ÙÐлáÇ÷ÏòÓÚÁ㣬£¬£¬£¬£¬Òò´ËÖ÷ÒªÓɺóÁ½Ïî¾öÒ飬£¬£¬£¬£¬»®·Ö¶ÔÓ¦Á¿»¯Îó²îµÄ¾ÞϸºÍѧϰÂÊ ¡£¡£¡£¡£¡£¡£¡£Ö»ÓÐÈ·±£¸ÃÉϽ羡¿ÉÄÜС£¬£¬£¬£¬£¬ÊÕÁ²ÐԲŻª»ñµÃ°ü¹Ü ¡£¡£¡£¡£¡£¡£¡£

5edef3e6641b6.png

 Òò´ËÕë¶ÔµÚ¶þÏîºÍµÚÈýÏ£¬£¬£¬£¬Í¨¹ýʹÁ¿»¯ÌݶÈÓëÏÖʵÌݶȵÄcosine¾àÀëÔ½·¢¿¿½ü£¬£¬£¬£¬£¬½µµÍÁ¿»¯Îó²î£¬£¬£¬£¬£¬È»ºóƾ֤Îó²îµÄ¾Þϸ¼õСѧϰÂÊ£¬£¬£¬£¬£¬Ê¹µÃ¾¡¿ÉÄÜÔÚÔ½·¢×¼È·µÄÆ«ÏòÉϾÙÐиüУ¬£¬£¬£¬£¬²¢ÇÒ²»»áÔÚ¹ýʧµÄÆ«ÏòÉϸüйý¶à£¬£¬£¬£¬£¬¿ÉÒÔ°ü¹ÜÔÚÊÕÁ²½çÏßÄÚ¸üУ¬£¬£¬£¬£¬È·±£Õý³£ÊÕÁ² ¡£¡£¡£¡£¡£¡£¡£ÂÛÎÄÔÚ·ÖÀàºÍÄ¿µÄ¼ì²âʹÃüÉ϶¼¾ÙÐÐÁ˾«¶ÈÑéÖ¤£¬£¬£¬£¬£¬ËðʧÔÚ1%×óÓÒ ¡£¡£¡£¡£¡£¡£¡£

5edef400a9198.png

 ½èÖú¸ßÐÔÄÜÍŶÓÌṩµÄÆðÔ´ÓÅ»¯ÊµÏÖ£¬£¬£¬£¬£¬¸ÃÒªÁì¿ÉÒÔÔÚNVIDIA GTX 1080TIÉÏ´øÀ´22%µÄ¼ÓËÙ ¡£¡£¡£¡£¡£¡£¡£

5edef41b56dbf.png

ÂÛÎĵص㣺https://arxiv.org/abs/1912.12607

4 µÍ±ÈÌØÈËÁ³Ê¶±ð£ºRotation Consistent Margin Loss for Efficient Low-bit Face Recognition£¨CVPR 2020£©

ÓÉÓÚ¿ª¼¯ÎÊÌâÀï²âÊÔ¼¯Öб£´æÑµÁ·¼¯²»±£´æµÄÖֱ𣬣¬£¬£¬£¬Òò´Ëʶ±ðʹÃü±È·ÖÀàʹÃü¸üÄÑ£¬£¬£¬£¬£¬ÆÀ¼ÛÖ¸±êÒ²Ô½·¢ÑÏ¿á ¡£¡£¡£¡£¡£¡£¡£¶øÒýÈëÁ¿»¯Ö®ºó£¬£¬£¬£¬£¬Ò²¾ÍÃæÁÙןü´óµÄÌôÕ½ ¡£¡£¡£¡£¡£¡£¡£ÎªÁËÉîÈëÆÊÎöÈËÁ³Ê¶±ðÊÜÁ¿»¯µÄÓ°Ï죬£¬£¬£¬£¬ÂÛÎÄÊ×ÏÈ»ùÓÚÈËÁ³ÌØÕ÷ʹÓüнǻ³±§×÷ΪÏàËÆ¶ÈȨºâµÄ¹²Ê¶½ç˵ÁËÁ¿»¯Îó²î£¬£¬£¬£¬£¬²¢½ç˵Á¿»¯ºóµÄÀàÖÐÐÄΪÊôÓÚ¸ÃÀàËùÓÐÑù±¾ÌØÕ÷¾ÙÐÐÁ¿»¯ºóµÄ¾ùÖµ ¡£¡£¡£¡£¡£¡£¡£¶ÔÁ¿»¯Îó²î¾ÙÐÐÆÊÎö£¬£¬£¬£¬£¬·¢Ã÷ÒýÈëÁ¿»¯ºóÿ¸öÀàµÄÖÐÐͼÓÐËùÆ«ÒÆ£¬£¬£¬£¬£¬µ«ÀàÖ®¼äµÄ¼Ð½Ç¼á³ÖסÁË£¬£¬£¬£¬£¬ÀàÄڵľàÀë¼á³ÖµÄ½Ï²î ¡£¡£¡£¡£¡£¡£¡£¿£¿£¿£¿£¿£¿ÉÒÔÃ÷È·³ÉÖÖÖÖÔÚÁ¿»¯ºó±¬·¢ÁËÒ»¸öÕûÌåµÄÐýת£¬£¬£¬£¬£¬Ã¿¸öÀàµÄ½ô´ÕÐÔÓÐËùϽµ ¡£¡£¡£¡£¡£¡£¡£

5edef42e87093.png

Òò´ËÎÄÕ½«Á¿»¯Îó²îÆÊÎö³ÉÀàÎó²îºÍ¸öÌåÎó²î ¡£¡£¡£¡£¡£¡£¡£ÎÄÕÂÌá³öÁËÐýתһÖÂËðʧº¯Êý£¬£¬£¬£¬£¬Ê¹µÃÑù±¾¾ßÓÐÓëÀàÖÐÐÄÓÐͬÑùµÄÆ«ÒÆ£¬£¬£¬£¬£¬µÖÏûÁ¿»¯´øÀ´µÄÓ°Ï죬£¬£¬£¬£¬ÈÃÌØÕ÷Ô½·¢±£Ðò ¡£¡£¡£¡£¡£¡£¡£

5edef44664cce.png

ÂÛÎÄÔÚ²î±ðÊý¾Ý¼¯ÉϾÙÐÐÁËʵÑ飬£¬£¬£¬£¬ÔÚ¼òÆÓµÄÊý¾Ý¼¯ÉÏ3/4bit»ù±¾Äܹ»¼á³Ö¾«¶È£¬£¬£¬£¬£¬ÔÚ¸üÓÐÌôÕ½µÄÊý¾Ý¼¯ÉÏÏà±È»ùÏßÒªÁìÒ²Äܹ»ÓÐ1-2%µÄ¾«¶ÈÌáÉý ¡£¡£¡£¡£¡£¡£¡£

5edef46fea16d.png

5 Á¿»¯ÓѺÃÍøÂç½á¹¹£ºDMS: Differentiable diMension Search for Binary Neural Networks£¨ICLR 2020 Workshop£©

¶ÔÁ¿»¯ºÍÍøÂç½á¹¹µÄ̽Ë÷£¬£¬£¬£¬£¬Ðí¶àÂÛÎͼ»á¶ÔÍøÂç½á¹¹¾ÙÐÐ΢µ÷£ºÔöÌíͨµÀÊýÄ¿£¬£¬£¬£¬£¬Ð޸Ŀç²ãÅþÁ¬µÈ ¡£¡£¡£¡£¡£¡£¡£¹ØÓÚ¶þÖµ»¯Ä£×ÓÀ´ËµÕâЩ¸Ä¶¯ÄÜ´øÀ´±ÈÈ«¾«¶ÈÄ£×Ó¸ü´óµÄÊÕÒæ ¡£¡£¡£¡£¡£¡£¡£

5edef483a34c2.png

ÕâÆô·¢ÁËÎÒÃÇ£¬£¬£¬£¬£¬ÊÇ·ñ±£´æÒ»Ð©Ä£×ӽṹ£¬£¬£¬£¬£¬ËûÃǹØÓÚÁ¿»¯Ô½·¢ÓѺÃÄØ£¿£¿£¿£¿£¿£¿±¾ÎÄ´Ó¾í»ýºËoutput channelµÄ½Ç¶È¾ÙÐÐÁË̽Ë÷£¬£¬£¬£¬£¬½«Á¿»¯Å侰ϵÄchannel̽Ë÷ת»»ÎªÍøÂç½á¹¹ËÑË÷£¨NAS£©ÎÊÌâ ¡£¡£¡£¡£¡£¡£¡£ChannelµÄËÑË÷¿Õ¼äÒ»Ñùƽ³£½Ï´ó£¬£¬£¬£¬£¬Ö±½ÓʹÓÃÒÑÓеÄNASÅöÃæÁÙºÜÊǸߵÄËÑË÷ÖØÆ¯ºó£¬£¬£¬£¬£¬ÎªÏàʶ¾öÕâ¸öÎÊÌ⣬£¬£¬£¬£¬±¾ÎÄÌá³öÁËËÑË÷¿Õ¼ä¾ÛÀàÒªÁì ¡£¡£¡£¡£¡£¡£¡£Ê×ÏȽ«channelµÄ±ä»»²ÎÊýr½¨Ä£ÎªÌý´ÓLogisticÂþÑܵÄËæ»ú±äÁ¿£¬£¬£¬£¬£¬¹ãÒåµÄËÑË÷¿Õ¼ä¿ÉÒÔÒÔΪÊÇ´Ó¸ÃÂþÑÜÖоÙÐвÉÑù£¬£¬£¬£¬£¬ÎÒÃǽ«²ÉÑùÏÞÖÆÎªÈý¸öµã£º()£¬£¬£¬£¬£¬ÓÉÓÚLogisticÂþÑܵÄÂþÑܺ¯Êý¿ÉÒÔ¾ÙÐÐÇóµ¼£¬£¬£¬£¬£¬ºÍÄܹ»¾ÙÐÐÓÅ»¯£¬£¬£¬£¬£¬Í¬Ê±ÎÒÃǽ«¾ÙÐÐË¥¼õ£¬£¬£¬£¬£¬¼´¿É×îÖÕÊÕÁ²µ½ÉÏ£¬£¬£¬£¬£¬×÷Ϊ×îÓŵÄchannel·ÅËõϵÊý ¡£¡£¡£¡£¡£¡£¡£

¶ÔËÑË÷¿Õ¼ä¾ÙÐн¨Ä££¬£¬£¬£¬£¬¶ÔÍøÂç½á¹¹¾ÙÐÐ̽Ë÷ ¡£¡£¡£¡£¡£¡£¡£

5edef4ae15d24.png

ʵÑéÅú×¢£¬£¬£¬£¬£¬ËÑË÷»ñµÃµÄ½á¹¹¾ßÓнϴóµÄ¾«¶ÈDZÁ¦£¬£¬£¬£¬£¬Ê¹ÓÃResNet-18ÍØÆË£¬£¬£¬£¬£¬Í¨¹ýѰÕÒ×îÓŵÄchannelÉèÖ㬣¬£¬£¬£¬ÔÚ²ÎÊýÄ¿±È±ê×¼BNNÉÙµÄÇéÐÎÏ£¬£¬£¬£¬£¬¿ÉÒÔʵÏÖ7%×óÓҵľ«¶ÈÌáÉý ¡£¡£¡£¡£¡£¡£¡£

5edef50d617eb.png

ÂÛÎĵص㣺

https://drive.google.com/file/d/1DgD1mIBv7MHwM27Vjvb-g8IwlUOv6UJF/view?usp=sharing

ÏîÄ¿µØµã£º

https://github.com/yhhhli/DMS_for_BNN

Part 3 Q&A

Q£ºÖ÷Á÷ѵÁ·¿ò¼ÜÊÇ·ñÖ§³ÖfinetuneÒªÁìµÄINT8Á¿»¯£¿£¿£¿£¿£¿£¿

A£ºfinetune ÒªÁìµÄINT8Á¿»¯ÔÚÏÖÔÚµÄtensorflowÀïÊÇÖ§³ÖµÃ½ÏÁ¿ºÃµÄ£¬£¬£¬£¬£¬¿ÉÒÔ¿´µ½googleµÄÁ¿»¯°×ƤÊéÖоÍÏÈÈÝÁËfinetune ¡£¡£¡£¡£¡£¡£¡£PytorchÕýÔÚ²¹ÆëÕâ·½ÃæµÄ¹¦Ð§£¬£¬£¬£¬£¬ÔÚ1.3°æ±¾ÖмÓÈëÁËfinetune µÄÁ¿»¯¹¦Ð§£¬£¬£¬£¬£¬µ«»¹ÔÚʵÑé½×¶Î ¡£¡£¡£¡£¡£¡£¡£ÒÔÊÇÏÖÔÚµÄPyTorch¿ò¼Ü×öµÄ½ÏÁ¿Ò»Ñùƽ³££¬£¬£¬£¬£¬µ«¹«Ë¾ÄÚ²¿»áÌṩÍêÉÆµÄfinetune¼Æ»®ºÍ¿ªÔ´Ëã·¨ ¡£¡£¡£¡£¡£¡£¡£

Q£º²î±ðÁ¿»¯Ê¹ÃüÄѶÈÓвî±ðµÄÔµ¹ÊÔ­ÓÉÊÇʲô£¿£¿£¿£¿£¿£¿ÄÄЩʹÃü×÷ΪINT8Á¿»¯Ëðʧ»á½ÏÁ¿´ó£¿£¿£¿£¿£¿£¿

A£ºÀýÈç·ÖÀàʹÃü£¬£¬£¬£¬£¬Ö»Òª°ü¹Ü×îÖÕµÄÕ¹Íû¸ÅÂʵÄÏà¶Ô¾Þϸ£¬£¬£¬£¬£¬ÊǼá³Ö¹ØÏµ¼´¿É£¬£¬£¬£¬£¬µ«»Ø¹éʹÃü£¬£¬£¬£¬£¬ºÃ±È¼ì²âʹÃüƫһµã¶¼»áÓ°Ïìµ½¼ì²â³ö¿òµÄ׼ȷÐÔ£¬£¬£¬£¬£¬ÒÔÊÇ»á±È·ÖÀàʹÃüµÄÄѶȸü¸ß ¡£¡£¡£¡£¡£¡£¡£ÊʲÅÌáµ½µÄÈËÁ³Ê¶±ðµÄʹÃüÊdzöfeatureµÄ£¬£¬£¬£¬£¬featureµÄÆ«ÏòÒÔ¼°×Ô¼ºÈ¨ºâµÄÄѶÈʹÆä±È·ÖÀàʹÃüÔ½·¢ÄÑÌ⣬£¬£¬£¬£¬ÒÔ¼°Ò»Ð©low levelµÄʹÃüÓÉÓÚÊä³öµÄ¸÷¸öÏñËØµã¶¼Òª¹Ë¼°µ½£¬£¬£¬£¬£¬ÒÔÊÇÒ²»á±È·ÖÀàʹÃü¸üÄÑÌâ ¡£¡£¡£¡£¡£¡£¡£ÁíÍâ´ÓÂþÑÜ·½Ã棬£¬£¬£¬£¬Á¿»¯ÐèÒª×öÂþÑܵÄ˼Á¿£¬£¬£¬£¬£¬ÈôÊÇһЩʹÃü¶ÔÂþÑܲ»ÓѺ㬣¬£¬£¬£¬Á¿»¯µÄ°²ÅÅÒ²»áÔ½·¢ÄÑÌâ ¡£¡£¡£¡£¡£¡£¡£

Q£ºÔÚ¶ÔÍøÂç½á¹¹ÓѺÃÐ͵ÄÁ¿»¯Àú³ÌÖÐ ¹ØÓÚchannel·ÖÅÉÉÏÓÐʲôÂÄÀú£¿£¿£¿£¿£¿£¿

A£º¿ÉÒÔ¿´µ½¹þ¹þ(haha)ÌåÓýÂÛÎÄÔö²¹ÖÊÁÏÖÐչʾÁË×îÖÕµÄchannelÊý£¬£¬£¬£¬£¬×ܽáÀ´¿´ÈôÊDzãÖÐ×Ô¼ºÅÌËãÁ¿½ÏС£¬£¬£¬£¬£¬ÄÇôËüµÄchannel¾ÍÐèÒª¸ü´óһЩ£¬£¬£¬£¬£¬²î±ðÍøÂç½á¹¹µÄ¼ÍÂÉÒ²ÓÐËù²î±ð ¡£¡£¡£¡£¡£¡£¡£

Q£ºINT8 TrainingÊÇÖØÐÂ×îÏÈѵÁ·µÄʱ¼ä¾Í½ÓÄÉ8bit¶¨µãÂ𣿣¿£¿£¿£¿£¿ÕÕ¾É˵ÏÈÈ«FP32¾«¶È¾ÙÐÐѵÁ·Ò»¶Îʱ¼ä£¬£¬£¬£¬£¬ÔÙ¾ÙÐÐÁ¿»¯£¿£¿£¿£¿£¿£¿Êǽö¶Ô¾í»ý²ã¾ÙÐÐÁË8±ÈÌØ¶¨µãÁ¿»¯Â𣿣¿£¿£¿£¿£¿

A£ºÖØÐÂ×îÏÈѵÁ·µÄʱ¼ä¾Í½ÓÄÉ8bit¶¨µã ¡£¡£¡£¡£¡£¡£¡£µÚ¶þÖÖÒªÌå»á¸üÎȹÌһЩ£¬£¬£¬£¬£¬µ«ÎÞ·¨µÖ´ï½ÏºÃµÄ¼ÓËÙЧ¹û ¡£¡£¡£¡£¡£¡£¡£Ä¿½ñ¹þ¹þ(haha)ÌåÓý¼Æ»®ÀïÖ»¶Ô¾í»ý²ã¾ÙÐÐÁ¿»¯£¬£¬£¬£¬£¬²¢ÇÒûÓÐÌåÌùÈ«ÅþÁ¬²ãºÍµÚÒ»²ãµÄ¾í»ý£¬£¬£¬£¬£¬ÕâÊÇÒ»¸ö½ÏÁ¿±ê×¼µÄsetting£¬£¬£¬£¬£¬ÒÔÊÇÏÖÔÚµÖ´ïµÄ¼ÓËÙЧ¹û»¹Ã»Óкܺ㬣¬£¬£¬£¬ÔõÑù×öµÃ¸ü¿ìÊÇÐèÒªÆäËû²ã¶¼ÐèÒªÁ¿»¯µÄ ¡£¡£¡£¡£¡£¡£¡£

Q£ºµ±Ä£×ÓÔÚÕæÕý°²ÅÅ£¬£¬£¬£¬£¬ÐèҪģ×ÓѹËõµÄʱ¼ä£¬£¬£¬£¬£¬Á¿»¯¡¢¼ôÖ¦¡¢ÖªÊ¶ÕôÁóµÈѹËõÒªÁìÒ»Ñùƽ³£»áʹÓÃÄÄÐ©ÄØ£¿£¿£¿£¿£¿£¿

A£ºÁ¿»¯ÊÇÒ»¸ö´ó²¿·ÖÓ²¼þƽ̨¶¼»áÖ§³ÖµÄ£¬£¬£¬£¬£¬Òò´Ë½ÏÁ¿³£Ó㻣»£»£»£»£»ÖªÊ¶ÕôÁóÓÐÀûÓÚ»ñµÃСģ×Ó£¬£¬£¬£¬£¬»¹¿ÉÒÔ½øÒ»²½ÌáÉýÁ¿»¯Ä£×ӵľ«¶È£¬£¬£¬£¬£¬ÒÔÊÇÕâ¸ö¼¼ÇÉÒ²»áʹÓ㬣¬£¬£¬£¬ÓÈÆäÊÇÔÚÓÐÒѾ­ÑµºÃ½ÏÁ¿Ç¿µÄ´óÄ£×ӵĻù´¡ÉÏ»áºÜÊÇÓÐÓà ¡£¡£¡£¡£¡£¡£¡£¼ôÖ¦ÓõĻáÏà¶Ô½ÏÉÙ£¬£¬£¬£¬£¬ÓÉÓÚ¿ÉÒÔ±»ÍøÂç½á¹¹ËÑË÷ÁýÕÖ ¡£¡£¡£¡£¡£¡£¡£

 

¡¸ÉÌÌÀ̩̹¹ûÕæ¿Î¡¹¹«Öںźǫ́»Ø¸´¡°Á¿»¯¡±£¬£¬£¬£¬£¬¼´¿É»ñÈ¡ÏìÓ¦µÄ¿Î³Ì×ÊÁÏŶ£¡


ÍÆ¼öÔĶÁ
  • 11ÔÂ2ÈÕ£¬£¬£¬£¬£¬ÎªÆÚÆßÌìµÄÅÌËã»úÊÓ¾õ¶¥»áICCV 2019ÂäÄ» ¡£¡£¡£¡£¡£¡£¡£ÉÌÌÀ¿Æ¼¼ÒÔ57ƪÂÛÎÄ£¨11ƪOral£©£¬£¬£¬£¬£¬13Ïî¹Ú¾üµÄЧ¹û´´Á¢Ð¡°¸ß¶È¡±(Ïê¼ûÎÄÕ¡¶ÉÌÌÀ¿Æ¼¼57ƪÂÛÎÄÈëÑ¡ICCV 2019£¬£¬£¬£¬£¬13ÏÈü¶á¹Ú¡·)£¬£¬£¬£¬£¬ÈÃÌìϼûÖ¤ÉÌÌÀÑо¿ÊÖÒÕ»ýÀ۵ġ°ºñ¶È¡±£¬£¬£¬£¬£¬ÔÚ´ó»áÏÖ³¡Ò²ÄÜÇ××Ô¸ÐÊÜÉÌÌÀAI+ÐÐÒµÓ¦ÓÃÂ䵨µÄ¡°¹ã¶È¡±
    2019-11-03
  • ¿ËÈÕ£¬£¬£¬£¬£¬Óɰ¢Àï°Í°Í¼¯ÍÅ¡¢ÉÌÌÀ¿Æ¼¼¼°Ïã¸Û¿Æ¼¼Ô°¹«Ë¾Ð¯ÊÖ½¨ÉèµÄÏã¸ÛÈ˹¤ÖÇÄܼ°Êý¾ÝʵÑéÊÒ£¨HKAI Lab£©ÔÚÏã¸Û¿ÆÑ§Ô°Õýʽ¿ªÄ» ¡£¡£¡£¡£¡£¡£¡£ÉÌÌÀ¿Æ¼¼Ê×´´ÈË¡¢Ïã¸ÛÖÐÎÄ´óѧ½ÌÊÚÌÀÏþŸ¡¢°¢Àï°Í°Í¼¯ÍÅÊ×ϯÊÖÒÕ¹ÙÕŽ¨·æºÍÏã¸Û¿Æ¼¼Ô°¹«Ë¾ÐÐÕþ×ܲûƿËÇ¿»®·Ö½ÒÏþÁ˽²»°£¬£¬£¬£¬£¬×£Ô¸HKAI LabÄܹ»ÖúÁ¦Ïã¸ÛÊ×´´È˹¤ÖÇÄÜÆóÒµÉú̬Éú³¤ ¡£¡£¡£¡£¡£¡£¡£
    2018-10-18
²úÆ·ÊÔÓÃ
Ìîд´Ë¼òÆÓ±í¸ñ£¬£¬£¬£¬£¬ÎÒÃǽ«¾¡¿ìÁªÏµÄú£¡
ÉÌÎñÏàÖú
400 900 5986
ÖÜÒ»ÖÁÖÜÎå 9:00-12:00£¬£¬£¬£¬£¬13:00-18:00
ÏàÖúͬ°éÕÐļ
¡¾ÍøÕ¾µØÍ¼¡¿¡¾sitemap¡¿