AAAI: https://arxiv.org/abs/2001.06499
Solution: https://arxiv.org/abs/2003.05837
Github: https://github.com/Sense-X/X-Temporal

±¾ÎÄÖ÷ÒªÏÈÈÝÈý¸ö²¿·Ö£º
? Ò»¸ö¸ßЧµÄSOTAÊÓƵÌØÕ÷ÌáÈ¡ÍøÂçTIN£¬£¬£¬£¬£¬£¬£¬½ÒÏþÓÚAAAI2020
? ICCV19 MMIT¶à±êÇ©ÊÓƵÃ÷È·¾ºÈü¹Ú¾ü¼Æ»®£¬£¬£¬£¬£¬£¬£¬»ùÓÚTINºÍSlowFast
? Ò»¸ö»ùÓÚPyTorch£¬£¬£¬£¬£¬£¬£¬°üÀ¨´ó×ÚÊÓƵÃ÷È·SOTAÄ£×ӵĴúÂë¿âX-Temporal

±¾ÎĽ«ÏÈÈÝÒ»ÖÖÓÃÓÚÐÐΪʶ±ðµÄʱ¼ä½»Ö¯ÍøÂç(TIN temporal interlacing network)¡£¡£¡£¡£¡£¡£¸ÃÍøÂçÏë½ÏÄ¿½ñSOTAµÄ»ù´¡ÉÏ£¬£¬£¬£¬£¬£¬£¬ÔÚʵÏÖ6±¶¼ÓËÙµÄͬʱ£¬£¬£¬£¬£¬£¬£¬»¹¶à¸öÆÀ²âÊý¾Ý¼¯ÉÏ»ñµÃÁË4%µÄÌáÉý¡£¡£¡£¡£¡£¡£Í¬Ê±¸ÃÒªÁì×÷ΪÖ÷Á¦ÒªÁ죬£¬£¬£¬£¬£¬£¬ÔÚ2019ÄêµÄICCV Multi Moments In Time challengeÖÐÈ¡µÃÁ˹ھü(Leaderboard)¡£¡£¡£¡£¡£¡£ÎÒÃÇ»¹releaseÁËÒ»¸ö»ùÓÚPyTorchµÄ¿ªÔ´Ðж¯Ê¶±ð´úÂë¿âX-Temporal£¬£¬£¬£¬£¬£¬£¬Ï£Íû¿ÉÒÔ½øÒ»²½Íƶ¯Ðж¯Ê¶±ðÉçÇøµÄÉú³¤¡£¡£¡£¡£¡£¡£

×÷ÕßÐÅÏ¢

±¾ÎÄÊÂÇéÓɸÛÖÐÎÄMMLab¡¢Ç廪´óѧÓëÉÌÌÀÑо¿ÔºX-LabÍŽá³öÆ·£¬£¬£¬£¬£¬£¬£¬ÏêϸÄÚÈÝÈçÏ£º

¼ò½é

ÐÐΪʶ±ð£¬£¬£¬£¬£¬£¬£¬ÊÇÅÌËã»úÊÓ¾õÁìÓòºã¾Ã¹Ø×¢µÄÎÊÌ⣬£¬£¬£¬£¬£¬£¬ÔÚÊÓƵÃ÷È·¡¢ÐÐΪ¼ì²â¡¢ÊÖÊÆʶ±ðµÈÁìÓò¶¼ÓÐ×ÅÆÕ±éµÄÓ¦Óᣡ£¡£¡£¡£¡£ÁìÓòÄÚ֮ǰµÄµÄÊÂÇéÖ÷Òª¼¯ÖÐÔÚʹÓþí»ýÉñ¾­ÍøÂçºÍÖÖÖÖʱÐòÄ£×Ó£¨ÀýÈç¹âÁ÷·¨£¬£¬£¬£¬£¬£¬£¬Ñ­»·Éñ¾­ÍøÂçºÍ3D¾í»ý£©ÏàÍŽáµÄ·½·¨Ñ§Ï°Ê±¿ÕÌØÕ÷¡£¡£¡£¡£¡£¡£È»¶øÓÉÓÚÕâЩ¿ò¼ÜÐèÒª½»ÌæµØѧϰʱ¼äºÍ¿Õ¼äÌØÕ÷£¬£¬£¬£¬£¬£¬£¬Ê¹µÃËüÃÇÐèÒªÏûºÄ´ó×ÚµÄÅÌËã×ÊÔ´ºÍʱ¼ä±¾Ç®¡£¡£¡£¡£¡£¡£ÄÜÎȹÌÌá¸ßÄ£×ÓÐÔÄܵĹâÁ÷·¨ÐèÒªÓõ½µÄ¹âÁ÷ÐÅÏ¢³éÈ¡ºÜÊǺÄʱ£¬£¬£¬£¬£¬£¬£¬ÏÕЩ²»¿ÉÄÜÓÃÓÚʵʱÅÌËã¡£¡£¡£¡£¡£¡£ÓÉ´Ë£¬£¬£¬£¬£¬£¬£¬ÎÒÃÇ×ÔÈ»¶øÈ»µÄ±¬·¢ÁËÒ»¸öÒÉÎÊ£ºÄǾÍÊÇÎÒÃÇÄÜ·ñ½«Ê±¼äÐÅϢǶÈëµ½¿Õ¼äÐÅÏ¢ÖУ¬£¬£¬£¬£¬£¬£¬ÒÔ±ã¿ÉÒÔÒ»´ÎͬʱÍŽáѧϰÁ½¸öÓòÖеÄÐÅÏ¢¡£¡£¡£¡£¡£¡£

±¾ÎÄÌá³öÁËÒ»¸ö¼òÆÓ¶øÇ¿Ê¢µÄÄ£¿£¿£¿£¿£¿£¿é-ʱÐò½»Ö¯ÍøÂ磨Temporal Interlace Network£©À´ÊµÑé½â¾öÕâ¸öÎÊÌâ¡£¡£¡£¡£¡£¡£TIN²»Ñ§Ï°Ê±¼äÌØÕ÷£¬£¬£¬£¬£¬£¬£¬¶øÊÇͨ¹ý½»Ö¯ÒÑÍùµ½Î´À´ÒÔ¼°Î´À´µ½ÒÑÍùµÄ¿Õ¼äÌØÕ÷À´ÈÚÊÊʱ-¿ÕÐÅÏ¢¡£¡£¡£¡£¡£¡£Ò»¸ö¿É΢·ÖµÄ×ÓÄ£¿£¿£¿£¿£¿£¿é¿ÉÒÔÅÌËã³ö½»Ö¯Ê±µÄÌØÕ÷ÔÚʱÐòά¶ÈÉϵÄÆ«ÒÆÁ¿£¬£¬£¬£¬£¬£¬£¬Í¬Ê±¿ÉÒÔÒÀ¾ÝÆ«ÒÆÁ¿À´½«ÌØÕ÷ÖØоÙÐн»Ö¯ÅÅÁУ¬£¬£¬£¬£¬£¬£¬Ê¹Ã¿×éÌØÕ÷ÔÚʱ¼äά¶ÈÉÏλÒƲî±ðµÄ¾àÀë¡£¡£¡£¡£¡£¡£´Ó¶øÓñã½Ý¿ìËÙµÄÌØÕ÷λÒƲÙ×÷Ìæ»»ÁË3D¾í»ýÀ´ÊµÏÖÏàÁÚÖ¡µÄÐÅÏ¢½»Á÷¡£¡£¡£¡£¡£¡£ÕâʹÍøÂçµÄ²ÎÊýÄ¿ºÍÅÌËãÁ¿Ô¶µÍÓÚͨË×3D¾í»ýÍøÂ磬£¬£¬£¬£¬£¬£¬Ê¹ÍøÂçÕûÌå±äµÃÏ൱ÇáÁ¿»¯¡£¡£¡£¡£¡£¡£ÔÚÎÄÖÐÎÒÃÇÒ²´ÓÀíÂÛÉÏ֤ʵÎú¿ÉѧϰµÄʱÐò½»Ö¯Ä£¿£¿£¿£¿£¿£¿éʵÖÊÉϵÈͬÓÚÊÜÔ¼ÊøµÄʱÐò¾í»ýÍøÂç¡£¡£¡£¡£¡£¡£

Ëã·¨ÏêÇé

ʱÐò½»Ö¯ÍøÂçµÄ¿ò¼ÜÈçͼ¶þËùʾ£¬£¬£¬£¬£¬£¬£¬¸Ã¿ò¼ÜÖ÷ÒªÓÉÆ«ÒÆÕ¹ÍûÍøÂ磬£¬£¬£¬£¬£¬£¬È¨ÖØÕ¹ÍûÍøÂçºÍ¿É΢ʱÐòÒƶ¯Ä£¿£¿£¿£¿£¿£¿é×é³É¡£¡£¡£¡£¡£¡£ÆäÕûÌ彫×÷Ϊһ¸öÄ£¿£¿£¿£¿£¿£¿é²åÈëµ½ResnetµÄ¾í»ý²ã֮ǰ¡£¡£¡£¡£¡£¡£¹ØÓÚÕû¸öÊäÈëµÄFeature Map£¬£¬£¬£¬£¬£¬£¬ÎÒÃÇÏȽ«Æä3/4µÄchannel¶ÔÓ¦µÄÌØÕ÷Àο¿×¡£¡£¡£¡£¡£¡£¬£¬£¬£¬£¬£¬£¬ÔÙ½«ÓàÏÂ1/4µÄÌØÕ÷ÑØ×Åchannelά¶È·ÖΪ4×飬£¬£¬£¬£¬£¬£¬Ã¿×é»áÓ¦Óòî±ðµÄÆ«ÒÆÁ¿¡£¡£¡£¡£¡£¡£

ÆäÖÐÆ«ÒÆÕ¹ÍûÍøÂçÖ÷ÒªÈÏÕæÕ¹Íû³öÆäÖÐÁ½×éÑØ×ÅTά¶ÈµÄÆ«ÒÆÁ¿£¬£¬£¬£¬£¬£¬£¬È»ºóÊ£ÏÂÁ½×éµÄÆ«ÒÆÁ¿ÊÇÇ°Á½×éµÄÏà·´Öµ¡£¡£¡£¡£¡£¡£ÕâÑùÎÒÃÇ¿ÉÒÔ°ü¹ÜÐÅÏ¢ÔÚʱÐòά¶ÈÉϵÄÁ÷¶¯ÊǶԳƵģ¬£¬£¬£¬£¬£¬£¬¸üÓÐÀûÓÚºóÐøÌØÕ÷µÄÈںϡ£¡£¡£¡£¡£¡£È¨ÖØÍøÂçÖ÷ÒªÈÏÕæÕ¹ÍûÈںϺóʱÐòά¶ÈÉÏÌØÕ÷µÄȨÖØ¡£¡£¡£¡£¡£¡£ÈôÊÇԭʼÊäÈëÊÇ8Ö¡£¡£¡£¡£¡£¡£¬£¬£¬£¬£¬£¬£¬¸ÃÍøÂç±ã»áΪÿ×éÊä³ö8¸öÖµ»®·Ö´ú±íÿһ֡µÄȨÖØÈ»ºó»áÖ±½ÓÓôËÖµÀ´¼ÓȨÈÚºÏʺóÿһ֡µÄfeature¡£¡£¡£¡£¡£¡£ÎÒÃÇҲͬʱ·¢Ã÷λÓÚÁ½Í·µÄÖ¡ËùÕ¹ÍûµÄȨÖØ´ó¶à»á½ÏÁ¿µÍ£¬£¬£¬£¬£¬£¬£¬ÕâÀï¹þ¹þ(haha)ÌåÓýÒâÁÏÊÇÁ½Í·µÄÖ¡µÄÌØÕ÷ÔÚÑØ×ÅʱÐòÒƶ¯Ê±ÓÉÓÚÒ»±ßûÓÐÆäËûÖ¡»áËðʧµôÒ»²¿·Ö£¬£¬£¬£¬£¬£¬£¬Òò´Ëµ¼ÖÂÁËÍøÂç¸øËûÃÇÒ»¸ö½ÏµÍµÄȨÖØÀ´Ìî²¹ÐÅÏ¢Ëðʧ´øÀ´µÄÓ°Ïì¡£¡£¡£¡£¡£¡£

¿É΢ʱÐòÒƶ¯Ä£¿£¿£¿£¿£¿£¿éµÄ¿ò¼ÜÈçͼÈýËùʾ£¬£¬£¬£¬£¬£¬£¬Ëü¿ÉÒÔ½«¸÷×é°´channelά¶ÈÇзֳöÀ´µÄÌØÕ÷ÑØ×Åʱ¼äά¶ÈÒƶ¯í§Òâ¸öµ¥Î»¡£¡£¡£¡£¡£¡£×ÅʵÏÖ·½·¨Ö÷ÒªÊÇͨ¹ýһάÏßÐÔ²îֵʵÏֵġ£¡£¡£¡£¡£¡£ÆäÖÐÎÒÃÇ»¹½ÓÄÉÁËʱÐòÀ©Õ¹ÊÖÒÕ£¬£¬£¬£¬£¬£¬£¬ÒÔ°ü¹ÜÆ«ÒÆÖ®ºóλÓÚÊÓƵ֮ÍâµÄÌØÕ÷²»Îª¿Õ¡£¡£¡£¡£¡£¡£¾Ù¸öÀý×Ó£¬£¬£¬£¬£¬£¬£¬Ô­±¾Î»ÓÚT=0µÄÌØÕ÷ÔÚÏòÇ°Æ«ÒÆ0.5¸öµ¥Î»ºó±ãλÓÚT=-0.5µÄλÖ㬣¬£¬£¬£¬£¬£¬¸ÃλÖÃÀíÂÛÉÏÊDz»±£´æÌØÕ÷µÄ£¬£¬£¬£¬£¬£¬£¬µ«ÎÒÃÇͨ¹ý¼ÙÉèT=-1λÖõÄÌØÕ÷ȫΪ0ʹλÓÚ-0.5µÄλÖÃÈ¡µ½ÁËÌØÕ÷£¬£¬£¬£¬£¬£¬£¬Ò²¼´Feature(T=-0.5) = ?(Feature(T=-1) + Feature(T=0))¡£¡£¡£¡£¡£¡£

ʵÑé

±íÒ»±ÈÕÕÁËÔÚSomething-Something v1 Êý¾Ý¼¯ÉÏTINÓëÆäËûÖ÷Á÷Ä£×ÓµÄÐÔÄÜ¡£¡£¡£¡£¡£¡£ÔÚ²âÊÔÐÔÄÜʱÿ¸öÊÓƵ¾ùÖ»½ÓÄÉ1 Crop¾ÙÐвâÊÔ£¬£¬£¬£¬£¬£¬£¬ÇÒÇø·ÖÂʺÍѵÁ·Ê±¼á³ÖÒ»Ö¡£¡£¡£¡£¡£¡£

¿ÉÊÓ»¯Ð§¹û

ͼÎ彫ÍøÂçѧϰ»ñµÃoffsetºÍweight¾ÙÐÐÁË¿ÉÊÓ»¯ÆÊÎö

¡£¡£¡£¡£¡£¡£´ÓoffsetµÄ¿ÉÊÓ»¯Ð§¹ûÎÒÃÇ¿ÉÒÔ·¢Ã÷ÔÚdz²ãÍøÂçÖеÄÆ«ÒÆÁ¿ºÜÊÇС£¡£¡£¡£¡£¡£¬£¬£¬£¬£¬£¬£¬ÔÚÍøÂçÖð½¥±äÉîµÄÀú³ÌÖÐѧϰµ½µÄÆ«ÒÆÁ¿²ÅÖð½¥±ä´ó¡£¡£¡£¡£¡£¡£ÎÒÃÇÒÔΪdz²ãµÄÉñ¾­ÍøÂçÖ÷Ҫѧϰ2D¿Õ¼äÌØÕ÷£¬£¬£¬£¬£¬£¬£¬ÔÚ½ÏÉîµÄÍøÂçÖвÅ×îÏÈÖð½¥Ñ§Ï°Ê±Ðòά¶ÈÌØÕ÷£¬£¬£¬£¬£¬£¬£¬ÕâºÍ֮ǰ3D¾í»ýÍøÂçÖлñµÃµÄ½áÂÛÊÇÀàËƵÄ¡£¡£¡£¡£¡£¡£

»ùÓÚTINµÄICCV MMIT½ÇÖð¼Æ»®

ÔÚICCV19 MMIT¶à±êÇ©ÊÓƵÃ÷È·¾ºÈüÖУ¬£¬£¬£¬£¬£¬£¬ÎÒÃǽ«TINÓëSlowFastËã·¨¾ÙÐÐÈںϣ¬£¬£¬£¬£¬£¬£¬È¡µÃÁËICCV multi-moments in time challenge¾ºÈüµÄ¹Ú¾üЧ¹û¡£¡£¡£¡£¡£¡£ICCV MMIT¶à±êÇ©ÊÓƵÃ÷È·½ÇÖðÖ¼ÔÚ¶Ô3s¶ÌÊÓƵÖÐÄÚµÄÐж¯¾ÙÐÐÃ÷È·¡£¡£¡£¡£¡£¡£Æä°üÀ¨Áè¼Ý100Íò¶ÎÊÓƵ£¬£¬£¬£¬£¬£¬£¬²¢±ê¼ÇÁËÁè¼Ý200Íò¸ö Ðж¯±êÇ©£¬£¬£¬£¬£¬£¬£¬ÊÇÏÖÔÚ×î´ó¹æÄ£µÄÊÓƵÃ÷È·ÌôÕ½¡£¡£¡£¡£¡£¡£ÖØ´óµÄÊýÄ¿ÓëÖֱ𣬣¬£¬£¬£¬£¬£¬¶ÔÅÌËã»úËã·¨Ìá³öÁËÑÏ¿ÁµÄÒªÇ󡣡£¡£¡£¡£¡£

ÎÒÃǶÔ2DÓë3DÒªÁì¾ù¾ÙÐÐÁËÆÕ±éµÄʵÑé¡£¡£¡£¡£¡£¡£3DÒªÁìÒÔSlowFastÍøÂç¼°Æä±äÖÖΪÖ÷£¬£¬£¬£¬£¬£¬£¬°üÀ¨´¿´âµÄslow·ÖÖ§£¬£¬£¬£¬£¬£¬£¬Ê±Óò÷缯µÄfast·ÖÖ§£¬£¬£¬£¬£¬£¬£¬ÒÔ¼°Ô­°æµÄSlowFast¡£¡£¡£¡£¡£¡£Ð§¹ûϱíËùʾ£¬£¬£¬£¬£¬£¬£¬Ê±Óò÷缯µÄfast·ÖÖ§(32*2)È¡µÃÁË×î¸ßµÄµ¥Ä£×ÓЧ¹û¡£¡£¡£¡£¡£¡£ÎÒÃÇ»¹·¢Ã÷£¬£¬£¬£¬£¬£¬£¬²âÊԽ׶εĶà±ê×¼ÒÔ¼°÷缯²ÉÑù¿ÉÒÔ´ó·ùÌá¸ßËã·¨ÐÔÄÜ¡£¡£¡£¡£¡£¡£

2DÒªÁìÒÔ¹þ¹þ(haha)ÌåÓýÒªÁìTIN£¬£¬£¬£¬£¬£¬£¬ÎÒÃÇҲʵÑéÁËTSN, TSMµÈÒªÁ죬£¬£¬£¬£¬£¬£¬Ð§¹ûÈçϱíËùʾ£¬£¬£¬£¬£¬£¬£¬TIN´ó·ùµÄÌá¸ßÁËÐж¯Ê¶±ðµÄ׼ȷ¶È£¬£¬£¬£¬£¬£¬£¬ÔÚ½«TINÓë3DÒªÁì¾ÙÐÐÈںϺ󣬣¬£¬£¬£¬£¬£¬ÎÒÃÇÔÚÑéÖ¤¼¯ÉÏÈ¡µÃÁË67.22mAPµÄЧ¹û£¬£¬£¬£¬£¬£¬£¬ÔÚ²âÊÔ¼¯ÉÏÈ¡µÃÁË60.77mAPµÄЧ¹û£¬£¬£¬£¬£¬£¬£¬ÃûÁеÚÒ»(Leaderboard)¡£¡£¡£¡£¡£¡£

X-Temporal´úÂë¿âÏÈÈÝ

ÔÚÉÏÊöËã·¨ºÍ¾ºÈüµÄ×¼±¸Àú³ÌÖУ¬£¬£¬£¬£¬£¬£¬Óöµ½µÄÒ»¸öÄÑÌâÊÇȱ·¦Ò»¸ö»ùÓÚPyTorch²¢ÆÕ±éÖ§³ÖÖÚ¶àSOTA¼Æ»®ÇÒ¾ßÓиßЧѵÁ·ÄÜÁ¦µÄÊÓƵÃ÷È·´úÂë¿â¡£¡£¡£¡£¡£¡£Îª´Ë£¬£¬£¬£¬£¬£¬£¬ÎÒÃÇ¿ª·¢ÁËX-Temporal repo¡£¡£¡£¡£¡£¡£Æä¾ßÓÐÒÔÏÂÌØÕ÷£º

1. Ö§³ÖÊý¾Ý¼¯Æձ飬£¬£¬£¬£¬£¬£¬²¢¿É´¦Öóͷ£¶à·ÖÀàÊý¾Ý¼¯¡£¡£¡£¡£¡£¡£°üÀ¨UCF101, Hmdb51, Jester, Kinetics-600, Kinetics-700, Moments in Time , Multi Moments in Time, Something v1, Something v2µÈ¡£¡£¡£¡£¡£¡£
2. ͬʱ֧³Ö´¦Öóͷ£Ô­ÊÓƵÔÚÏß³éÖ¡ºÍ³éÖ¡ºóµÄͼƬ×÷ΪÊäÈ룬£¬£¬£¬£¬£¬£¬Ö§³Ö¶àÖÖ½âÂë¼Æ»®¡£¡£¡£¡£¡£¡£
3. ÌṩÁË×îÐÂ×îÈ«µÄͨÓÃÊÓƵ·ÖÀàÖ÷Á÷ÒªÁìµÄʵÏÖ£¬£¬£¬£¬£¬£¬£¬°üÀ¨2DÒªÁì ( TSN, TSM, TIN ) ºÍ3DÒªÁì( SlowFast, ResNet-3D, R(2+1)D ), ²¢ÔÚ¶à¸öÊý¾Ý¼¯È¡µÃÁËSOTAµÄÐÔÄÜ£¨°üÀ¨ÎÒÃÇÔÚICCV19 MMIT¾ºÈüµÚÒ»ÃûµÄËùÓÐmodel£©¡£¡£¡£¡£¡£¡£
4. Ä£¿£¿£¿£¿£¿£¿é»¯Éè¼ÆʹÒ×ÓÚÌí¼ÓеÄ2D»òÕß3DÄ£×Ó¡£¡£¡£¡£¡£¡£
5. ¶Ô²¿·ÖÄ£×Ó±àдÁËCUDA Operator£¬£¬£¬£¬£¬£¬£¬´ó·ùÌá¸ßÁËÆäÐÔÄÜ¡£¡£¡£¡£¡£¡£
6. ÎÒÃǺóÐø»áÌṩ»ùÓڸÿâµÄModel Zoo£¬£¬£¬£¬£¬£¬£¬Àû±ãÓû§¾ÙÐÐPretrainµÈ²Ù×÷¡£¡£¡£¡£¡£¡£
´úÂë¿âÏÖÒÑ¿ªÔ´£ºhttps://github.com/Sense-X/X-Temporal