ÕªÒª ¡¤ ¿´µã

ÔÚ ISMAR 2021 ÉÏ£¬£¬£¬£¬£¬ÉÌÌÀÑо¿ÔººÍÕã½­´óѧ CAD&CG ¹ú¼ÒÖصãʵÑéÊÒÏàÖúÌá³ö˳ӦÓÚÌôÕ½ÐÔ³¡¾°ÏµÄÊÓ¾õ¹ßÐÔÀï³Ì¼Æ¡£¡£¡£¡£¡£¡£±¾ÊÂÇéÊ×ÏÈ»ùÓÚÉî¶ÈѧϰÉè¼ÆÁËÒ»¸ö³°ôµÄ²»ÒÀÀµÊÓ¾õµÄ¹ßÐÔÔ˶¯¸ú×ÙÍøÂ磬£¬£¬£¬£¬½Ó׎ôñîºÏÊÓ¾õ¡¢IMU ºÍÍøÂçÐÅÏ¢£¬£¬£¬£¬£¬Ìá³öÁË RNIN-VIO ϵͳ£¬£¬£¬£¬£¬ÔÚ°²×¿ÊÖ»úÉÏʵÏÖÁËÕûÌ׼ƻ®¡£¡£¡£¡£¡£¡£ÀëÏßÊý¾Ý¼¯ºÍÔÚÏß AR Demo ʵÑéÅú×¢¸ÃϵͳµÄ¾«¶ÈºÍ³°ôÐÔ¶¼ÓÅÓÚÏÖÓÐÒªÁì¡£¡£¡£¡£¡£¡£

RNIN-VIO: Robust Neural Inertial Navigation Aided Visual-Inertial Odometry in Challenging Scenes1

Danpeng Chen,^1,2  Nan Wang,²  Runsen Xu,¹  Weijian Xie,^1,2  Hujun Bao,¹  Guofeng Zhang^1* 

¹State Key Lab of CAD&CG, Zhejiang University  ²SenseTime Research and Tetras.AI

Part 1 ÂÛÎÄÄîÍ·

ʵʱµÄ¸ß¾«¶ÈºÍ³°ôµÄ 6DoF Ô˶¯¸ú×ÙÊÇÔöÇ¿ÏÖʵÔËÓõÄÒªº¦ÊÖÒÕÖ®Ò»¡£¡£¡£¡£¡£¡£ËäÈ»ÏÖÓеÄÊÓ¾õ¹ßÐÔÀï³Ì¼ÆֻʹÓÃÒƶ¯Æ½Ì¨ÉÏÏûºÄ¼¶µÄÏà»úºÍµÍÁ®µÄ IMU ¾ÍÄÜÈ¡µÃ½ÏÁ¿¸ßµÄÔ˶¯¸ú×Ù¾«¶ÈºÍ½ÏÓŵij°ôÐÔ£¬£¬£¬£¬£¬¿ÉÊÇÏÖÓÐÊÓ¾õ¹ßÐÔÀï³Ì¼ÆÈÔÈ»ÒÀÀµÒ»Á¬¿É¿¿µÄÊÓ¾õ¸ú×Ù£¬£¬£¬£¬£¬ÔÚÌôÕ½ÐÔ³¡¾°£¨ÈçÈõÎÆÀí¡¢Öظ´ÎÆÀí¡¢¶¯Ì¬ÇéÐΡ¢¿ìËÙÔ˶¯¡¢Ô¶¾°µÈ£©ÏºÜÈÝÒ×ʧЧ¡£¡£¡£¡£¡£¡£

Part 2 Á¢Òìµã

1)  Ìá³öÒ»¸öеĻùÓÚÉî¶ÈѧϰµÄ¹ßÐÔÍøÂçȥѧϰÈËÌåÔ˶¯¼ÍÂÉ£»£»£»£»£»Éè¼ÆÁËÏà¶ÔºÍ¾ø¶ÔËðʧ£¬£¬£¬£¬£¬ÄÜÈÃÍøÂçͬʱ¹Ø×¢µ½¾Ö²¿¾«¶ÈºÍÈ«¾Ö¾«¶È

2)  Ìá³öÁ˽ôñîºÏÊÓ¾õ¡¢IMU¡¢¹ßÐÔÍøÂçÕÉÁ¿µÄ¶à´«¸ÐÆ÷ÈÚºÏÀï³Ì¼Æ

Part 3 Ïà¹ØÊÂÇé

ÏÖÔÚÓë±¾ÎÄÊÂÇéÏà¹ØµÄÀï³Ì¼ÆÖ÷Òª·ÖΪÁ½ÖÖ£ºÊÓ¾õ¹ßÐÔÀï³Ì¼ÆºÍÉî¶ÈѧϰµÄ IMU Àï³Ì¼Æ¡£¡£¡£¡£¡£¡£

1.  ÊÓ¾õ¹ßÐÔÀï³Ì¼Æ

ÊÓ¾õ¹ßÐÔÀï³Ì¼Æ¿ÉÒÔ·ÖΪ»ùÓÚÂ˲¨ºÍ»ùÓÚÓÅ»¯µÄÒªÁì¡£¡£¡£¡£¡£¡£Â˲¨ÒªÁìµÄµä·¶´ú±íÊÇ MSCKF[1]¡£¡£¡£¡£¡£¡£ËüʹÓöà״̬¿¨¶ûÂüÂ˲¨ÈÚºÏÊÓ¾õºÍ IMU ÐÅÏ¢£¬£¬£¬£¬£¬ÇÒ½«ÊÓ¾õÌØÕ÷Áã¿Õ¼ä»¯£¬£¬£¬£¬£¬ÅÌËãÁ¿½ÏµÍÇÒ¾«¶È½ÏÓÅ¡£¡£¡£¡£¡£¡£SR-ISWF[2] ÊÇÁíÒ»Öֵ䷶µÄÂ˲¨ VIO¡£¡£¡£¡£¡£¡£ÓÉÓÚϵͳ½ÓÄɾù·½¸ùµÄÐÎʽ£¬£¬£¬£¬£¬Ëü¿ÉÒÔÔÚÈ·±£ÊýÖµÎȹÌÇéÐÎÏ£¬£¬£¬£¬£¬Ê¹Óõ¥¾«¶È¸¡µãÈ¥¼ÓËÙÔËËã¡£¡£¡£¡£¡£¡£ÓÅ»¯ÒªÁìµä·¶´ú±íÓÐ OKVIS[3],VINS-Mono[4]¡£¡£¡£¡£¡£¡£ËûÃÇʹÓÃÓÅ»¯ÒªÁì×îС»¯ÖØͶӰÎó²îºÍÔ¤»ý·Ö IMU Îó²î¡£¡£¡£¡£¡£¡£Ö»¹ÜÕâЩҪÁìÒѾ­È¡µÃ½ÏÓŵľ«¶ÈºÍ³°ôÐÔ£¬£¬£¬£¬£¬¿ÉÊÇÔÚ¼«¶ËÊÓ¾õ³¡¾°Ï£¬£¬£¬£¬£¬ËûÃÇÈÔÈ»ÈÝÒ×ʧЧ¡£¡£¡£¡£¡£¡£

2.  Éî¶ÈѧϰµÄIMUÀï³Ì¼Æ

Õâ¿éÖ÷ÒªÊÂÇéÓÐ IONet[5]£¬£¬£¬£¬£¬RoNIN[6]£¬£¬£¬£¬£¬TLIO[7]¡£¡£¡£¡£¡£¡£IONet µÚÒ»¸öÌá³öʹÓà LSTM ÍøÂçÖ±½Ó»Ø¹éÀο¿´°¿ÚµÄÏà¶ÔλÒƺÍÐýת¡£¡£¡£¡£¡£¡£RoNIN ¼Ù¶¨ÐýתÒÑÖª£¬£¬£¬£¬£¬ÓÃÍøÂçÖ±½Ó»Ø¹é´°¿Úƽ¾ùËÙÂÊ¡£¡£¡£¡£¡£¡£TLIO ½« RoNIN ÍøÂçË¢ÐÂ³É 3D °æ±¾£¬£¬£¬£¬£¬²¢Óà EKF ÈÚºÏ IMU ÕÉÁ¿ºÍÍøÂçÕÉÁ¿£¬£¬£¬£¬£¬È¡µÃ¸ü¸ßµÄ¶¨Î»¾«¶È¡£¡£¡£¡£¡£¡£¿ÉÊÇÕâЩҪÁ춼ûÓÐ˼Á¿ÈËÀàÔ˶¯ÔÚʱÐòÉÏÊÇÒ»Á¬µÄÇÒÓÐÏÔ×ŵļÍÂÉ¡£¡£¡£¡£¡£¡£

Part 4 ÒªÁìÐÎò

ͼ1 ϵͳ¿ò¼Ü

Èçͼ1Ëùʾ£¬£¬£¬£¬£¬ÏµÍ³Ö÷Òª°üÀ¨ËIJ¿·Ö¡£¡£¡£¡£¡£¡£Ô¤´¦Öóͷ££¬£¬£¬£¬£¬³õʼ»¯£¬£¬£¬£¬£¬¹ßÐÔÉñ¾­ÍøÂçºÍÈÚºÏÂ˲¨¡£¡£¡£¡£¡£¡£

Ô¤´¦Öóͷ££º´Óÿ֡ͼÏñÉÏÌáÈ¡½ÇµãÌØÕ÷£¬£¬£¬£¬£¬²¢Ê¹Óà KLT ¾ÙÐÐÒ»Á¬Ö¡Í¼Ïñ¸ú×Ù¡£¡£¡£¡£¡£¡£Ò»Á¬Á½Ö¡Í¼ÏñÖ®¼äµÄ IMU ¾ÙÐÐÔ¤»ý·Ö´¦Öóͷ£¡£¡£¡£¡£¡£¡£Í¬Ê±ÎÒÃÇά»¤Ò»¸ö IMU Buffer ×÷Ϊ¹ßÐÔÉñ¾­ÍøÂçµÄÊäÈëÊý¾Ý¡£¡£¡£¡£¡£¡£

³õʼ»¯£ºÎªÁËÈÃϵͳ˳ӦÖÖÖÖ¸÷ÑùµÄÔ˶¯£¬£¬£¬£¬£¬µ±ÏµÍ³¼ì²âµ½Ä¿½ñÊǾ²Ö¹Ê±£¬£¬£¬£¬£¬½ÓÄɾ²Ö¹³õʼ»¯£¬£¬£¬£¬£¬ÈôΪÔ˶¯£¬£¬£¬£¬£¬Ôò½ÓÄÉÔ˶¯³õʼ»¯¡£¡£¡£¡£¡£¡£

¹ßÐÔÉñ¾­ÍøÂ磺¹ßÐÔÉñ¾­ÍøÂçѧϰÔ˶¯µÄÏÈÑéÂþÑÜ¡£¡£¡£¡£¡£¡£ÍøÂç½ÓÄÉÒ»¸ö¾Ö²¿´°¿ÚµÄ IMU ×÷ΪÊäÈ룬£¬£¬£¬£¬ÔÚÎÞÐèÒÑÖª³õʼËÙÂÊÇéÐÎÏ£¬£¬£¬£¬£¬»Ø¹é´°¿ÚµÄÏà¶ÔλÒƺͲ»È·¶¨¶È¡£¡£¡£¡£¡£¡£²»Ë¼Á¿ÔëÉùÇéÐÎÏ£¬£¬£¬£¬£¬Í¬ÑùµÄ´°¿Ú IMU Êý¾Ý£¬£¬£¬£¬£¬²î±ð³õËÙÂʶÔÓ¦²î±ðµÄÔ˶¯£¬£¬£¬£¬£¬ÒÔÊÇ´¿´â¿¿ IMU Êý¾ÝÊÇÎÞ·¨Ô¤¼ÆÏêϸÔ˶¯µÄ¡£¡£¡£¡£¡£¡£ÎÒÃÇÐÅÍÐÖ»¹ÜÔ˶¯ÂþÑÜÊǺÜÊÇÁÉÀ«µÄ£¬£¬£¬£¬£¬¿ÉÊÇÈËÌåÔ˶¯ÂþÑÜÓ¦¸ÃÊǺÜÊÇÕ­µÄ£¬£¬£¬£¬£¬Í¬ÑùµÄ IMU Êý¾Ý¶ÔÓ¦²î±ðµÄÔ˶¯Ó¦¸ÃºÜÊÇÓÐÊý¡£¡£¡£¡£¡£¡£»£»£»£»£»ùÓÚÕâ¸ö˼Á¿£¬£¬£¬£¬£¬ÎÒÃÇÐÅÍÐÍøÂç¿ÉÒÔ¾ÙÐкÏÀíµÄÔ˶¯Õ¹Íû¡£¡£¡£¡£¡£¡£

ÈÚºÏÂ˲¨£ºÂ˲¨ÏµÍ³½ôñîºÏÊÓ¾õ¡¢IMU ºÍÍøÂçÕÉÁ¿ÐÅÏ¢¡£¡£¡£¡£¡£¡£ÆäÖÐÊÓ¾õÐÅÏ¢ÊÇ¿ÉÒÔ±»ËæʱÒƳýµÄ£¬£¬£¬£¬£¬ÕâÑùϵͳ½«Äð³É´¿ IMU Àï³Ì¼Æ¡£¡£¡£¡£¡£¡£

¹ßÐÔÉñ¾­ÍøÂç

ͼ2 ¹ßÐÔÉñ¾­ÍøÂç

ͼ3 Ëðʧº¯Êý

ÎÒÃÇÉè¼ÆÒ»¸ö¹ßÐÔÉñ¾­ÍøÂçȥѧϰÈËÌåÔ˶¯ÔÚʱÐòÉϵļÍÂÉ¡£¡£¡£¡£¡£¡£¹þ¹þ(haha)ÌåÓýÍøÂç¼Ü¹¹Èçͼ 2 Ëùʾ£¬£¬£¬£¬£¬Ö÷ÒªÓÉ 1D °æ±¾µÄ ResNet18£¬£¬£¬£¬£¬ LSTM ºÍÈ«ÅþÁ¬²ã×é³É¡£¡£¡£¡£¡£¡£ResNet ÍøÂçÓÃÓÚѧϰÈËÌåij¸öÐж¯µÄÒþ²ãÌØÕ÷¡£¡£¡£¡£¡£¡£ÎÒÃÇÒÔΪÈËÌåÔ˶¯ÊÇÒ»Á¬Æ½»¬ÇÒÓÐÏÔ׿ÍÂɵÄ¡£¡£¡£¡£¡£¡£ÒÔÊÇÎÒÃÇʹÓà LSTM ÈÚºÏÄ¿½ñÐж¯µÄÒþ²ãÌØÕ÷ºÍ֮ǰµÄÒþ²ãÌØÕ÷À´Ô¤¼ÆÄ¿½ñÐж¯×îºÃµÄÒþ²ãÌØÕ÷¡£¡£¡£¡£¡£¡£×îÖÕʹÓÃÈ«ÅþÁ¬²ã½âÂëÒþ²ãÌØÕ÷£¬£¬£¬£¬£¬»Ø¹é´°¿ÚÏà¶ÔλÒƺͲ»È·¶¨¶È¡£¡£¡£¡£¡£¡£

Ëðʧº¯ÊýÈçͼ 3 Ëùʾ¡£¡£¡£¡£¡£¡£ÎªÁËÈÃÍøÂçÄܹØ×¢µ½¾Ö²¿¾«¶ÈºÍ¸ü³¤´°¿ÚµÄ¾ø¶Ô¾«¶È£¬£¬£¬£¬£¬ÎÒÃÇÉè¼ÆÁËÏìÓ¦µÄÏà¶ÔËðʧºÍ¾ø¶ÔËðʧº¯Êý£¬£¬£¬£¬£¬ºóÃæʵÑéÑéÖ¤ÁËËðʧº¯ÊýµÄÓÐÓÃÐÔ¡£¡£¡£¡£¡£¡£

¶à´«¸ÐÆ÷ÈںϵÄ6DoF¸ú×Ù

ΪÁ˹¹½¨Ò»¸ö¸ß³°ô£¬£¬£¬£¬£¬¸ß¾«¶ÈµÄÊÓ¾õ¹ßÐÔÀï³Ì¼Æ£¬£¬£¬£¬£¬ÎÒÃÇʵÑé°Ñ³°ôµ«µÍ¾«¶ÈµÄ¹ßÐÔÉñ¾­ÍøÂçÕÉÁ¿ÕûºÏµ½¹Å°åÊÓ¾õ¹ßÐÔÀï³Ì¼ÆÖС£¡£¡£¡£¡£¡£¹Å°åµÄÊÓ¾õ¹ßÐÔÀï³Ì¼ÆÄÜÔ¤¼Æ׼ȷµÄ IMU ״̬(Èçλ×Ë£¬£¬£¬£¬£¬ËÙÂÊ£¬£¬£¬£¬£¬ÖØÁ¦Æ«Ïò£¬£¬£¬£¬£¬Æ«ÖõÈ)¡£¡£¡£¡£¡£¡£Í¨¹ýÕâЩ׼ȷµÄ IMU ״̬¿ÉÒÔ¶Ôԭʼ IMU Êý¾Ý¾ÙÐÐÔ¤´¦Öóͷ££¬£¬£¬£¬£¬¸ø¹ßÐÔÍøÂçÌṩ¸üºÃµÄÊäÈëÊý¾Ý£¬£¬£¬£¬£¬ÌáÉýÍøÂçÔ¤¼ÆµÄ¾«¶È¡£¡£¡£¡£¡£¡£ÁíÍ⣬£¬£¬£¬£¬¸ü׼ȷµÄÍøÂçÔ¤¼Æ£¬£¬£¬£¬£¬ÄÜ·´¹ýÀ´Ôöǿϵͳ³°ôÐÔ¡£¡£¡£¡£¡£¡£

ÊÓ¾õ¹ßÐÔÀï³Ì¼Æ´ó²¿·ÖÄ£¿£¿£¿£¿£¿£¿éºÍ¹Å°å VIO ÀàËÆ£¬£¬£¬£¬£¬ÕâÀï²»ÔÙ׸Êö¡£¡£¡£¡£¡£¡£ÎÒÃÇÖ÷Òª½²Êö¹ßÐÔÉñ¾­ÍøÂçÕÉÁ¿ÄÜÁ¿º¯Êý²¿·Ö¡£¡£¡£¡£¡£¡£ÕâÀïÓÐÁ½µãÐèÒªÌØÊâ×¢ÖØ£¬£¬£¬£¬£¬1¡¢ÍøÂçÔÚ yaw ÉÏÊÇÐýתµÈ±äÐԵģ»£»£»£»£»2¡¢ÍøÂçÕ¹ÍûµÄʱ¼ä´Á·×Æ綨ºÍÔ¤¼Æ״̬µÄʱ¼ä´ÁÊǶÔÆëµÄ¡£¡£¡£¡£¡£¡£¹ßÐÔÉñ¾­ÍøÂçÊÓ²ìÄÜÁ¿º¯ÊýΪ£º

ÓÉÓÚÕ¹ÍûºÍÔ¤¼ÆµÄʱ¼ä´Á²î³ØÆ룬£¬£¬£¬£¬ÒÔÊÇÎÒÃÇʹÓÃÔ¤»ý·ÖÈ¥¶ÔÆëʱ¼ä´Á£º

Part 5 ʵÑéЧ¹û

ÎÒÃǽ«Ìá³öµÄÒªÁì RNIN-VIO ºÍÏÂÃæÒªÁì¾ÙÐбÈÕÕ: (a) 3D-RoNIN[6], (b) TLIO[7], (c) Ours (wo AL) ÊÇÔÚÎÒÃÇÌá³öµÄ¹ßÐÔÉñ¾­ÍøÂç»ù´¡ÉÏÈ¥µô¾ø¶ÔËðʧº¯Êý, (d) BVIO Êǹþ¹þ(haha)ÌåÓýRNIN-VIO ϵͳȥµô¹ßÐÔÉñ¾­ÍøÂçÕÉÁ¿, (e) VINS-Mon¡£¡£¡£¡£¡£¡£

Éñ¾­ÍøÂ粿·ÖʵÑé

ÎÒÃÇÔÚ¿ªÔ´µÄ IDOL[8] Êý¾ÝÉϲâÊÔ¹þ¹þ(haha)ÌåÓý¹ßÐÔÉñ¾­ÍøÂçÒªÁìºÍÏÖÓÐÒªÁì¡£¡£¡£¡£¡£¡£Í¬ÏÖÓÐÒªÁì±ÈÕÕ£¬£¬£¬£¬£¬ÎÒÃÇÒªÁìÈ¡µÃ¸ü¸ßµÄ¾ø¶Ô¾«¶ÈºÍÏà¶Ô¾«¶È¡£¡£¡£¡£¡£¡£¹ßÐÔÉñ¾­ÍøÂçÒ²ÄÜ·º»¯µ½²î±ðÈË¡¢²î±ð×°±¸ºÍ²î±ðÇéÐΡ£¡£¡£¡£¡£¡£ÎÒÃÇÉè¼ÆµÄÏà¶ÔËðʧºÍ¾ø¶ÔËðʧÓÐÓÃÌáÉýÍøÂçÕûÌ徫¶È¡£¡£¡£¡£¡£¡£

ͼ4 ²âÊÔÊý¾Ý¼¯ÉÏÀÛ»ýÃܶȺ¯Êý

ͼ 5 ¹ßÐÔÉñ¾­ÍøÂçÔ¤¼Æ¹ì¼£Í¼

±í¸ñ 1 Éñ¾­¹ßÐÔÍøÂ羫¶È±ÈÕÕ

RNIN-VIO ʵÑé

ÎÒÃÇÓûªÎª Mate20 Pro ÊÖ»úÊÕÂÞÁ˶à×éÊÒÄÚÍâÊý¾Ý¾ÙÐбÈÕÕ¡£¡£¡£¡£¡£¡£Ð§¹ûÅú×¢ÔÚÕý³£³¡¾°Ï RNIN-VIO ºÍ BVIO ¾«¶È¿¿½ü£¬£¬£¬£¬£¬¶øÔÚÌôÕ½ÐÔ³¡¾°Ï£¬£¬£¬£¬£¬RNIN-VIO ¾«¶ÈºÍ³°ôÐÔÏÔÖøºÃÓÚ BVIO¡£¡£¡£¡£¡£¡£

±í¸ñ2 RNIN-VIO¾«¶È±ÈÕÕ

Reference:

[1] A.I.MourikisandS.I.Roumeliotis.Amulti-stateconstraintkalman filter for vision-aided inertialnavigation. In Proceedings of IEEE International Conference on Robotics and Automation, pp. 3565¨C3572. IEEE, 2007.

[2] K. Wu, A. Ahmed, G. A. Georgiou, and S. I. Roumeliotis. A square

root inverse filter for efficient vision-aided inertial navigation on mobile devices. In Robotics: Scienceand Systems, vol. 2, 2015.

[3] S. Leutenegger, S. Lynen, M. Bosse, R. Siegwart, and P. Furgale. Keyframe-based visual¨Cinertialodometry using nonlinear optimization. The International Journal of Robotics Research, 34(3):314¨C334,2015.

[4] T. Qin, P. Li, and S. Shen. VINS-Mono: A robust and versatile monoc- ular visual-inertial stateestimator. IEEE Transactions on Robotics, 34(4):1004¨C1020, 2018.

[5] C. Chen, X. Lu, A. Markham, and N. Trigoni. IONet: Learning to cure the curse of drift in inertialodometry. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 32, 2018.

[6] S. Herath, H. Yan, and Y. Furukawa. RoNIN: Robust neural inertial navigation in the wild:Benchmark, evaluations, & new methods. In Proceedings of IEEE International Conference on Roboticsand Automation (ICRA), pp. 3146¨C3152. IEEE, 2020.

[7] W. Liu, D. Caruso, E. Ilg, J. Dong, A. I. Mourikis, K. Daniilidis, V. Kumar, and J. Engel. TLIO: Tightlearned inertial odometry. IEEE Robotics and Automation Letters, 5(4):5653¨C5660, 2020.

[8] S. Sun, D. Melamed, and K. Kitani. IDOL: Inertial Deep Orientation- Estimation and Localization.arXiv preprint arXiv:2102.04024, 2021.