¹þ¹þ(haha)ÌåÓý

ÉêÇëÊÔÓÃ
怬
½¹µãÊÖÒÕ
ÒÔÔ­´´ÊÖÒÕϵͳΪ»ù±¾£¬£¬£¬£¬£¬£¬£¬SenseCoreÉÌÌÀAI´ó×°ÖÃΪ½¹µã»ù×ù£¬£¬£¬£¬£¬£¬£¬½á¹¹¶àÁìÓò¡¢¶àÆ«ÏòÇ°ÑØÑо¿£¬£¬£¬£¬£¬£¬£¬
¿ìËÙÂòͨAIÔÚ¸÷¸ö±ÊÖ±³¡¾°ÖеÄÓ¦Ó㬣¬£¬£¬£¬£¬£¬ÏòÐÐÒµ¸³ÄÜ¡£¡£¡£¡£¡£¡£¡£¡£

ECCV 2022 Oral | OpenLane£º³¬´ó¹æÄ£ÕæÊµ³¡¾°3D³µµÀÏß¼ì²âʹÃü

2022-09-18

1.png

Part 1 Motivation


×Ô¶¯¼ÝÊ»ÐÐÒµÅÉú³¤£¬£¬£¬£¬£¬£¬£¬¶øÆäÖеĸ¨Öú¼Ýʻϵͳ (ADAS) »òÕßL2µ½L4µÄ¼ÝÊ»³¡¾°¶¼ÐèÒªÌṩһЩ³µµÀÏß¼ì²â¹¦Ð§ÈçAutomated Lane Centering (ALC)ºÍ Lane Departure Warning (LDW)¡£¡£¡£¡£¡£¡£¡£¡£ÕâÆäÖеĽ¹µãÄ£¿£¿£¿£¿£¿£¿é¾ÍÊÇÒ»¸ö³°ôµÄ£¬£¬£¬£¬£¬£¬£¬·º»¯ÐÔÄܺõijµµÀÏß¼ì²âÆ÷¡£¡£¡£¡£¡£¡£¡£¡£¶øËæ×ÅÉî¶ÈѧϰµÄÒ»Ö±Ñݽø£¬£¬£¬£¬£¬£¬£¬2D³µµÀÏß¼ì²âÒѾ­ÓÐÁ˽ÏΪ³ÉÊìµÄ×ö·¨¡£¡£¡£¡£¡£¡£¡£¡£¿ÉÊÇ2D³µµÀÏß×ÅʵÊÇÎÞ·¨Öª×㹤ҵ½çµÄÕæÕýÐèÇ󣬣¬£¬£¬£¬£¬£¬Ö÷ÒªÌåÏÖÔÚÁ½µã¡£¡£¡£¡£¡£¡£¡£¡£


1. ÏÂÓÎµÄ¹æ¿ØÄ£¿£¿£¿£¿£¿£¿éÐèÒª³µµÀÏß¼ì²â±¬·¢ÔÚÄñî«Í¼Êӽǣ¨BEV£©£¬£¬£¬£¬£¬£¬£¬¶ø½ö×÷¼òÆÓµÄǰÊÓͼµ½Äñî«Í¼µÄͶӰ»á¼«´óÒÀÀµÓÚÏà»ú²ÎÊý£¬£¬£¬£¬£¬£¬£¬¶øÕâÔÚÏÖʵ³¡¾°ÖÐÊǺÜÄÑ»ñÈ¡µ½×¼È·µÄÕæÖµ¡£¡£¡£¡£¡£¡£¡£¡£


2. ³µµÀÏߵĸ߶ÈÐÅÏ¢ÔÚͶӰÀú³ÌÖÐÕ¼ÓкÜÖ÷ÒªµÄְ룬£¬£¬£¬£¬£¬£¬ÓÈÆäÊÇÔÚÉÏÏÂÆÂ³¡¾°ÖУ¬£¬£¬£¬£¬£¬£¬¸ß¶ÈÐÅÏ¢»á¼«´óµØÓ°ÏìͶӰÖÊÁ¿£¬£¬£¬£¬£¬£¬£¬¶øÖ®Ç°µÄͶӰ×ö·¨ÊÇÔÚË®Æ½Â·ÃæµÄ¼ÙÉèÉϾÙÐеÄ¡£¡£¡£¡£¡£¡£¡£¡£¶øÏÖÔÚÊÐÃæÉÏȱÉÙÒ»¸ö´ø¸ß¶ÈÐÅÏ¢µÄ³µµÀÏßÊý¾Ý¼¯¡£¡£¡£¡£¡£¡£¡£¡£


ÈçͼËùʾÊÇÖ±¹ÛµÄÏÈÈÝ´Ó(a)Perspective Viewµ½(b)ÖÐBird Eye View×ö³µµÀÏß¼ì²âµÄÄîÍ·£ºÔÚÆ½Ãæ¼ÙÉèÏ£¬£¬£¬£¬£¬£¬£¬³µµÀ½«ÔÚͶӰBEVÖзֲæ/»ã¾Û£¬£¬£¬£¬£¬£¬£¬Ë¼Á¿µ½¸ß¶ÈµÄ3D½â¾ö¼Æ»®¿ÉÒÔ׼ȷչÍûÕâÖÖÇéÐÎÏÂµÄÆ½ÐÐÍØÆË½á¹¹¡£¡£¡£¡£¡£¡£¡£¡£¶ø(c)ÔÚÌØÕ÷²ãÃæÓÃPersFormer×öͶӰ£¬£¬£¬£¬£¬£¬£¬ÄܽϺõØÔöÇ¿Í¶Ó°ÌØÕ÷£¬£¬£¬£¬£¬£¬£¬½ø¶ø½â¾öBEVϼì²â½û¾øµÄÎÊÌâ¡£¡£¡£¡£¡£¡£¡£¡£


2.png

»ùÓÚÕâЩÎÊÌ⣬£¬£¬£¬£¬£¬£¬ÍŶӻ®·ÖÌá³öÁËPersFormer£¨Perspective Transformer£©Ò»Öֶ˵½¶ËµÄµ¥Ä¿3D³µµÀÏß¼ì²âÆ÷£¬£¬£¬£¬£¬£¬£¬ºÍ´ó¹æÄ£ÕæÊµ³¡¾°3D³µµÀÊý¾Ý¼¯¡ª¡ªOpenLane¡£¡£¡£¡£¡£¡£¡£¡£


Part 2 Perspective Transformer


ÕûÌåPipeline


ÈçͼÊÇÕû¸öPersFormerÁ÷Ë®ÏߣºÆä½¹µãÊÇѧϰÒÔǰÊÓͼµ½BEV¿Õ¼äµÄ¿Õ¼äÌØÕ÷ת»»£¬£¬£¬£¬£¬£¬£¬¹Ø×¢²Î¿¼µãÖÜΧµÄ¾Ö²¿ÇéÐΣ¬£¬£¬£¬£¬£¬£¬ÔÚÄ¿µÄµã£¨target point£©ÌìÉúµÄBEVÌØÕ÷½«¸ü¾ß´ú±íÐÔ£»£»£» £»£»£»£»PersFormerÓÉ×Ô×¢ÖØÄ£¿£¿£¿£¿£¿£¿é×é³É£¬£¬£¬£¬£¬£¬£¬ÓÃÓÚÓë×Ô¼ºBEVÅÌÎʾÙÐн»»¥£»£»£» £»£»£»£»½»Ö¯×¢ÖØÄ£¿£¿£¿£¿£¿£¿é´Ó»ùÓÚIPMµÄǰÊÓÍ¼ÌØÕ÷ÖлñÈ¡key-value¶Ô£¬£¬£¬£¬£¬£¬£¬ÌìÉúϸÁ£¶ÈBEVÌØÕ÷¡£¡£¡£¡£¡£¡£¡£¡£


3.png

PersFormerÕûÌåpipeline


ÕâÀïÖ÷¸ÉÍø½«resizedͼÏñ×÷ΪÊäÈ룬£¬£¬£¬£¬£¬£¬²¢ÌìÉú¶à±ê׼ǰÊÓÍ¼ÌØÕ÷¡£¡£¡£¡£¡£¡£¡£¡£Ö÷¸ÉÍø½ÓÄÉÁËÊ¢ÐеÄResNet±äÐÍ£¬£¬£¬£¬£¬£¬£¬ÕâÐ©ÌØÕ÷¿ÉÄÜ»áÊܵ½±ê׼ת±ä¡¢ÕÚµ²µÈȱÏݵÄÓ°Ï죬£¬£¬£¬£¬£¬£¬ÕâЩȱÏÝÀ´×ÔǰÊÓͼ¿Õ¼äÖйÌÓеÄÌØÕ÷ÌáÈ¡¡£¡£¡£¡£¡£¡£¡£¡£×îºó£¬£¬£¬£¬£¬£¬£¬³µµÀ¼ì²âÍ·ÈÏÕæÕ¹Íû2DºÍ3D×ø±êÒÔ¼°³µµÀÀàÐÍ¡£¡£¡£¡£¡£¡£¡£¡£2D/3D¼ì²âÍ·±»³ÆÎªLaneATTºÍ3D LaneNet£¬£¬£¬£¬£¬£¬£¬ÆäÖжԽṹºÍêµãÉè¼Æ¾ÙÐÐÁËһЩÐ޸ġ£¡£¡£¡£¡£¡£¡£¡£


View Transformation


ÔõÑù×öPerspective Viewµ½Bird Eye ViewµÄת»»ÊÇPersFormerµÄÖØµã£¬£¬£¬£¬£¬£¬£¬ÕâÀïÎÒÃÇʹÓÃÁ˽»Ö¯×¢ÖØÁ¦»úÖÆÀ´½â¾öÕâ¸öÎÊÌâ¡£¡£¡£¡£¡£¡£¡£¡£ÈçͼËùʾÊǽ»Ö¯×¢ÖØÖÐÌìÉúkey£ºBEV¿Õ¼äÖеĵ㣨x£¬£¬£¬£¬£¬£¬£¬y£©Í¨¹ýÖÐÐÄ̬£¨x¡ä£¬£¬£¬£¬£¬£¬£¬y¡ä£©Í¶ÉäǰÊÓͼÖеĶÔÓ¦µã£¨u£¬£¬£¬£¬£¬£¬£¬v£©£»£»£» £»£»£»£»Í¨¹ýÑ§Ï°Æ«ÒÆÁ¿£¬£¬£¬£¬£¬£¬£¬ÍøÂçѧϰ´ÓÂÌÉ«¾Ø¿òµ½»ÆÉ«Ä¿µÄ²Î¿¼µãÖ®¼äµÄÓ³É䣬£¬£¬£¬£¬£¬£¬ÒÔ¼°Ïà¹ØµÄÀ¶É«¿ò×÷ΪTransformerµÄkey¡£¡£¡£¡£¡£¡£¡£¡£


4.png

½»Ö¯×¢ÖØÁ¦»úÖÆÊ¾Òâͼ


Unified Anchor Design


½øÒ»²½µÄÄ¿µÄÊÇͳһ2-D³µµÀ¼ì²âºÍ3-D³µµÀ¼ì²âʹÃü£¬£¬£¬£¬£¬£¬£¬½ÓÄɶàʹÃüѧϰ£¨multi-task learning£©¾ÙÐÐÓÅ»¯¡£¡£¡£¡£¡£¡£¡£¡£Ò»·½Ã棬£¬£¬£¬£¬£¬£¬Í¸ÊÓͼÖУ¬£¬£¬£¬£¬£¬£¬2D³µµÀ¼ì²âÈÔÈ»×÷Ϊ¸÷È˵ÄÐËȤ£»£»£» £»£»£»£»ÁíÒ»·½Ã棬£¬£¬£¬£¬£¬£¬Í³Ò»2DºÍ3DʹÃü×ÔÈ»ÊÇ¿ÉÐеÄ£¬£¬£¬£¬£¬£¬£¬ÓÉÓÚÕ¹Íû3DÊä³öµÄBEVÌØÕ÷À´×Ô2D·ÖÖ§ÖеĶÔÓ¦Ïî¡£¡£¡£¡£¡£¡£¡£¡£


ÈçͼÊÇÔÚ2DºÍ3DÖÐͳһêµãÉè¼Æ£ºÊ×ÏÈÔÚBEV¿Õ¼ä£¨×󣩰²ÅŲ߻®µÄêµã£¨ºìÉ«£©£¬£¬£¬£¬£¬£¬£¬È»ºó½«ÆäͶӰµ½Ç°ÊÓͼ£¨ÓÒ£©¡£¡£¡£¡£¡£¡£¡£¡£Æ«ÒÆÁ¿xikºÍuik£¨ÐéÏߣ©Õ¹ÍûÕæÖµ£¨»ÆÉ«ºÍÂÌÉ«£©µ½ÃªµãµÄÆ¥Åä¡£¡£¡£¡£¡£¡£¡£¡£ÕâÑù¾Í½¨ÉèÁ˶ÔÓ¦¹ØÏµ£¬£¬£¬£¬£¬£¬£¬²¢Ò»ÆðÓÅ»¯ÁËÌØÕ÷¡£¡£¡£¡£¡£¡£¡£¡£


5.png

ͳһ2DºÍ3DêµãÉè¼ÆÊ¾Òâͼ


Part 3 OpenLane


OpenLane°üÀ¨20ÍòÖ¡¡¢Áè¼Ý88ÍòÌõʵÀý¼¶³µµÀ¡¢14¸ö³µµÀÖֱ𣨵¥°×É«ÐéÏß¡¢Ë«»ÆÉ«ÊµÌå¡¢×ó/ÓÒ·±ßµÈ£©£¬£¬£¬£¬£¬£¬£¬ÒÔ¼°³¡¾°±êÇ©ºÍõè¾¶Ïà½üÄ¿µÄ£¨CIPO£©×¢ÊÍ£¬£¬£¬£¬£¬£¬£¬ÒÔÃãÀø¿ª·¢3D³µµÀ¼ì²âºÍ¸ü¶àÓ빤ҵÏà¹ØµÄ×Ô¶¯¼ÝʻҪÁì¡£¡£¡£¡£¡£¡£¡£¡£


Èç±íÊÇOpenLaneºÍÆäËû»ù×¼ÏߵĽÏÁ¿£º


6.png

OpenLaneÓëÏÖÓлù×¼µÄ½ÏÁ¿


¡°Avg. Length¡±ÌåÏÖ·Ö¶ÎµÄÆ½¾ùÒ»Á¬Ê±¼ä£»£»£» £»£»£»£»

¡°Inst.Anno.¡±Ö¸Ê¾³µµÀÊÇ·ñ°´ÊµÀý×¢ÊÍ£¨°´c.f.ÓïÒå×¢ÊÍ£©£»£»£» £»£»£»£»

¡°Track. Anno.¡±ÌåÏÖ³µµÀÊÇ·ñ¾ßÓÐΨһµÄ¸ú×ÙID£»£»£» £»£»£»£»

¡°#Frames¡±ÖеÄÊý×Ö»®·ÖÊÇ×ÜÖ¡Öдø×¢Ê͵ÄÖ¡Êý£»£»£» £»£»£»£»

¡°Line Category¡±ÌåÏÖ³µµÀÖÖÀࣻ£»£» £»£»£»£»

¡°Scenario¡±ÌåÏÖ³¡¾°±êÇ©¡£¡£¡£¡£¡£¡£¡£¡£


±ê×¢ÀàÐÍ


? ³µµÀÐÎ×´£ºÃ¿¸ö2D/3D³µµÀÏÔʾΪһ×é2D/3Dµã

? ³µµÀÖÖ±ð£ºÃ¿Ìõ³µµÀ¶¼ÓÐÒ»¸öÖֱ𣬣¬£¬£¬£¬£¬£¬ÀýÈçË«»ÆÏß»ò·Ե

? ³µµÀÊôÐÔ£ºÄ³Ð©³µµÀ¾ßÓÐÓÒ¡¢×óµÈÊôÐÔ

? ³µµÀ¸ú×ÙID£º³ý·ԵÍ⣬£¬£¬£¬£¬£¬£¬Ã¿Ìõ³µµÀ¶¼ÓÐΨһµÄID

? Í£³µÏߺÍ·Ե

£¨Óйظü¶à×¢Êͱê×¼£¬£¬£¬£¬£¬£¬£¬Çë²Î¿¼³µµÀAnno±ê×¼£©


CIPO/³¡¾°×¢ÊÍ


? ¶þά½çÏß¿ò£ºÆäÖÖ±ðÌåÏÖ¹¤¾ßµÄÖ÷ÒªÐÔ¼¶±ð

? ³¡¾°±ê¼Ç£ºËüÐÎòÁËÔÚÄĸö³¡¾°ÖÐÍøÂç´ËÖ¡

? ÌìÆø±êÇ©£ºËüÐÎòÁËÔÚʲôÌìÆøÏÂÍøÂç´ËÖ¡

? Сʱ±ê¼Ç£ºËü×¢ÊÍÁËÍøÂç´ËÖ¡µÄʱ¼ä


Êý¾Ý¼¯¿ÉÊÓ»¯


6.jpg

OpenLane±ê×¢ÑùÀý


7.png

OpenLaneÑùÀý¸ÅÀÀ£¬£¬£¬£¬£¬£¬£¬º­¸ÇÒ¹Íí¡¢Èչ⡢ÍäµÀµÈ¶àÖÖ³¡¾°


Part 4 ÊµÑéЧ¹û 


ÎÒÃÇÔÚС¹æÄ£ÄâÕæ3D³µµÀÏßÊý¾Ý¼¯ApolloºÍ´ó¹æÄ£ÕæÊµ³¡¾°3D³µµÀÏßÊý¾Ý¼¯OpenLane»®·Ö×öÁËʵÑ飬£¬£¬£¬£¬£¬£¬¾ùµÖ´ïSOTAˮƽ¡£¡£¡£¡£¡£¡£¡£¡£


ApolloʵÑéЧ¹û


8.png


OpenLaneʵÑéЧ¹û


9.png


ÏûÈÚʵÑé±ÈÕÕ


10.png


Ïà¹Ø×ÊÁÏ


?ÂÛÎĵصã:

https://arxiv.org/pdf/2203.11089.pdf


?ÏîÄ¿µØµã:

https://github.com/OpenPerceptionX/OpenLane

²úÆ·ÊÔÓÃ
Ìîд´Ë¼òÆÓ±í¸ñ£¬£¬£¬£¬£¬£¬£¬ÎÒÃǽ«¾¡¿ìÁªÏµÄú£¡
ÉÌÎñÏàÖú
400 900 5986
ÖÜÒ»ÖÁÖÜÎå 9:00-12:00£¬£¬£¬£¬£¬£¬£¬13:00-18:00
ÏàÖúͬ°éÕÐļ
¡¾ÍøÕ¾µØÍ¼¡¿¡¾sitemap¡¿