ÉÌÌÀ¿Æ¼¼ÕýʽÐû²¼²¢¿ªÔ´ÁËÓëÄÏÑóÀí¹¤´óѧS-LabÏàÖúÑз¢µÄȫжàģ̬ģ×Ӽܹ¹ ¡ª¡ª NEO£¬£¬£¬£¬£¬ÎªÈÕÈÕÐÂSenseNova ¶àģ̬ģ×ÓµÓÚ¨ÁËÐÂÒ»´ú¼Ü¹¹µÄ»ùʯ¡£¡£¡£¡£¡£

×÷ΪÐÐÒµÊ׸ö¿ÉÓõġ¢ÊµÏÖÉîÌõÀíÈںϵÄÔ­Éú¶àģ̬¼Ü¹¹£¨Native VLM£©£¬£¬£¬£¬£¬NEO ´Óµ×²ãÔ­Àí³ö·¢£¬£¬£¬£¬£¬Í»ÆÆÁ˹Ű塰Ä£¿£¿£¿£¿£¿é»¯¡±·¶Ê½µÄèäèô£¬£¬£¬£¬£¬ÒÔ¡°×¨Îª¶àģ̬¶øÉú¡±µÄÁ¢ÒìÉè¼Æ£¬£¬£¬£¬£¬Í¨¹ý½¹µã¼Ü¹¹²ãÃæµÄ¶àģ̬Éî²ãÈںϣ¬£¬£¬£¬£¬ÊµÏÖÁËÐÔÄÜ¡¢Ð§ÂʺÍͨÓÃÐÔµÄÕûÌåÍ»ÆÆ£¬£¬£¬£¬£¬ÖØнç˵Á˶àģ̬ģ×ÓµÄЧÄܽçÏߣ¬£¬£¬£¬£¬±ê¼Ç×ÅÈ˹¤ÖÇÄܶàģ̬ÊÖÒÕÕýʽÂõÈë¡°Ô­Éú¼Ü¹¹¡±µÄÐÂʱ´ú¡£¡£¡£¡£¡£

ÂÛÎÄÍøÖ·£ºhttps://arxiv.org/abs/2510.14979

Github ¿ªÔ´ÍøÖ·£ºhttps://github.com/EvolvingLMMs-Lab/NEO

Ä¿½ñ£¬£¬£¬£¬£¬ÒµÄÚÖ÷Á÷µÄ¶àģ̬ģ×Ó´ó¶à×ñÕÕ¡°ÊÓ¾õ±àÂëÆ÷+ͶӰÆ÷+ÓïÑÔÄ£×Ó¡±µÄÄ£¿£¿£¿£¿£¿é»¯·¶Ê½¡£¡£¡£¡£¡£ÕâÖÖ»ùÓÚ´óÓïÑÔÄ£×Ó£¨LLM£©µÄÀ©Õ¹·½·¨£¬£¬£¬£¬£¬ËäȻʵÏÖÁËͼÏñÊäÈëµÄ¼æÈÝ£¬£¬£¬£¬£¬µ«ÊµÖÊÉÏÈÔÒÔÓïÑÔΪÖÐÐÄ£¬£¬£¬£¬£¬Í¼ÏñÓëÓïÑÔµÄÈںϽöÍ£ÁôÔÚÊý¾Ý²ãÃæ¡£¡£¡£¡£¡£ÕâÖÖ¡°Æ´¼¯¡±Ê½µÄÉè¼Æ²»µ«Ñ§Ï°Ð§ÂʵÍÏ£¬£¬£¬£¬£¬¸üÏÞÖÆÁËÄ£×ÓÔÚÖØ´ó¶àģ̬³¡¾°Ï£¨ºÃ±ÈÉ漰ͼÏñϸ½Ú²¶»ñ»òÖØ´ó¿Õ¼ä½á¹¹Ã÷È·£©µÄ´¦Öóͷ£ÄÜÁ¦¡£¡£¡£¡£¡£

ÉÌÌÀNEO ¼Ü¹¹ÕýÊÇΪÏàʶ¾öÕâһʹµã¶øÉú¡£¡£¡£¡£¡£ÔçÔÚ2024 ÄêÏ°ëÄ꣬£¬£¬£¬£¬ÉÌÌÀ±ãÔÚº£ÄÚÂÊÏÈÍ»Æƶàģ̬ԭÉúÈÚºÏѵÁ·ÊÖÒÕ£¬£¬£¬£¬£¬ÒÔ¼òµ¥Ä£×ÓÔÚ SuperCLUE ÓïÑÔÆÀ²â ºÍ OpenCompass ¶àģ̬ÆÀ²âÖжá¹Ú£¬£¬£¬£¬£¬²¢»ùÓÚÕâÒ»½¹µãÊÖÒÕ´òÔìÁËÈÕÈÕРSenseNova 6.0£¬£¬£¬£¬£¬ÊµÏÖ¶àģ̬ÍÆÀíÄÜÁ¦ÁìÏÈ¡£¡£¡£¡£¡£

Ö®ºó£¬£¬£¬£¬£¬ÔÚ2025 Äê 7 ÔÂÐû²¼ÈÕÈÕРSenseNova 6.5 Í¨¹ýʵÏÖ±àÂëÆ÷²ãÃæµÄÔçÆÚÈںϣ¬£¬£¬£¬£¬°Ñ¶àģ̬ģ×ÓÐÔ¼Û±ÈÌáÉý 3 ±¶£¬£¬£¬£¬£¬²¢ÔÚº£ÄÚÂÊÏÈÍƳöÉÌÓü¶±ðµÄͼÎĽ»Ö¯ÍÆÀí¡£¡£¡£¡£¡£ÉÌÌÀ´Ë´Î¸ü½øÒ»²½£¬£¬£¬£¬£¬³¹µ×ÞðÆúÁ˹ŰåµÄÄ£¿£¿£¿£¿£¿é»¯½á¹¹£¬£¬£¬£¬£¬´Óµ×²ãÔ­Àí³ö·¢£¬£¬£¬£¬£¬ÍƳöÁË´ÓÁãÉè¼ÆµÄ NEO Ô­Éú¼Ü¹¹¡£¡£¡£¡£¡£

NEO ¼Ü¹¹ÒÔ¼«ÖÂЧÂʺÍÉî¶ÈÈÚºÏΪ½¹µãÀíÄ£¬£¬£¬£¬Í¨¹ýÔÚ×¢ÖØÁ¦»úÖÆ¡¢Î»ÖñàÂëºÍÓïÒåÓ³ÉäÈý¸öÒªº¦Î¬¶ÈµÄµ×²ãÁ¢Ò죬£¬£¬£¬£¬ÈÃÄ£×ÓÌìÉú¾ß±¸ÁËͳһ´¦Öóͷ£ÊÓ¾õÓëÓïÑÔµÄÄÜÁ¦£º

    Ô­Éúͼ¿éǶÈë(Native Patch Embedding)£º ÞðÆúÁËÀëÉ¢µÄͼÏñtokenizer£¬£¬£¬£¬£¬Í¨¹ý¶À´´µÄ Patch Embedding Layer (PEL) ×Ôµ×ÏòÉϹ¹½¨´ÓÏñËص½´ÊÔªµÄÒ»Á¬Ó³Éä¡£¡£¡£¡£¡£ÕâÖÖÉè¼ÆÄܸüϸÄåµØ²¶»ñͼÏñϸ½Ú£¬£¬£¬£¬£¬´Ó»ù´¡ÉÏÍ»ÆÆÁËÖ÷Á÷Ä£×ÓµÄͼÏñ½¨Ä£Æ¿¾±¡£¡£¡£¡£¡£

    Ô­ÉúÈýάÐýתλÖñàÂë(Native-RoPE)£º Á¢ÒìÐԵؽâñîÁËÈýάʱ¿ÕƵÂÊ·ÖÅÉ£¬£¬£¬£¬£¬ÊÓ¾õά¶È½ÓÄɸßƵ¡¢Îı¾Î¬¶È½ÓÄɵÍƵ£¬£¬£¬£¬£¬ÍêÉÆÊÊÅäÁ½ÖÖģ̬µÄ×ÔÈ»½á¹¹¡£¡£¡£¡£¡£ÕâʹµÃNEO ²»µ«Äܾ«×¼²¶»ñͼÏñµÄ¿Õ¼ä½á¹¹£¬£¬£¬£¬£¬¸ü¾ß±¸ÏòÊÓƵ´¦Öóͷ£¡¢¿çÖ¡½¨Ä£µÈÖش󳡾°ÎÞ·ìÀ©Õ¹µÄDZÁ¦¡£¡£¡£¡£¡£

    Ô­Éú¶àÍ·×¢ÖØÁ¦(Native Multi-Head Attention)£º Õë¶Ô²î±ðģ̬Ìص㣬£¬£¬£¬£¬NEO ÔÚͳһ¿ò¼ÜÏÂʵÏÖÁËÎı¾ token µÄ×Իعé×¢ÖØÁ¦ºÍÊÓ¾õ token µÄË«Ïò×¢ÖØÁ¦²¢´æ¡£¡£¡£¡£¡£ÕâÖÖÉè¼Æ¼«´óµØÌáÉýÁËÄ£×Ó¶Ô¿Õ¼ä½á¹¹¹ØÁªµÄʹÓÃÂÊ£¬£¬£¬£¬£¬´Ó¶ø¸üºÃµØÖ§³ÖÖØ´óµÄͼÎÄ»ìÏýÃ÷È·ÓëÍÆÀí¡£¡£¡£¡£¡£

±ðµÄ£¬£¬£¬£¬£¬ÅäºÏÁ¢ÒìµÄPre-Buffer & Post-LLM Ë«½×¶ÎÈÚºÏѵÁ·Õ½ÂÔ£¬£¬£¬£¬£¬NEO Äܹ»ÔÚÎüÊÕԭʼ LLM ÍêÕûÓïÑÔÍÆÀíÄÜÁ¦µÄͬʱ£¬£¬£¬£¬£¬´ÓÁã¹¹½¨Ç¿Ê¢µÄÊÓ¾õ¸ÐÖªÄÜÁ¦£¬£¬£¬£¬£¬³¹µ×½â¾öÁ˹Űå¿çģ̬ѵÁ·ÖÐÓïÑÔÄÜÁ¦ÊÜËðµÄÄÑÌâ¡£¡£¡£¡£¡£

Ôڼܹ¹Á¢ÒìµÄÇý¶¯Ï£¬£¬£¬£¬£¬NEO Õ¹ÏÖ³öÁ˾ªÈ˵ÄÊý¾ÝЧÂÊÓëÐÔÄÜÓÅÊÆ£º

    ¼«¸ßÊý¾ÝЧÂÊ£º½öÐèÒµ½çÒ»ÂÉÐÔÄÜÄ£×Ó1/10 µÄÊý¾ÝÁ¿£¨3.9ÒÚͼÏñÎı¾Ê¾Àý£©£¬£¬£¬£¬£¬NEO ±ãÄÜ¿ª·¢³ö¶¥¼âµÄÊÓ¾õ¸ÐÖªÄÜÁ¦¡£¡£¡£¡£¡£ÎÞÐèÒÀÀµº£Á¿Êý¾Ý¼°ÌØÊâÊÓ¾õ±àÂëÆ÷£¬£¬£¬£¬£¬Æ侫Á·µÄ¼Ü¹¹±ãÄÜÔÚ¶àÏîÊÓ¾õÃ÷ȷʹÃüÖÐ׷ƽ Qwen2-VL¡¢InternVL3 µÈ¶¥¼¶Ä£¿£¿£¿£¿£¿é»¯Æ콢ģ×Ó¡£¡£¡£¡£¡£

    ÐÔÄÜ׿ԽÇÒƽºâ£ºÔÚMMMU¡¢MMB¡¢MMStar¡¢SEED-I¡¢POPE µÈ¶àÏî¹ûÕæȨÍþÆÀ²âÖУ¬£¬£¬£¬£¬NEO ¼Ü¹¹¾ùÕ¶»ñ¸ß·Ö£¬£¬£¬£¬£¬Õ¹ÏÖ³öÓÅÓÚÆäËûÔ­Éú VLM µÄ×ÛºÏÐÔÄÜ£¬£¬£¬£¬£¬ÕæÕýʵÏÖÁËÔ­Éú¼Ü¹¹µÄ¡°¾«¶ÈÎÞË𡱡£¡£¡£¡£¡£

    ¼«ÖÂÍÆÀíÐԼ۱ȣºÌØÊâÊÇÔÚ0.6B-8B µÄ²ÎÊýÇø¼äÄÚ£¬£¬£¬£¬£¬NEO ÔÚ±ßÑØ°²ÅÅ·½ÃæÓÅÊÆÏÔÖø¡£¡£¡£¡£¡£Ëü²»µ«ÊµÏÖÁ˾«¶ÈÓëЧÂʵÄË«ÖØԾǨ£¬£¬£¬£¬£¬¸ü´ó·ù½µµÍÁËÍÆÀí±¾Ç®£¬£¬£¬£¬£¬½«¶àģ̬ÊÓ¾õ¸ÐÖªµÄ¡°ÐԼ۱ȡ±ÍÆÏòÁ˼«Ö¡£¡£¡£¡£¡£

¼Ü¹¹ÊÇÄ£×ӵġ°¹Ç¼Ü¡±£¬£¬£¬£¬£¬Ö»ÓйǼÜÔúʵ£¬£¬£¬£¬£¬²Å»ªÖ§³ÖÆð¶àģ̬ÊÖÒÕµÄδÀ´¡£¡£¡£¡£¡£NEO ¼Ü¹¹µÄÔçÆÚÈÚºÏÉè¼ÆÖ§³Öí§ÒâÇø·ÖÂÊÓ볤ͼÏñÊäÈ룬£¬£¬£¬£¬Äܹ»ÎÞ·ìÀ©Õ¹ÖÁÊÓƵ¡¢¾ßÉíÖÇÄܵÈÇ°ÑØÁìÓò£¬£¬£¬£¬£¬ÊµÏÖÁ˴ӵײ㵽¶¥²ã¡¢¶Ëµ½¶ËµÄÕæÕýÈںϡ£¡£¡£¡£¡£

´ÓÓ¦ÓýǶÈ£¬£¬£¬£¬£¬¶Ëµ½¶ËµÄ¡°Ô­ÉúÒ»Ì廯¡±Éè¼Æ£¬£¬£¬£¬£¬Îª»úеÈ˾ßÉí½»»¥¡¢ÖÇÄÜÖն˶àģ̬ÏìÓ¦¡¢ÊÓƵÃ÷È·¡¢3D½»»¥¼°¾ßÉíÖÇÄܵȶàÔª»¯³¡¾°µÄÓ¦Ó㬣¬£¬£¬£¬ÌṩÁ˼áʵµÄÊÖÒÕÖ§³Ö¡£¡£¡£¡£¡£

ÏÖÔÚ£¬£¬£¬£¬£¬ÉÌÌÀÒÑÕýʽ¿ªÔ´»ùÓÚNEO ¼Ü¹¹µÄ 2B Óë 9B Á½ÖÖ¹æ¸ñÄ£×Ó£¬£¬£¬£¬£¬ÒÔÍƶ¯¿ªÔ´ÉçÇøÔÚÔ­Éú¶àģ̬¼Ü¹¹ÉϵÄÁ¢ÒìÓëÓ¦Óᣡ£¡£¡£¡£

ÉÌÌÀ¿Æ¼¼ÌåÏÖ£¬£¬£¬£¬£¬ÖÂÁ¦ÓÚͨ¹ý¿ªÔ´Ð­×÷Ó볡¾°ÂäµØË«ÂÖÇý¶¯£¬£¬£¬£¬£¬½«NEO ´òÔìΪ¿ÉÀ©Õ¹¡¢¿É¸´ÓõÄÏÂÒ»´ú AI »ù´¡ÉèÊ©£¬£¬£¬£¬£¬Íƶ¯Ô­Éú¶àģ̬ÊÖÒÕ´ÓʵÑéÊÒ×ßÏòÆÕ±éµÄ¹¤Òµ»¯Ó¦Ó㬣¬£¬£¬£¬¼ÓËÙ¹¹½¨ÏÂÒ»´ú¹¤Òµ¼¶Ô­Éú¶àģ̬ÊÖÒÕ±ê×¼¡£¡£¡£¡£¡£