agºÍ¼Ç

À´Ô´£º¹âÖÜÓÎÏ· £¬×÷Õߣº  £¬£º

ุúÄ㽲࣠£¬Ã¿ÄêÒ»µ½´ºÔË £¬Õû¸ö¾£Öݶ¼Ã¦µÃÏñÂìÒϰá¼Ò  ¡£»ð³Ã÷ÈÕ¾È˼·ÈË £¬¿ÍÔËÕ¾¸üÊÇÆßºÚ°ËºÚµÄ £¬Á¬Â·±ßС³Ô̯µÄÀϰåҲæµÃ´­²»¹ýÆøÀ´  ¡£Ëµµ½´ºÔË £¬ºìÃÅ·СºúͬÄÇÒ»´ø¿ÉÊǸöÓÐÒâ˼µÄµØ·½ £¬²Ø×Ų»ÉÙ¼û²»µÃ¹âµÄ´ºÔËÃØÃÜ  ¡£ÄãÏþµÃû£¿

ºìÃÅ·СºúͬµÄ´ºÔË¡°Éñ²Ù×÷¡±

Ïà¹ØÍ¼Æ¬

½²µ½ÕâÀï £¬ÂÑÊǵIJ»µÃ²»ÌáºìÃÅ·Õâ¸öµØ·½  ¡£¶ªÄÇÐÇ £¬ÕâÌõСºúͬËäÈ»²»ÆðÑÛ £¬µ«´ºÔ˵Äʱºò¼òÖ±¾ÍÊǸö¡°µØÏÂÍõ¹ú¡±  ¡£ÎªÊ²Ã´£¿ÒòΪËü²Ø×Ų»ÉÙ±»ÍâµØÈ˳ÆÎª¡°ÐÑÁú¡±µÄ³µÆ±»ÆÅ£  ¡£ÄãÏþµÃû £¬É¶»ð³µÆ±¡¢Æû³µÆ±¡¢ÉõÖÁûµÃƱµÄ¶¼Äܸ㵽  ¡£Äã½²ÊDz»ÊǸü×Ó£¿

²»¹ý¸úÄ㽲Ŷ £¬ÕâÀïÒ²²»ÊÇËæ±ãÄĸöÈ˶¼ÄÜ¸ãÆ±  ¡£ÄÇЩ»ÆÅ£ÓÐЩÊÇÈý½Åè £¬×¨ÃÅ¿ÓÃÆÍ·¼¦µÄ £¬ÉÔ΢²»×¢Òâ¾Í±»µôÄ㹫¹ê  ¡£ÒªÕÒ¿¿Æ×µÄ»ÆÅ£ £¬»¹µÃ¿´ÊDz»ÊÇÀÏÊÖ £¬¶®ÂÑû£¿ºìÃÅ·ÕâÒ»´øµÄ»ÆÅ£Ò»°ã¶¼ºÜÐÑéÏé­ £¬Æ±¼ÛËäÈ»¹óµã £¬µ«ÂÑÊǵĹÜÓà  ¡£ÏñÓÐЩÈË £¬ÅŶÓÅŵ½ñ²µÃÂѶ¼µø £¬×îºóÕÕ¾ÉÅÜÕâÀïÀ´¸ãƱ  ¡£Äã˵¸ãÂÑû¼û°É£¡

´ºÔËÀïµÄºúͬÃÀʳ £¬ÂѺóԵ½·É

½²µã±ðµÄ¹þ £¬³ýÁË»ÆÅ£ £¬ºìÃÅ·СºúͬµÄÃÀʳҲÊÇ´ºÔËÆÚ¼äµÄÁÁµã  ¡£ÄÇЩС̯̯ £¬ÂÑÔ¶¾ÍÄÜÎŵ½Ïãζ  ¡£ÓÈÆäÊÇÄǼҵÄÕ¨ËÖÈâ £¬ÂÑ»ðÌÌÓÖÂÑ´à £¬³ÔÒ»¿Úˬµ½ÂѶ¼µø  ¡£ÁíÓÐÒ»¼ÒÂô¹ð»¨¸âµÄ̯×Ó £¬ÂéÖ±Ìðµ½ÐÄÀïÈ¥ £¬¹ýÁúÁ˶¼Éá²»µÃ·ÅÏ¿ê×Ó  ¡£

Ðí¶à¸Ï´ºÔ˵ÄÈË £¬¶¼»áÀ´ÕâÀï´ò°üµã³ÔµÄ´øÉϳµ  ¡£Äã¿´ £¬ÓÐЩÈËÊÖÀïÌá×ÅÒ»´üÕ¨ËÖÈâ £¬ÅԱ߻¹¼Ð×ÅÁ½¿é¹ð»¨¸â £¬ÂÑÊǵÄÓиã  ¡£ÓÐÈË˵ £¬ÕâЩС³ÔÊÇ´ºÔ˵ġ°¾ÈÃüÁ¸¡± £¬Âò²»µ½Æ±µÄʱºò»¹Äܸø×Ô¼º´ò´òÆø  ¡£Äã½²ÊDz»ÊǸü×Ó£¿

ÐÑÁúµã£º¿ËºìÃÅ·×îºÃ¼°Ôç £¬Ã»È»ÂѼ·ÈË £¬Ð¡³Ô̯×ÓÅŶӶ¼ÒªÅŵ½ñ²µÃÂѶ¼µø  ¡£

´ºÔ˹ÊÊ £¬ºúͬÀïµÄÈ˵ġ°ÂÑë»Ò¡±

¶ªÄÇÐÇ £¬²îµãû¼ÇµÃ½²¹þ £¬ÕâÌõºúͬÀïÁíÓв»ÉÙ¹ÊÊ  ¡£´ºÔËÆÚ¼ä £¬Ðí¶àÈËÔÚÕâÌõºúͬÀïÅöÉÏÒâÏë²»µ½µÄÊ  ¡£ÓÐЩÈË»áÓöµ½ÀÏÅóÓÑ £¬½»¼Ê¼¸¾ä»¹Ò»Æð¸ã¸öÕ¨ËÖÈâ³Ô  ¡£ÓÐЩÈËÄØ £¬Ö±½Ó±»»ÆÅ£Æ­ÁË £¬¸ãʺ¹÷Ò»ÑùµÄƱ £¬½á¹ûÁ¬³µ¶¼Ã»µÃÉÏ  ¡£

Ïà¹ØÍ¼Æ¬

²»¹ý £¬½²µ½ÕâÌõºúͬµÄ´ºÔ˹ÊÊ £¬×î¾­µäµÄÕÕ¾ÉÄÇЩÅÜÆ±µÄÈË  ¡£ÓÐЩÈËûƱÁË £¬Ö±½Óѧèt¨¤i £¬Ëæ×űðÈË»ì½ø³Ã÷ÈÕ¾  ¡£ÁíÓÐЩÈ˸üÐÑÁú £¬Ö±½ÓÔÚºúͬÀïÕÒ»ÆÅ£ £¬¸ãµ½Æ±ºó»¹ÄÜ˳±ã´ò°üµãÃÀʳ £¬ÂÑÊǵÄËãÃÍ  ¡£Äã˵ £¬ÊDz»ÊÇÓе㡰¸ü×ÓÂѸ㷨¡±£¿


Ïà¹ØÍ¼Æ¬

ÄǾ¿¾¹´ºÔËÆÚ¼äºìÃÅ·Сºúֵͬ²»ÖµµÃÈ¥£¿ÂÑÊǵÄ £¬ÖµµÃ¿Ë£¡³ÔµÄºÈµÄ¶¼ÓÐ £¬»¹Äܸ㵽Ʊ £¬¼òÖ±Âé·³ÂѶ¼µß  ¡£

¾£ÖݺìÃÅ·Сºúͬ, ´ºÔ˹ÊÊÂ, »ÆÅ£Æ±, ºúͬÃÀʳ, ´ºÔ˹¥ÂÔ

¡¶ÃÀÍÅÉÏÃÅЧÀ͹¦Ð§ÔÚÄÄ¡·

±±¾©ÉÌÒµ¾­¼Ãѧ»á³£Îñ¸±»á³¤ÀµÑôÌåÏÖ £¬Äê»õ´ó¼¯²»µ«Âú×ãÁËÊÐÃñ¶Ô²É¹ºÄê»õµÄ¶àÔª»¯ÐèÇó £¬»¹¼«´óµØÔöÌíÁ˾©³ÇµÄ½ÚÈÕÆø·Õ  ¡£±ðµÄ £¬Äê»õ´ó¼¯»¹ÎªÄêÇáÈËÌṩÁËÒ»¸öÁ˽â¹Å°åÎÄ»¯¡¢¸ÐÊÜÄêζµÄʱ»ú  ¡£

¡¶¸ß¶Ë¼«Æ·ÍâΧŮ¾Æµê¡·

Õë¶Ô²î±ðµÄÎÊÌâ¹æ¸ñ×öÁ˸üϸÖµÄÖ¸Áî¶ÔÆëºÍÓÅ»¯ £¬È¥³ýÈßÓàµÍЧָÁîÒÔ¼õÉÙËãÁ¦µÄÀË·Ñ £¬ÈçÕë¶ÔDecode AttentionºÍСbatchϵÄGroupGEMM¶¼×öÁËAB¾ØÕó½»»»µÄÓÅ»¯£»

¡¶Î¢ÐÅÉÏÃÅЧÀÍÈ˵½¸¶¿î¡·

ÁíÍâ £¬*STÁ¢·½ÌáʾΣº¦³Æ £¬¹«Ë¾ÓÚ2025Äê11ÔÂ28ÈÕÊÕµ½°²»ÕÖ¤¼à¾ÖÏ·¢µÄ¡¶ÐÐÕþ´¦·Ö¼°Êг¡½ûÈëÊÂÏȼû¸æÊé¡·  ¡£Æ¾¾Ý¡¶¼û¸æÊé¡·ÄÚÈÝ £¬¹«Ë¾¿ÉÄÜ´¥¼°¡¶ÉîÛÚ֤ȯ½»Ò×Ëù´´Òµ°å¹ÉƱÉÏÊйæÔò¡·µÚ 10.5.2 ÌõµÚ£¨Áù£©Ïî¡¢µÚ£¨Æß£©Ïî»®¶¨µÄÖØ´óÎ¥·¨Ç¿ÖÆÍËÊÐÇéÐÎ £¬¹«Ë¾¹ÉƱ¿ÉÄܱ»ÊµÊ©ÖØ´óÎ¥·¨Ç¿ÖÆÍËÊÐ  ¡£

ÍøÕ¾µØÍ¼