華為宣布開源盤古7B稠密和72B混合專家模型
華為今日正式宣布開源盤古70億參數(shù)的稠密模型、盤古Pro MoE 720億參數(shù)的混合專家模型和基于昇騰的模型推理技術(shù)。
華為表示：“此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關鍵舉措，推動大模型技術(shù)的研究與創(chuàng)新發(fā)展，加速推進人工智能在千行百業(yè)的應用與價值創(chuàng)造。”
根據(jù)華為官網(wǎng)顯示：
盤古Pro MoE 72B模型權(quán)重、基礎推理代碼，已正式上線開源平臺。
基于昇騰的超大規(guī)模MoE模型推理代碼，已正式上線開源平臺。
盤古7B相關模型權(quán)重與推理代碼將于近期上線開源平臺。
據(jù)悉，基于MoGE架構(gòu)構(gòu)建的盤古Pro MoE大模型（72B總參數(shù)、16B激活參數(shù)）在昇騰300I Duo和800I A2可實現(xiàn)更優(yōu)的專家負載分布與計算效率（321 tokens/s和1528 tokens/s）。
而在模型能力方面，盤古Pro MoE在最新一期業(yè)界權(quán)威大模型榜單SuperCLUE上交出了超能打的成績。
和其他動輒千億以上的大模型相比，如DeepSeek-R1具有671B參數(shù)，盤古Pro MoE以72B總參數(shù)量達到了59分，千億參數(shù)量以內(nèi)大模型排行并列國內(nèi)第一。
并且，16B激活參數(shù)量可以媲美其他廠商更大規(guī)模的模型。
原標題：華為宣布開源盤古7B稠密和72B混合專家模型
責任編輯：李曉靈
- 相關閱讀:
-
人社部：個人養(yǎng)老金領取時需要繳納3%個人所得稅2025-06-25演員梓渝為引起機場擁擠：沒想到會出現(xiàn)這種情況2025-06-27
- 新聞 娛樂 福建 泉州 漳州 廈門
-
- 埃及發(fā)現(xiàn)3座距今4000多年的古墓 部分“被重復使用”
2025-06-29 10:41 - 波羅的海三國將退出《渥太華禁雷公約》
2025-06-29 10:41 - 在俄海域擱淺的中國貨船將于8月?lián)駲C脫淺
2025-06-29 10:41 - 以色列說打死一名哈馬斯軍事部門高級成員
2025-06-29 10:41 - 巴勒斯坦媒體：以軍襲擊加沙多地造成至少58人死亡
2025-06-29 10:41 - 破潛規(guī)則，立明規(guī)矩
2025-06-29 09:27 - 中華人民共和國治安管理處罰法（最新版全文）
2025-06-28 09:29
- 埃及發(fā)現(xiàn)3座距今4000多年的古墓 部分“被重復使用”
- 猜你喜歡:
-
伊朗強烈譴責美國“軍事侵略” 表示有權(quán)作出回應2025-06-23俄太平洋艦隊開始為期兩周軍演2025-06-17今天（6月20日）油價調(diào)整最新消息：油價目前大漲超600元/噸2025-06-20
-
評論(華為宣布開源盤古7B稠密和72B混合專家模型)