本報訊 （記者梁傲男）1月14日，智譜聯(lián)合華為開源新一代圖像生成模型GLM-Image，模型基于昇騰Atlas 800T A2設(shè)備和昇思MindSpore AI框架完成從數(shù)據(jù)到訓(xùn)練的全流程，是首個全程在國產(chǎn)芯片上完成訓(xùn)練的SOTA多模態(tài)模型。

    智譜/供圖

    據(jù)記者了解，GLM-Image采用自主創(chuàng)新的“自回歸+擴(kuò)散解碼器”混合架構(gòu)，實現(xiàn)了圖像生成與語言模型的聯(lián)合，是智譜面向以NanoBanana Pro為代表的新一代“認(rèn)知型生成”技術(shù)范式的一次重要探索。

    智譜方面表示，“GLM-Image是我們對國產(chǎn)計算生態(tài)的一次深度探索與驗證。依托昇騰NPU和昇思MindSpore AI框架，使用動態(tài)圖多級流水下發(fā)、高性能融合算子、多流并行等特性，我們自研了模型訓(xùn)練套件，全面優(yōu)化數(shù)據(jù)預(yù)處理、預(yù)訓(xùn)練、SFT和后訓(xùn)練的端到端流程。通過動態(tài)圖的多級流水優(yōu)化機(jī)制，將Host側(cè)算子下發(fā)的關(guān)鍵階段流水化并高度重疊，消除下發(fā)瓶頸；通過多流并行策略，通信和計算互掩，打破文本梯度同步、圖像特征廣播等操作的通信墻，極致優(yōu)化性能；使用AdamW EMA、COC、RMS Norm等昇騰親和的高性能融合算子，同步提升訓(xùn)練的穩(wěn)定性和性能。”

（編輯 李家琪）