外電指螞蟻集團成功使用阿里及華為等國產芯片降低人工智能模型訓練成本20%，訓練出參數規模達2900億的大模型「Ling-Plus」。消息令業界振奮，但不能忽視的是同一份成果發表的另一項細節--螞蟻集團憑藉這次低成本訓練實驗推出了兩款不同規模的MoE大語言模型--百靈輕量版(Ling-Lite)與百靈增強版(Ling-Plus)，前者參數規模為168億(激活參數27.5億)，Plus基座模型參數規模高達2900億(激活參數288億)，兩者性能均達到行業領先水平。

　　據內媒《IT之家》報道，該份由螞蟻集團Ling團隊近日發表於論文預印版平台Arxiv的技術成果論文，題為《每一個FLOP都至關重要：無需高級GPU即可擴展3000億參數混合專家LING大模型》。實驗表明，其3000億參數的MoE大模型可在使用國產GPU的低性能設備上完成高效訓練，性能與完全使用英偉達芯片、同規模的稠密模型及MoE模型相當。

　　當前，MoE模型訓練通常依賴英偉達H100/H800等高性能GPU，成本高昂且芯片短缺，限制了其在資源受限環境中的應用。螞蟻集團Ling團隊提出「不使用高級GPU」擴展模型的目標，通過創新訓練策略，突破資源與預算限制。在五種不同硬件配置下，Ling團隊對9萬億個token進行Ling-Plus預訓練。結果顯示，使用高性能硬件配置訓練1萬億token的預訓練成本約635萬元人民幣，而採用螞蟻優化方法後，低規格硬件訓練成本降至508萬元左右，節省近20%，且性能與阿里通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當。

　　報道指出，此前DeepSeek通過算法創新及工程優化，使用英偉達H800訓練出性能頂尖的V3與R1模型，為降低成本、提高效率開辟新道路。報道認為，螞蟻集團的技術成果若得到驗證推廣，將助力國產大模型尋找成本更低、效率更高的國產芯片或其他替代方案，進一步降低對英偉達芯片的依賴。
《經濟通通訊社25日專訊》

【你點睇？】立法會年底換屆，民主思路湯家驊指，市民不滿意本屆議員只懂追捧中央言論、不熟悉所審議法例等，你是否認同？► 立即投票