28/01/2025
【FOCUS】螺絲殼裏做道場,DeepSeek致勝啟示
「算力出奇跡」VS「螺絲殼裏做道場」,到底哪個技高一籌?AI股王英偉達輝周一(27日)市值蒸發5890億美元,如對前者的當頭棒喝,盛行多年的AI核心假設--資金多即是強、算力高即是好,遭奉行後者的DeepSeek徹底打破。
AI多年核心假設一朝打破
Meta的朱克伯格上周拋出「2025年資本支出高達650億美元」、「年底擁有130萬顆GPU」的震撼彈,短短三天後,AI界的「大躍進」敘事即畫風驟變,皆因跟OpenAI O1大模型分庭抗禮的DeepSeek-R1大模型,被揭訓練成本低至560萬美元,使用的英偉達GPU數量僅2048顆,且型號是上一代H800。
DeepSeek異軍突起,拖累英偉達輝周一(27日)市值蒸發5890億美元。
OpenAI首席執行官Sam Altman周二最新表示,DeepSeek-R1大模型令人印象深刻,但堅稱「現在比以往任何時刻,都需要更強的算力來完成使命。」
強化學習+混合專家架構
面對有「AI界拼多多」之稱的中國「黑馬」公司,何解Sam Altman仍執著算力?答案指向其大模型訓練路徑。據OpenAI創始成員Andrej Karpathy解釋,訓練分為4個階段:一,預訓練(「投喂」大量文字並設定權重),建立基礎LLM模型;二,監督微調(以少量高品質的資料提示完成特定任務),建立SFT模型;三,獎勵模型(對回應進行打分並相應調整權重);強化學習(在獎勵模型下不斷調整以獲得更高分數),最終獲得RLHF(人類反饋強化學習)模型。
DeepSeek依賴大規模強化學習(RL)訓練大模型,並將論文公開發表。
DeepSeek則選擇跳過監督微調,而依賴大規模強化學習(RL),而這種方法允許模型自行探索思維鏈(CoT) ,以直接獲得更好表現。此外,DeepSeek採用MoE(混合專家)架構,即每個任務只激活相應的「專家(參數)」,意味顯著減少計算時間和算力需求。
借分享突破邊界吸引人才
令人尤為驚訝的是,這兩大「殺手鐧」,DeepSeek都將相關研究論文--19頁《通過強化學習激勵大模型的推理能力》、33頁《在MoE語言模型中邁向終極專家專業化》經Arxiv學術平台公開分享。
如此「慷慨」的原因何在?據DeepSeek自己的回答:「在快速發展的AI領域,合作和開放式的思想交流對於快速創新至關重要」,「是否擔心他人『趕上』並非主要考量,相反,重點在於突破可能的邊界,並分享這些進步,讓所有人受惠」,「通過分享研究成果,DeepSeek也能建立自己的思想領袖地位,並吸引人才和合作夥伴,以進一步實現其目標。」
鄭州連鎖餐廳靠免費派發低成本的氣球,做出了月租數萬元廣告牌沒有的效果。
相比之下,名為「開放」的OpenAI拒絕如DeepSeek一樣開源,格局無疑小得多。聯想河南鄭州的一家連鎖餐廳,面對每月僅700元的廣告預算,靠免費派發每個成本僅幾毫子的氣球,做出了月租數萬元廣告牌沒有的效果,所謂「螺螄殼裏做道場」,即是不信邪、不拘泥地靈活變通,終能出奇制勝。
那麼,Nvidia的神話有無結束?看看黃仁勳月初在「國際消費電子展CES 2025」上的展示,RTX 50 GPU、低價AI超級電腦Project Digits、人形機器人Cosmos……答案同樣是否。
撰文:金子安
【香港好去處】2025去邊最好玩?etnet為你提供全港最齊盛事活動,所有資訊盡在掌握!► 即睇