10/02/2026 13:09
【AI】騰訊混元推出「極小」模型HY-1.8B-2Bit,僅佔用600MB內存
今日,騰訊混元宣布正式推出一款面向消費級硬件場景的「極小」模型HY-1.8B-2Bit,等效參數量僅有0.3B,內存佔用僅600MB。
據介紹,該模型基於混元團隊首創的產業級2Bit端側量化方案,通過對此前混元的小尺寸語言模型HY-1.8B-Instruct進行2比特量化感知訓練(QAT)產出,對比原始精度模型等效參數量降低了6倍,在沿用原模型全思考能力同時,在真實端側設備上對比原始精度模型生成速度提升2-3倍,可大幅提升使用體驗。
Bit(比特)是計算機存儲的最小單位,一般模型的精度有2Bit、4Bit、8Bit、32Bit等表示方法,數值越大模型的精度更高,所佔的內存就越大。雖然2Bit量化的精度損失較大,但通過QAT和先進的量化策略,該2Bit模型具備接近全精度模型的性能,實現了「小而強」的設計目標。
《經濟通通訊社10日專訊》
據介紹,該模型基於混元團隊首創的產業級2Bit端側量化方案,通過對此前混元的小尺寸語言模型HY-1.8B-Instruct進行2比特量化感知訓練(QAT)產出,對比原始精度模型等效參數量降低了6倍,在沿用原模型全思考能力同時,在真實端側設備上對比原始精度模型生成速度提升2-3倍,可大幅提升使用體驗。
Bit(比特)是計算機存儲的最小單位,一般模型的精度有2Bit、4Bit、8Bit、32Bit等表示方法,數值越大模型的精度更高,所佔的內存就越大。雖然2Bit量化的精度損失較大,但通過QAT和先進的量化策略,該2Bit模型具備接近全精度模型的性能,實現了「小而強」的設計目標。
《經濟通通訊社10日專訊》
【香港好去處】2026去邊最好玩?etnet為你提供全港最齊盛事活動,所有資訊盡在掌握!► 即睇
-
上一篇
【AI】千問App接入大麥測試AI訂電影票,可智能匹配影院、時間段 10/02/2026 14:08
-
下一篇
【AI】豆包將上央視春晚,送10萬件科技好禮、最高8888元紅包 10/02/2026 11:29
-
【AI】字節發布圖像生成模型Seedream 5.0,理解力更強、生圖更細緻 10/02/2026 14:37
-
【AI】螞蟻阿福成為央視合作夥伴,已連接5000家醫院和30萬醫生 10/02/2026 14:36
-
【AI】神秘AI模型海外社區爆紅,傳為智譜GLM-5新一代大模型 10/02/2026 14:08
-
【AI】阿里達摩院發布並開源具身智能大腦基礎模型RynnBrain 10/02/2026 11:14
-
【AI】傳百度臨近春節秘密啟動「O計劃」,內部人士:與百度APP有關 10/02/2026 10:23