AI自我改進升級？Anthropic上市前夕警告AI失控風險！主張暫停前沿模型研發，掀利益衝突爭議

　　一家即將IPO上市、估值逼近一兆美元的AI公司，突然呼籲全球暫停研發前沿AI模型，背後究竟有何玄機？預計在今年秋季上市的AI 巨頭Anthropic，６月初在其官方網誌發表一篇長文，警告AI 正逼近一個在無人監督下能夠自我改進的臨界點，所以希望頂尖AI 實驗室暫停或放緩研發步伐，避免AI失控風險。到底AI自我進化將帶來甚麼問題？為何Anthropic在上市前夕發出有如技術開倒車的呼籲？

 

Read more：

AI覺醒時刻？OpenAI o3拒絕關機，Claude 4以醜聞威脅工程師！我們真的控制得了AI嗎？

AI可能導致人類滅亡？白宮下令AI接受評估，歐盟擬立法監管AI，教AI做人或是最佳解決方法！

白領神話崩塌！當辦公室工作逐步自動化，誰將是人力淘汰賽最後生存者？剖析AI如何重塑職場版圖！

 

AI發展逐漸逼近遞迴式自我改進

 

　　在這篇由Anthropic聯合創辦人兼政策主管傑克·克拉克 （Jack Clark）、以及內部研究主管瑪麗娜·法瓦羅（Marina Favaro）共同撰寫的文章中，指出AI模型發展正逐步接近「遞迴式自我改進」（Recursive Self-Improvement，RSI）的理論概念，並預測兩年內會有具備這種能力的模型誕生。

 

　　一旦 AI 達到遞迴式自我改進境界，就可以在不用人類介入的情況下持續優化自身，進入自我進化狀態。根據Anthropic 公開的內部數據，Claude模型在2026 年 4 月曾自主完成 800 多項修正，將某類 API 錯誤降至原本的千分之一；負責監督的工程師評估，如由人類工程團隊執行同樣工作，可能需要4年時間。截至同年 5 月，整合到 Anthropic 程式庫的代碼已超過 80% 由 Claude 編寫。

 

　　該文章指出，假如 AI最終能完全自主設計並開發下一代模型，意味著科技發展將進入歷史轉折點。這種能力有機會推動科學研究、醫療創新與工程技術的躍進，但同時亦可能使AI發展脫離人類可預測、可約束的範圍，或會帶來難以想像的風險，甚至對人類社會造成劇烈震盪。

 

　　

克拉克在《When AI builds itself》一文中指出，當其他人選擇暫停，沒停下腳步的一方將取得領先。因此，放緩AI研發只有在全球AI實驗室同步遵守時，方具有實質意義。（圖片來源：翻攝Anthropic官方YouTube影片）

 

人類可能無法預測、約束AI行為

 

　　RSI 真的到來，經濟層面上的最大衝擊，莫過於知識工作者全面貶值。當一家企業可以透過部署一套RSI模型，在幾小時內完成數十名資深工程師、數據分析師、系統架構師耗時數年的工作成果時，傳統白領中產階級將面臨巨大失業潮。這不是單一產業板塊的問題，而是涵蓋所有以人類智慧和專業知識為核心驅動力的知識型產業，包括金融、醫療、法律、科研等領域的結構性崩潰。

 

　　相較於經濟衝擊，人類失去對AI的控制，才是真正觸動社會底層的恐懼神經。如果一套AI系統能夠完全自我改進，這意味著人類無法再預測這套系統的最終行為。倘若AI的目標函數在遞迴升級過程中發生了微小偏移，而人類又因為演算法的極度複雜而難以及時察覺，後果將是災難性的。

 

　　這個有如科幻電影《未來戰士》（Terminator）中「天網」（Skynet）叛變的橋段，現已是高度現實的資安危機。當我們將電網、醫療系統、交通樞紐、以至金融交易，完全交由這些我們不再理解的AI接管時，人類實質上已將文明的駕駛座讓予AI。故此Anthropic提出「全球協調暫停」的主張，呼籲全球AI實驗室達成這項協調一致的協議：暫停或至少放緩前沿 AI 模型的研發。

 

全球協調暫停機制難以監管實行

 

　　不過，很多AI實驗室早已將RSI視為最終戰場，絕不會輕言罷手。OpenAI 執行長山姆·奧特曼（Sam Altman）在2025年 10 月已定下目標，要在 2028 年 3 月前開發出「真正自動化 的AI 研究員」。著名AI研究員理查德·索徹（Richard Socher）剛於2026年 5 月成立名為「Recursive Superintelligence」 的初創，更明顯以攻克RSI為目標。

 

　　Anthropic主張建立某種全球協調機制，參照歷史上的核武軍控條約框架，在各國政府與AI實驗室達成共識後，協調放慢或暫停前沿模型開發。這表面上看起來合理，但實施難度卻近乎絕望。首先，核武條約可以通過檢查導彈發射井來驗證，但AI訓練發生在遍布全球的雲端數據中心，加密技術與私隱法規會讓任何外部驗證都形同虛設。Anthropic自己也坦誠：「訓練一個模型遠比飛彈發射井更容易隱藏」。

 

　　再者，在AI競爭白熱化的時代，率先停止開發就等於把市場領先地位拱手讓給對手。因此Anthropic的提案實際上包含一個無法解除的悖論：它呼籲全球暫停，但並未承諾自己首先停手。該公司的理由是「單方面暫停無濟於事」，但這種邏輯推理對每一家AI實驗室都同樣成立，從而形成了典型的「囚徒困境」。

 

　　

現在，人類已可把編程工作交給AI代理自主執行；未來，AI或許具備自我開發下一代模型的能力，當這個過程不斷重複，AI智力會呈指數級增長，可能遠遠超出人類的想像範圍。 （圖片來源：Anthropic官網）

 

　　除此以外，Anthropic 呼籲的最敏感之處是，喊暫停的人本身就是競賽領跑者。Anthropic 於 2026 年 6 月 1 日提交保密 IPO 文件，正式啟動上市程序，公司估值高達 9,650 億美元（約7.5兆港元）。 在這個時點呼籲全球放慢模型研發，難免引發兩種解讀：一是公司真心擔憂AI失控風險；二是公司希望透過監管提高市場門檻，鞏固自身領先地位。

 

Anthropic 主張有監管俘獲嫌疑

 

　　更引人深思的是，Anthropic在2026年2月修改其「責任規模化政策」，放棄其核心承諾：永遠不會在沒有充分安全措施的情況下訓練AI模型；新修訂政策容許更寬鬆的安全標準，理由是「過度謹慎會拖慢進度」。

 

　　然而，短短4個月後，當Anthropic已建立技術領先優勢，並準備迎接資本市場的盛宴時，卻又重新披上道德吹哨者的外衣，大聲疾呼業界需要暫停。這種「自己全速飆車達陣後，回頭要求所有人遵守速限」的雙重標準，無可避免地會遭受外界質疑。

 

 

根據Anthropic的資料顯示，其軟件工程師在AI輔助下編程，2026年第二季提交的程式碼數量，較2025年之前暴增8倍。（圖片來源：Anthropic官網）

 

　　風險投資家、特朗普總統的非正式顧問大衛·薩克斯（David Sacks）公開指責，Anthropic 正在進行「監管俘獲」（Regulatory Capture），企圖藉由監管之名來打壓對手：寡頭企業掌握極高的技術壁壘後，主動遊說政府建立極端嚴格的安全合規標準與審查門檻；這些表面上為了保護人類的法規，實際上卻變成高昂的入場券，將那些資源匱乏的初創與開源社群徹底擋在門外。

 

　　無論如何，Anthropic的呼籲再次將AI發展速度與安全之間的矛盾搬上檯面。但我們必須跳脫單一公司的商業動機與口水戰，正視人類社會是否已準備好迎接具備自我進化能力的 AI。無論是建立真正中立、透明且具備國際制約力的全球監管協議，還是加速推動不被寡頭企業壟斷的AI對齊研究，日後各國政府與學術界均需拿出更多實際行動。