DeepSeek：一種範式轉變，這對人類意味着什麼

文件 - 2025年1月28日，在北京，一部智能手機屏幕上顯示了DeepSeek應用程序頁面。(美聯社照片/安迪·黃，文件)版權 2025年美聯社。保留所有權利在2025年1月20日之前，DeepSeek這只巨鯨是不可見的。然後在1月20日，藍鯨向全世界展示了自己的身影。那次撞擊在全世界引發了震動。

DeepSeek-R1的發布立即使幾家硬件和軟件公司的市值大幅下滑，這些公司曾因投資者認爲的美國卓越而受到支持。 withholding 最新的芯片和人工智能知識產權從中國被認爲是應該遵循的戰略。結果是 錯誤的。 這正是跨越式發展的素材。尤其對於像中國這樣的制造和設計強國。具有諷刺意味的是，DeepSeek的最新模型是可以免費使用的。他們甚至在自己的服務器上免費運行它。

通過參數和訓練數據的擴展開發通用大型語言模型導致了許多突破。2022-23年ChatGPT-3.5和4.0的發布向公衆釋放了AI的通用潛力。這種方法也大大增加了成本，因爲計算和數據需求推動了更大更好的處理器的出現。在2023年底和2024年，甚至現在，建設耗電量大的數據中心被認爲是提高模型性能的唯一途徑。限制對計算和最新芯片的訪問被認爲會限制中國作爲這些強大模型來源的能力。隨着DeepSeek，這一範式發生了轉變。

像Nvidia這樣的公司，其股票在公告後受到重創，但此後已恢復並蓬勃發展。全球市場卻沒有吸取教訓。最糟糕的情況可能尚未到來，因爲受到AI及其應用上升的推動的公司，正被新方法的結合以及進行訓練和推理所需計算量的減少拉回現實。

沉沒成本和自身強大經濟支持者的轉換成本阻礙了長期視角，使得美國的人工智能發展受限。成功滋生自滿和對成功模型的固守。在人工智能這個快速發展的領域，固守算法、流程和實踐是致命的。DeepSeek 表明，僅僅增加計算能力和數據並不能帶來指數級的進步。這是許多領域的教訓，常常被一個過度使用但錯誤的格言所忽視：“這次不同。” 創新遵循熟悉的模式；先慢後快。

更多爲您## 效率

DeepSeek的訓練和運行成本遠低於其他模型。在最近的一次演示中，顯示DeepSeek的成本爲600萬美元，而Meta的開源模型Llama的成本爲6億美元(。成本是前者的百分之一。其他模型的成本，包括ChatGPT，更是高得多。成本節約得益於DeepSeek在強化學習中的自主發現以及蒸餾訓練。此外，該模型在生成中文方面非常高效。截至三個月前，大量中國公司通過訂閱DeepSeek加入了人工智能革命。作爲國家冠軍，政府的產業政策支持DeepSeek。

RL作爲一種訓練方法是在阿默斯特大學發明的。2024年ACM圖靈獎的獲得者，Andrew Barto和Richard Sutton是經典強化學習技術的發明者。對於LLMs和其他大型模型，這種方法屬於監督學習。模型通過反饋進行優化，傳統上來自人類，這被稱爲RLHF )帶有人類反饋的強化學習(。 這被稱爲監督微調。人類是監督者。DeepSeek R1的創作者發布的論文詳細介紹了他們如何修改RL。

任何涉及大規模人類參與的事情都需要大量資金。消除人類參與使訓練變得更便宜。一個模型的版本用於微調另一個模型。換句話說，一個模型充當監督者，而另一個則被訓練。新公司如MiniMax-M1的到來進一步體現了這一轉變。這些技術將超越使用傳統擴展方法創建的模型。

DeepSeek-R1 通過利用多種策略的演變而有效。基於現有技術的多種新穎方法的結合使得訓練和推理在時間和資源上變得高效。更多細節可以在本文中找到。簡而言之，創建和運行大型語言模型的各個方面都爲了成本和時間效率而發生了改變、增強或重構。

MiniMax-M1 系列

MiniMax-M1聲稱已將DeepSeek-R1訓練的成本削減90%。他們以50萬美元的成本訓練了他們的模型。與此相比，DeepSeek-R1的成本爲600萬美元，而LLaMa的成本則爲6億美元。對DeepSeek和MiniMax所公布的數字存在疑慮。

效率通過進一步優化RL實現了所謂的閃電注意力。這主要適用於確定性問題，例如數學和邏輯推理，以及諸如編碼的長上下文問題。Minimax也可以通過HuggingFace這一開源AI平台獲得。

隱私

人們擔心DeepSeek正在收集私人數據供其自身使用。這種現象在AI和社交媒體的世界中普遍存在。與DeepSeek或其他私人公司共享私人數據的原因在於，這些數據將用於完善模型。對於DeepSeek或其他中國公司，人們擔心數據會到達中國政府。私人AI公司，即使是在美國的公司也是如此，只不過如果法律強迫它們，它們會與美國政府分享這些數據。在此情況下，這種情景更加令人不安。如果政府能夠在沒有搜查令的情況下搜索我們的身體、我們的家，甚至我們的思想，那麼第四修正案將會被拋到一邊。

要了解更多關於DeepSeek的風險，請閱讀Hidden Layer的這篇分析。由於Hidden Layer的商業模式基於這些分析，最好仔細查看分析，並與他們在其他開放模型上的工作進行比較。

開源人工智能模型

開放原始碼國際)OSI(對開放原始碼人工智能有一個定義。目前是1.0版本，可能會修訂。與軟件的開放原始碼定義一樣，它允許用戶在沒有任何限制的情況下使用、觀察、修改和分發。人工智能模型在很大程度上依賴於其訓練數據。人工智能的使用涉及推理，消耗資源。訓練的支出與推理的費用是分開的。在開放原始碼軟件的經典定義中，原始碼對任何用戶都是可用的，允許使用、觀察、修改和分發。在嚴格的開放原始碼人工智能解釋中，原始碼應包括用於訓練模型的數據。然而，這可能並不實際，也不屬於開放原始碼國際對開放原始碼人工智能的定義。

這與OSI對開源軟件的指導有很大不同。另一個不同之處在於模型權重和超參數的可觀察性。在學習階段，模型權重會被細化。模型權重體現了模型當前的形式，凝聚了模型所經歷的所有訓練。超參數控制學習設置的初始配置。在開放模型中，模型權重和模型參數是開放的。

開源AI模型可以稱爲開放權重模型。許多來自中國的模型都是開放權重模型，包括Qwen )來自AliBababa(。這場競爭也迫使OpenAI發布了一個開放權重模型。這是gpt-oss基礎模型，有兩個變體。

未來

我們尚未深入探討多模態提示和多模態生成背後的技術。所謂多模態，不僅包括文本，還包括圖像、音頻和視頻。MiniMax和DeepSeek都具備這些能力。顯然，限制對硬件和專業知識的訪問無法阻止真正的創新。這種約束也帶來了多次範式轉變，使得AI的開發成本更低，所需的硬件和電力資源更少，創造了一個去中心化和民主化的未來，我們能夠在普通硬件上微調和運行模型。這些發展給了我們希望，讓我們能夠控制並利用這些能力來幫助人類，而不是傷害我們自己。