首個接受同行評審的大語言模型！DeepSeek-R1論文登《自然》封面，作者包括梁文鋒

9月18日，梁文鋒帶著DeepSeek-R1的研究，登上最新一期國際頂級期刊《自然》（Nature）封面。

今年1月份，國產大模型公司深度求索（DeepSeek）在預印本平臺arxiv公布論文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，創始人梁文鋒位于署名之列。

《自然》雜志指出，如此總結DeepSeek-R1帶來的進步：如果訓練出的大模型能夠規劃解決問題所需的步驟，那么它們往往能夠更好地解決問題。這種“推理”與人類處理更復雜問題的方式類似，但這對人工智能有極大挑戰，需要人工干預來添加標簽和注釋。

DeepSeek的研究人員揭示了他們如何能夠在極少的人工輸入下訓練一個模型，并使其進行推理。DeepSeek-R1模型采用強化學習進行訓練。在這種學習中，模型正確解答數學問題時會獲得高分獎勵，答錯則會受到懲罰。

最終它學會了推理——逐步解決問題并揭示這些步驟——更有可能得出正確答案。這使得DeepSeek-R1能夠自我驗證和自我反思，在給出新問題的答案之前檢查其性能，從而提高其在編程和研究生水平科學問題上的表現。

值得注意的是，R1的增量訓練成本相當于29.4萬美元，DeepSeek團隊也首次對外回應“蒸餾”相關質疑。論文中表示，對于深度求索V3基礎版（DeepSeek-V3-Base）的訓練數據僅使用普通網頁和電子書，未納入任何合成數據，“不過，我們注意到部分網頁包含大量由OpenAI模型生成的答案，這可能會讓基礎模型間接地從其他強大模型獲取知識。但在預訓練冷卻階段，我們并未刻意加入由OpenAI生成的合成數據；該階段使用的所有數據都是通過網絡爬取自然獲取的。預訓練數據集包含大量與數學和代碼相關的內容，這表明深度求索V3基礎版接觸到大量的推理軌跡數據。”

論文中介紹，這種廣泛的接觸使模型具備生成合理候選解決方案的能力，強化學習能夠從中有效識別并優化高質量的輸出，DeepSeek在預訓練過程中對數據污染問題進行了處理。

此前據外媒報道，OpenAI曾稱它發現DeepSeek使用OpenAI專有模型來訓練自己的開源模型的證據（也被理解為AI大模型行業的“蒸餾”），但拒絕進一步透露相關細節，DeepSeek相關表態，也是對這番質疑的有力回擊。

在《自然》的Editorial（社論）指出，大型語言模型需要同行評審。《自然》認為，大型語言模型（LLMs）正在迅速顛覆人類獲取知識的方式，但最廣泛使用的這些模型尚未在研究期刊中接受獨立同行評審。同行評審有助于澄清LLMs的工作原理，并幫助評估它們是否真正實現了其宣稱的功能。“這一情況隨著自然雜志發表DeepSeek-R1模型細節而改變。”

《自然》指出，自1月在Hugging Face上發布R1以來，DeepSeek-R1已奪得該平臺復雜問題解決類模型下載量冠軍。現在，該模型已由八位專家評審，以評估其工作的原創性、方法論和穩健性。該論文將與審稿人報告和作者回應一同發表。“這一切都是AI行業邁向透明度和可重復性的可喜一步”。

“依賴獨立研究者的同行評審是AI行業回擊炒作的一種方式。鑒于這項技術已變得如此普遍，無法驗證的聲明對社會構成了真正的風險。我們希望，出于這個原因，更多AI公司將提交其模型接受評審。”《自然》寫道。

論文摘要中表示，推理能力作為人類智能的基石，能夠支持從數學問題求解、邏輯演繹到程序編寫等復雜認知任務。人工智能領域的最新進展表明，當大型語言模型（LLMs）的規模達到足夠程度時，能夠展現出包括推理能力在內的涌現性特征，然而，要在預訓練階段實現這類能力，通常需要耗費大量計算資源。

這項研究旨在探索大型語言模型在強化學習（RL）框架下通過自進化發展推理能力的潛力，同時最大限度減少對人工標注的依賴。

具體而言，以DeepSeek-V3Base模型為基礎，采用群體相對策略優化（GRPO）作為強化學習框架。獎勵信號僅依據最終預測結果與真實答案的一致性來確定，不對推理過程本身施加任何約束。在解決推理問題時，該模型傾向于生成更長的響應內容，在每個響應中融入驗證、反思以及對多種替代方法的探索。盡管并未明確教授模型如何進行推理，但它通過強化學習成功掌握更優的推理策略。

今年1月20日，中國AI初創公司深度求索（DeepSeek）推出大模型DeepSeek-R1引爆AI行業，作為一款開源模型，R1在數學、代碼、自然語言推理等任務上的性能能夠比肩OpenAIo1模型正式版，并采用MIT許可協議，支持免費商用、任意修改和衍生開發等。春節假期后，國內多個行業龍頭公司均宣布接入DeepSeek。

伴隨AI大模型行業的日新月異，DeepSeek已經更新出R1以外的新版本，但萬眾期待的R2尚未面世。此前8月21日DeepSeek正式發布DeepSeek-V3.1，稱其為“邁向Agent（智能體）時代的第一步”。

據介紹，V3.1包含三大主要變化。首先，V3.1采用混合推理架構，一個模型同時支持思考模式與非思考模式；其次，V3.1具有更高的思考效率，相比DeepSeek-R1-0528，DeepSeek-V3.1-Think能在更短時間內給出答案；另外，V3.1具有更強的Agent能力，通過Post-Training優化，新模型在工具使用與智能體任務中的表現有較大提升。

當時，DeepSeek表示，DeepSeek-V3.1使用UE8M0FP8Scale的參數精度。UE8M0FP8是針對即將發布的下一代國產芯片設計。這也表明未來基于DeepSeek模型的訓練與推理有望更多應用國產AI芯片，助力國產算力生態加速建設。相關表態，一度帶動國產芯片算力股價迎來飆升。

9月5日，據外媒報道，DeepSeek被曝光正在開發具備更先進的AI智能體相關功能的人工智能模型，目的是與OpenAI等頭部科技公司在技術新前沿展開競爭。目前DeepSeek創始人梁文峰計劃在今年四季度發布相關智能體產品。

澎湃新聞記者向DeepSeek內部人士詢問此事真實性，對方未給予明確回復，但并未否認此事。

據外媒援引相關消息稱，DeepSeek正在開發的智能體強調自主任務處理能力，與傳統聊天機器人不同，智能體能夠代表用戶在最少指令下完成多步驟復雜任務，并根據歷史操作持續學習和改進，減少人工干預需求。

2025年被業界稱為“AI智能體元年”。8月26日，國務院印發《關于深入實施“人工智能+”行動的意見》（以下簡稱《意見》）提出，到2027年，率先實現人工智能與6大重點領域廣泛深度融合，新一代智能終端、智能體等應用普及率超70%；到2030年，中國人工智能全面賦能高質量發展，新一代智能終端、智能體等應用普及率超90%。