官方网站-首页

【导语】近日，讲述Deepseek R1复杂训练流程的论文登上《自然》封面，通讯作者为领军人物梁文锋。该论文经严苛同行评审，含金量极高，它开创性地验证“纯结果导向”强化学习可行性，完整公开关键研发细节，为行业立新标，为科研攻关树范本，引领AI发展新方向。

刚刚，人工智能的科研领域又传来一则提振人心又实至名归的消息：讲述Deepseek R1整个复杂训练流程的论文登上了最新一期《自然》（Nature）的封面，通讯作者正是 Deepseek 的领军人物梁文锋。 

关注 Deepseek 的朋友可能知道，早在今年1月份，DeepSeek在 arxiv 上就已经公布了R1模型的论文预印版《DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning》，引发了热议。

但这次登上《自然》的正式版，是经过了全球顶尖科学家最严苛的“同行评审”打磨(mó)后的最终成果，含金量和影响力都不可同日而语。

那么问题来了：这篇论文到底牛在哪？它凭什么能获得如此殊荣？别急，用三句话总结： 

1、开创性地验证了“纯结果导(dǎo)向(xiàng)”强(qiáng)化学(xué)习(xí)的(de)可行性，不依赖人工标注，解放思想，让AI有机会突破人类的思维极限——它给AI“松了绑”。

2、首次将顶级大模型的关键研发过程与参数细节完整公开，并接受了全球同行的严格评审，为行业树立了开放与规范的新标杆，其“程序价值”巨大——它公开了“武功秘籍”，并且全球顶流高手都认证过。

3、清晰展示了从基座模型到最终成品的多阶段演进，为复杂的科研攻关树立了一个“积跬步以至千里”的范本。

证明了“纯粹学习（RL）”的可行性

开辟了另一条

“通往超级智能”的道路 

在DeepSeek之前，行业普遍认为必须先进行监督微调（SFT），用人类的解题步骤给模型“打个样”，然后再进行强化学习优化。 

而 Deepseek 的这篇论文展示了通过纯粹的强化(huà)学习（RL）可以有效激发和提升大模型的复杂推理能力，而无需依赖人类标注的推理，并且详细拆分步骤，使得这一结果变成了可被其他团队复现的过程。 

本(běn)图(tú)由(yóu)DeepSeek指(zhǐ)导(dǎo)生(shēng)成(chéng)

传(chuán)统(tǒng)的(de)大(dà)语(yǔ)言(yán)模(mó)型(xíng)在(zài)处(chù)理(lǐ)复(fù)杂问题时，其推理能力严重依赖于大量的、高质量的人工标注数据，需要雇佣人类专家（比如数学家或程序员）来审查模型的步骤，需要评审生成的(de)每(měi)一个推理步骤。人工专家需要判断：“这一步推导合乎逻辑吗？”“这个变量命名好吗？”“这个解题思路是不是最优的？”。如果步骤错误，专家还需要写出正确的步骤作为示范。 

这个成本是极其昂贵的，因为需要大量高水平的专家，并且他们标注一个复杂问题的推理过程需要很长时间，速度非常缓慢，无法实现大规模自动化。此前，很多大模型公司传出雇佣大量博士生做数据标注工作，时薪高达数百人民币，为几百万个问题提供高质量的过程标注，成本是天文数字。

而且人工评价还会附带人类的认知偏见，因为不同的专家有不同的解题偏好，这些偏好会通过标注数据传递给模型，限制了模型的“创造力”。

如果人自己都解决不好的问题，模型很难突破，这就相当于无(wú)形(xíng)中(zhōng)给(gěi)大(dà)模型设定了“天花板”。 

而 Deepseek 的方法是仅对“最终结果”进行奖励，让模型成为了一个更“自由自在”的“探索者”，不受过程的束缚，在训练中表现出了超出预期的行为，比如： 

·思维链的自我延伸：DeepSeek-R1-Zero在整个训练过程中展现出思考时间的稳步增加，这种增加完全由内在适应驱动，而非外部修改。（也就是说，大模型有了自我进化的能力，自己会把握思考时间。）

·自我反思与修正：模型在推理中会突然意识到错误，并像人类(lèi)一(yī)样(yàng)说出“等等，让我重新评估一下”（也就是我们说的“AhaMoment”顿悟时刻）。

·探索多种解法：模型会自行尝试多种不同的解题路径。（那么它将来有没有可能，从一个刁钻的角度，破解我们人类苦苦思索数百年的数学难题？） 

当然，DeepSeek-R1-Zero的成功，离不开前序基座模型Deepseek-V3-Base的工作，我们可以用一个比喻来理解： 

· DeepSeek-V3Base (基座模型）就像一块巨大、完美无瑕的卡拉拉大理石。这是米开朗基罗能够创作出《大卫》像的物质基础。没有这块顶级的石料，任何雕塑家都无能为力。

· 强化学习方法就像米开朗基罗本人的雕刻技艺(yì)、艺(yì)术(shù)构(gòu)想和那把神奇的凿子。没有他的天才技艺，那块大理石永远只是一块昂贵的石头，而不是不朽的艺术品。

这种全新的、极其高效的“雕刻方法”，向世界证明我们找到了激活这种潜能的“开关”，仅(jǐn)仅(jǐn)通(tōng)过(guò)“最(zuì)终(zhōng)答(dá)案(àn)”这(zhè)个(gè)简(jiǎn)单(dān)的(de)奖(jiǎng)励(lì)信(xìn)号(hào)，就(jiù)能(néng)将(jiāng)基(jī)座(zuò)模(mó)型(xíng)内(nèi)部(bù)混(hùn)乱(luàn)的(de)、潜(qián)在(zài)的(de)推(tuī)理(lǐ)能(néng)力(lì)，提(tí)炼(liàn)、组(zǔ)织(zhī)成(chéng)强(qiáng)大(dà)的(de)、可(kě)用(yòng)的(de)显(xiǎn)式(shì)推理能力。

更重要的是，这种“雕刻方法”本身具有普适性，它开辟了一条新路，告诉其他拥有强大基座模型的研究者：“你们也可以试试这种方法，它可能比传统的手把手教或过程监督更高效、天花板更高。”

开源+过程全公开+接受同行评审 

Deepseek-R1作为首个接受并通过主流期刊同行(xíng)评(píng)审(shěn)的(de)大(dà)模(mó)型(xíng)，这(zhè)种(zhǒng)公(gōng)开(kāi)所(suǒ)有(yǒu)训(xun)练(liàn)思(sī)路和(hé)操(cāo)作(zuò)细(xì)节(jié)的(de)「程(chéng)序(xù)价(jià)值(zhí)」可(kě)能(néng)更(gèng)为(wèi)深(shēn)远(yuǎn)。 

论(lùn)文直观地展示了整个复杂的训练流程，构建了从DeepSeek-R1-Zero（纯RL探索）到DeepSeek-R1（多阶段优化）的清晰演进路径。 

如果说预印版论文像一场精彩的魔术表演，我们只知道结果很神奇，那么正式发表在《自然》上的版本，则更像是一本教你怎么变魔术的“魔术秘籍”，它将方法细节从“能用”的黑箱，升级到了“可教”的操作说明。 

首先，它毫无保留地公开了详细的“烹饪配方”。预印版只告诉我们用了强化学习，而正式版则列出了复现研究的所有关键参数：从学习率、采样温度，到“每道题尝试16个答案”等具体设置，让全球的科学家都有了验证(zhèng)和(hé)学(xué)习(xí)的(de)可(kě)能(néng)。这(zhè)种(zhǒng)彻(chè)底(dǐ)的(de)透(tòu)明(míng)化(huà)，是(shì)顶(dǐng)级(jí)科(kē)学(xué)研(yán)究(jiū)严(yán)谨(jǐn)性(xìng)的(de)体(tǐ)现(xiàn)，也(yě)是(shì)经(jīng)受(shòu)大(dà)规(guī)模(mó)同(tóng)行(xíng)评(píng)审(shěn)并(bìng)获(huò)得(de)认(rèn)同(tóng)的(de)关键。 

更(gèng)难(nán)得(de)的(de)是(shì)，论(lùn)文讲(jiǎng)透(tòu)了(le)工(gōng)程(chéng)上(shàng)“取舍”的智慧。比如，为了解决模型回答“中英夹杂”的问题，正式版明确给出了“语言一致性奖励”的计算公式，并坦诚这种做法会略微牺牲模型跑分，但能换来更好的可读性。这让其他研究者不仅知其然，更知其所以然。 

此外，正式版还为(wèi)核(hé)心的“GRPO”强化学习算法绘制了直观的图解，清晰地展示了它如何巧妙地通过(guò)组(zǔ)内(nèi)答(dá)案(àn)的相互比较来评估优劣，从而省去了传统方法中昂贵且复杂的“价值网络”。这极大地降低了后来者的学习和实践门槛。 

人类攀爬科技(jì)天(tiān)梯的范本 

尽管我们在自媒体、短视频平台上看(kàn)到(dào)的(de)AI相关报道，往往动不动就是“横空出世”“一鸣(míng)惊(jīng)人(rén)”。但科技的进步，可不是什么逆袭爽文或者短句，更不是一蹴而就的魔法，而是一场严谨、诚实且充满韧性的远征，每一次前行都有迹可循。Deepseek 的这篇论文，向我们详细展示了这一过程，并给了我们继续前进，超越人类极限的信心。 

这篇论文展示了更清晰的开发阶段划分，明确提出了R1 Dev1,R1Dev2,R1Dev3等中间版本，并给出了它们在各个基准上的详细性能，让我们能清晰看到模型在多阶段训练中的演进和取舍。

再加上前序基座模型V3的成果，日积跬步，以致千里，其意义便超越了单纯的技术分享。它践行了科学的核心精神：开放、透明、可验证。

人类社会的今天，取得的所有科技成功，建立在对他人的不断借鉴、超越和自我超越基础之上。如果说人工智能的发展，能为我们构建一个更好的未来，那么一定需要一个更开放、平等的技术交流信念，否则，我们将铸就的，很可能就是自己的牢笼。

策划制作

作者丨木木 北京师范大学数学专业资深产品经理 人工智能创业者

审核丨于乃功 北京工业大学教授中国人工智能学会理事