训练AI学推理，删掉一半"思考过程"反而更聪明 النص الأصلي بالصينية
你有没有想过一个问题：一个学生解数学题时，草稿纸上写满了涂涂改改、试错、划掉重来的痕迹，最后交上去的答案卷上只有最精炼的步骤。那么，如果你要教另一个学生学解题，你应该给他看这份潦草的草稿纸，还是那份整洁的答案卷？
大多数人的直觉会说：草稿纸更真实，能看到思考的完整过程，应该更有教育价值。这也正是过去几年训练大语言模型做推理时，整个行业默认采用的做法。
但NAVER AI Lab的一篇新研究告诉你：这个直觉可能是错的。他们发现，把推理轨迹中间那一大段"草稿纸式"的探索过程直接删掉，用剩下的首尾两段去训练模型，效果反而比给它看完整的推理过程更好。
这不是危言耸听，而是有扎实的实验数据支撑的结论。
先搞清楚，这件事到底难在哪
要理解这个发现的分量，得先明白当下大语言模型是怎么学会"推理"的。
大型推理模型*：指像DeepSeek-R1这样，在给出最终答案之前，会先生成一大段详细思考过程的语言模型，这段思考过程通常被称为推理轨迹。
这些推理轨迹动辄几千甚至上万个token，记录了模型从读题、试错、反复检查、纠正错误到最终得出答案的完整心路历程。当研究者想要训练一个更小的模型（比如8B、32B参数规模）具备类似的推理能力时，最常见的做法就是监督微调。
监督微调*：英文缩写SFT，简单说就是拿一堆"问题-推理过程-答案"的样本喂给模型，让它学着模仿这种从问题到答案的完整推导方式。
Muennighoff等人2024年提出的s1K数据集，就是这个思路的代表作：精选1000条高质量、有难度、多样化的推理轨迹，用来微调一个32B的模型，结果在AIME24这种竞赛级数学题上表现出色，甚至展现出"测试时算力越多，效果越好"的清晰规律。这个结果一度被视为标杆，此后OpenThoughts、Bespoke-Stratos等数据集陆续跟进，整个领域似乎达成了共识：完整的推理轨迹是宝贵的监督信号，应该原样交给模型学习。
但很快，裂缝出现了。研究者们注意到，这些由大模型生成的推理轨迹经常很啰嗦，充满了重复检查、反复回退、不必要的絮叨。有的论文甚至发现，模型往往在生成完整推理链之前，内部其实已经"知道"答案了，那一长串文字更像是自言自语的走过场。这就带来一个尴尬的问题：如果这些中间过程本来就是水分，那用它们去训练模型，是不是在教模型学一堆没用的废话？
这正是这篇论文要回答的问题：推理轨迹里，到底哪些部分是真正有营养的，哪些只是陪衬？
一个小实验，撕开了口子
研究者们先做了一个轻量级的先导实验。他们用s1K-1.1数据集去微调Qwen2.5-32B-Instruct和Qwen3-8B-Base两个模型，并设计了四种不同的数据处理方式做对比。
第一种是完整轨迹，把推理过程原样保留（受限于最大长度会做粗略截断）。第二种叫前缀，只保留推理过程开头的部分。第三种叫后缀，只保留结尾部分。第四种叫首尾保留，把中间那一大段砍掉，只留下开头和结尾，且总长度和前两种保持一致，这样比较才公平。
结果让人意外。在Qwen2.5-32B上，完整轨迹训练出来的模型三项基准（AIME24、GPQA-Diamond、MATH500）平均分是73.51，而首尾保留的版本达到了75.19，比完整版还高出将近两个百分点。在Qwen3-8B上差距更明显，完整版63.91分，首尾保留版64.48分，同样是首尾保留胜出，而且只用前缀或只用后缀的效果都明显更差，分别只有60.99和56.98分。
这说明了两件事。
首先，砍掉中间部分不但不伤害模型，反而可能让它学得更好。
其次，开头和结尾都很重要，缺一不可，真正冗余的是夹在中间的那一大坨内容。
这就好比你请人写一份产品说明书。如果只给写手看开场白（介绍这是什么产品）却不给结论（怎么用、注意事项），或者反过来只给结论不给背景，写手都写不出一份连贯的说明书。但如果你把中间那些反复修改、来回权衡措辞的草稿过程都拿掉，只留下"最初的构思"和"最终的结论"，写手照样能把中间的内容自己脑补出来，甚至补得比原始草稿还流畅。如果不做这种取舍，硬塞给写手一堆冗长的草稿修改记录，写手很可能被这些反复的措辞折腾得思路混乱，反而写不出干净的东西。
为什么中间部分是冗余的：注意力给出了答案
先导实验给出了现象，但研究者没有止步于此，他们想搞清楚背后的机制：为什么中间部分的信息含量这么低？
他们用了一种叫注意力权重分析的方法。
注意力权重*：Transformer架构里，模型在生成每一个新词时，会给输入序列中的每个位置分配一个"关注度"分数，分数越高说明这个位置对当前生成的影响越大。
研究者观察模型在生成最终答案时，究竟把注意力放在推理轨迹的哪些位置上。结果呈现出一个非常鲜明的形状：注意力在轨迹的开头和结尾出现两个高峰，而中间大段区域几乎被忽略。
更细致地看，不同层的模型关注的重点还不一样。浅层网络倾向于盯着候选答案的token，中间层会兼顾问题定义和后面的推理步骤，而到了深层网络，注意力又高度集中回开头，用来整理格式、组织最终答案的表述。这是一个清晰的信息流动轨迹：模型在不同深度处理不同类型的信息，但无论哪一层，中间那段探索性文字始终不是重点关注对象。
这个发现让人联想到另一个已知现象，叫"Lost in the Middle"。
Lost in the Middle*：一种已被广泛观察到的现象，指语言模型在处理长文本时，往往对开头和结尾的信息记忆更牢，而放在中间位置的关键信息反而容易被忽略甚至遗漏。
论文作者认为，两者虽然成因不完全相同（一个是模型主动忽略冗余信息，一个是模型对重要信息也检索不到），但背后可能有共同的结构性原因：不管是指令微调数据集还是推理轨迹，任务说明和结论总是习惯性地放在开头结尾，中间部分则容易堆积重复冗长的内容，这种数据分布上的偏差，可能是两种现象共享的土壤。
光看注意力权重还不够有说服力，毕竟注意力高不代表真正重要，注意力低也不能证明真的没用。于是研究者又做了一组更硬核的验证：直接把某个片段从输入里删掉，看模型重新生成的答案和原答案的相似度变化。
如果删掉某段之后，新答案和原答案还高度相似，说明这段确实不重要；如果相似度大跌，说明这段信息是关键的。用ROUGE-L（一种文本相似度指标，衡量两段文字在最长公共子序列上的重合程度）、Jaccard相似度和BLEU分数三种方法同时测量，结果高度一致：删掉中间段，相似度保持得最好；删掉开头或结尾，相似度明显下降。
三个独立指标得出同一个结论，这不是巧合，说明中间段确实是可有可无的。
研究者还做了第三层验证，看的是困惑度。
困惑度*：Perplexity，衡量语言模型对某段文字预测得有多自信，数值越低说明模型觉得这段文字越"顺理成章"，越符合它的预期。
他们把推理轨迹的某一部分，替换成模型自己（未经微调的原始预训练模型）生成的内容，然后测量最终答案token的困惑度会怎么变化。如果替换掉的部分本来就不重要，替换后困惑度应该下降（模型更容易"猜中"接下来的答案）；如果替换掉了关键部分，困惑度会上升。
结果显示，替换中间部分后困惑度从1.54降到了1.52，替换开头则升到1.56，替换结尾升到1.58。这说明就算是完全没有经过微调的原始模型，也已经能感觉到中间段是"可以自己脑补"的部分，而开头结尾是真正重要的锚点。
这一连串证据放在一起，讲的是同一个道理：模型天生就知道该关注哪里，中间那段探索性文字更像是脚手架而不是承重墙，拆掉脚手架，房子还立在那儿，甚至因为少了杂乱的支架反而看起来更利落。
E-SFT：一个简单到近乎粗暴的解法
有了这些证据支撑，研究者提出了一个具体的训练方法，叫做E-SFT。
E-SFT*：Endpoint-based SFT的缩写，意思是基于首尾端点的监督微调，核心操作就是保留推理轨迹的开头和结尾，把中间大约20%的token直接删掉，不参与训练。
具体怎么切分呢？研究者用双换行符（\n\n）作为天然的分段标志，把长长的推理轨迹切成一个个"步骤"。他们专门验证过这个切分方式是否靠谱：抽样检验发现，在s1K-1.1和OpenThoughts3两个数据集上，双换行符前后出现语义转折的比例分别高达33.5%和28.0%，而同一个步骤内部出现转折的比例只有2.5%和1.0%。这说明双换行符虽然不是完美的分割线，但确实是个可靠的代理指标，切出来的步骤内部大体是语义连贯的。
在具体实现上，研究者保留首尾各n个步骤（s1K-1.1上n取100，OpenThoughts3上n取200），这个数字不是拍脑袋定的，而是刚好对应删除约20%的总token量，同时这个比例在敏感性测试中被证明相对稳健，删得太狠或者删得太少都会拉低效果，但在一个合理区间内波动，性能变化并不剧烈。
这就好比修剪一棵果树。你不会把树枝随便乱剪，也不会一根不剪任其疯长。真正懂行的果农会剪掉那些互相遮光、消耗养分却不结果的徒长枝，保留主干和结果的枝条。剪得太少，树冠拥挤，果实反而长不好；剪得太狠，树体受伤，也会影响产量。存在一个恰到好处的修剪比例，这和论文里20%左右的最优删除比例是同一个道理，过犹不及。
实验数据说话：删了反而更强
理论讲得再漂亮，最终还是要看数字。研究者在两个主流推理数据集（s1K-1.1和OpenThoughts3）、多个模型规模（从4B到32B）上做了系统验证。
在Qwen2.5-32B-Instruct配合s1K-1.1的组合下，标准SFT（用完整轨迹）的平均分是73.51，而E-SFT达到了75.19，AIME24单项更是从64.44跳到68.89，涨幅接近4.5个百分点。在Qwen3-8B-Base配合OpenThoughts3的组合下，标准SFT是65.78，E-SFT是67.50。Qwen3-4B-Base上，标准SFT是58.97，E-SFT是60.04。
几乎每一组对比，E-SFT都稳定超过标准SFT，而且用的还是更少的训练数据量。
研究者没有满足于自己和自己比，还拿E-SFT去对垒各种更复杂的过滤方法。有不需要额外计算资源的简单方法，比如随机挑选步骤、基于相似度过滤掉重复内容；也有需要调用外部大模型做压缩的重量级方法，比如用Claude Sonnet或Gemini去改写压缩推理轨迹，还有基于困惑度筛选步骤、以及专门论文提出的LS-Mixture SFT方法。
结果是，E-SFT这个几乎不需要任何额外计算的简单规则，反而打赢了所有对手。用外部大模型做压缩的方法表现最差，32B模型上平均分只有60.08，比标准SFT的73.51还低了十几分，原因是大模型改写会打乱原本的用词习惯和推理结构，压缩比例也不好精确控制。基于困惑度的方法表现相对不错，能到74.43分，但依然不如E-SFT的75.19，而且光是跑一遍困惑度筛选，就要占用一整个H100节点两个多小时。
这一幕挺有意思的。花大力气调用更聪明的模型去精细压缩，反而不如一刀切地砍掉中间一段。这说明问题的关键根本不在于"压缩得够不够聪明"，而在于中间那部分内容本身的信息密度就低，无论你怎么优雅地压缩它，它带来的边际收益都有限，还不如干脆利落地拿掉。
不止SFT：这个思路能不能用到别的训练方式上
E-SFT的成功让研究者进一步追问：这个"跳过中间段"的逻辑，是不是只对监督微调管用，还是说它触碰到了某种更普遍的规律？
他们把同样的思路搬到了强化学习和在线蒸馏两种截然不同的训练范式上做验证。
先说GRPO。
GRPO*：Group Relative Policy Optimization的缩写，是一种强化学习训练方法，模型自己生成多条推理路径，然后根据最终答案是否正确给出奖励信号，从而调整生成策略，DeepSeek-R1的训练就用到了这种方法。
在GRPO里，学习信号来自奖励而不是老师给出的现成轨迹，情况和SFT完全不同。研究者的做法是，把推理轨迹中间20%对应的token从梯度计算里屏蔽掉，但这些token依然留在上下文里，依然会被纳入奖励评估，只是不再贡献梯度。
在Qwen3-1.7B-Base（没有经过任何后训练的基座模型）上，这个屏蔽策略让平均分从25.8涨到34.5，涨幅高达8.7分，其中MATH500单项贡献最大。在已经过指令微调的Qwen3-1.7B上，涨幅小一些，但依然稳定提升了1.2分。
再说在线蒸馏。
在线蒸馏*：On-Policy Distillation，一种让小模型（学生）学习大模型（老师）行为的训练方法，特点是学生自己生成推理路径，然后拿老师模型对同一路径的概率分布作为学习目标，而不是简单模仿老师写好的现成答案。
研究者用Qwen3-1.7B做学生，Qwen3-8B做老师，同样屏蔽掉中间20%的内容，还专门比较了两种屏蔽粒度：按token屏蔽和按推理步骤屏蔽。结果是按步骤屏蔽效果更好，平均分从61.2涨到63.4，涨幅2.2分；按token屏蔽只涨了0.7分。
这个细节挺关键的：以推理步骤为单位去做取舍，比死板地按token数量切割效果更好。这也呼应了前面提到的洞察，冗余是以"完整思考步骤"为单位存在的，而不是零散分布在某几个词上。
这三个场景放在一起看，无论学习信号来自老师给的完整轨迹（SFT）、来自任务奖励（GRPO），还是来自老师对学生自己生成内容的评分（在线蒸馏），中间段冗余信息拖累训练效果这件事，是一以贯之的。
这就像健身教练带学员一样。如果教练示范一个完整的深蹲动作，其中有些多余的调整姿势的小碎步是教练自己下意识做的习惯动作，学员如果原样模仿这些碎步，反而会分散对核心发力点的注意力，学得更慢更别扭。不管教练是手把手教（对应SFT），还是让学员自己练然后根据结果打分反馈（对应GRPO），或者让学员照着教练的示范视频反复对照修正（对应在线蒸馏），去掉那些无关紧要的碎步动作，学员抓核心动作要领的效率都会更高。
E-SFT到底改变了模型的什么
数字上的提升说服力已经足够，但研究者还想搞清楚，E-SFT训练出来的模型，推理行为到底发生了什么实质变化。
他们请了一个外部大模型（GPT-OSS-120B）来做裁判，比较原始s1K-1.1轨迹、标准SFT生成的轨迹、以及E-SFT生成的轨迹，看哪个"重复更少、逻辑更顺"。结果是E-SFT生成的轨迹在22%的比较中被判定为更优（相比原始数据只有8%），而标准SFT只在19%的比较中胜出（相比原始数据9%），其余大部分情况被判定为相当。
这个结果说明一件挺意外的事：连什么训练都没做的原始预训练模型，生成质量都可能优于死记硬背了冗余轨迹的标准SFT模型，而E-SFT则能在这个基础上进一步提升。
再看生成长度的变化。研究者发现一个很规律的模式：对于原本推理特别啰嗦（超过1.5万token）的问题，E-SFT训练出的模型会明显缩短输出长度；而对于原本推理较短的问题，输出长度反而会略微增加。这说明模型学会了按需分配篇幅，该省的省，该展开的展开，而不是机械地套用一个固定长度模板。
最后是训练过程本身的表现。研究者对比了标准SFT和E-SFT在训练过程中的困惑度曲线，发现E-SFT用更少的token，却达到了持续更低的困惑度。这个现象直接印证了前面的核心论断：保留冗余的中间段会人为拉高训练损失，让优化变得更困难，模型最终收敛到一个较差的位置；而砍掉这些冗余后，模型能把有限的学习能力聚焦在真正有信息量的信号上，学得更稳更快。
规模和比例：这个方法不是万能钥匙
研究者也很坦诚地指出了这个方法的边界。
E-SFT的效果和基座模型本身的能力强弱有关。他们发现，对于s1K-1.1这种较小的精选数据集，只有当基座模型在通用能力评测（MMLU-Pro等）上已经达到60到65分以上时，E-SFT才能带来正向提升，能力太弱的模型反而可能因为砍掉中间信息而受损。但换成规模更大、更多样化的OpenThoughts3-100K数据集后，这个门槛明显下降，即便是能力较弱的基座模型也能从中受益。
这个现象其实完全合理：既然E-SFT依赖模型自己去"脑补"被删掉的中间推理内容，那模型本身得有足够的知识储备和推理能力去完成这个脑补，否则删掉的部分就真的成了永久缺失的信息，而不是可以被内部知识填补的空白。这就像让学生做填空题，如果这个学生本来基础就很扎实，见到中间跳过的步骤，他能凭已有知识把逻辑链条自己补全；但如果基础太薄弱，直接给他看首尾两段，他反而一头雾水，不知道中间发生了什么。
至于该删多少比例，研究者也做了敏感性测试，发现删除比例在一个合理区间内（不太极端），性能整体比较稳定，但过度删除依然会造成明显损伤，过于保守又难以体现优势。20%左右是他们摸索出来的一个近乎通用的经验值。
这篇论文甚至顺手做了一个推理阶段的应用探索：不改训练方式，而是在模型生成完推理轨迹之后、正式给出答案之前，直接从已生成的轨迹里砍掉中间一部分再喂给模型去生成答案。实验显示，即便砍掉75%的中间内容，最终答案的准确率几乎不受影响，同时因为省去了对这部分内容的重新处理，端到端推理时间能缩短4.5%左右。这说明中间段的冗余不仅体现在训练阶段，在推理阶段同样是可以榨出效率的一块肉。
写在后面
读完这篇论文，最触动我的不是那些漂亮的分数提升，而是这样一个朴素却容易被忽视的事实：我们总是本能地认为，"更完整"就等于"更好"，训练数据也不例外。这篇论文用扎实的注意力分析、消融实验和困惑度测量,一层层地拆穿了这个直觉。
有个细节我觉得特别值得单独拿出来说。研究者发现，仅仅是未经任何微调的原始预训练模型，用GPT-OSS-120B去裁判它生成的推理轨迹质量，都比标准SFT训练后的模型稍微更受青睐一点。这意味着，我们精心设计的监督信号（那些完整冗长的推理轨迹），有可能在某种程度上把模型往更差的方向拉，而不是单纯地帮它变强。这个结果多少有点讽刺：花大力气收集的高质量教师轨迹，反而没有模型自己的"本能"可靠。
这也让我想到一个更大的问题：我们现在评价一份训练数据"好不好"，往往还是依赖人类的直觉，比如是不是逻辑清晰、步骤完整、覆盖面广。但这篇论文提醒我们，数据对模型的价值和数据在人类眼里看起来的价值，可能是两回事。人类觉得有意思、有教育意义的探索过程，对模型的梯度更新来说可能纯粹是噪声。
这个思路会不会推广到其他领域？比如在代码生成里，模型调试代码时反复试错的过程要不要完整保留？在多模态模型的思维链里，是不是也存在类似的首尾重要、中间可删的结构？这篇论文只是打开了一道口子，真正的边界在哪里，还需要更多人去摸索。
如果一个学生的草稿纸和答案卷之间的关系，本质上就是这篇论文揭示的规律：草稿纸上的试错本身不重要，重要的是从哪里出发、最后落在哪里，那我们是不是应该重新想想，到底该怎么教一个AI学会思考？
Q&A
Q1：E-SFT是什么？
A：E-SFT全称Endpoint-based SFT，是一种训练大语言模型推理能力的方法，核心做法是在监督微调时保留推理轨迹的开头和结尾部分，删除中间约20%冗余的探索性内容，从而让模型学得更好更高效。
Q2：为什么删掉推理轨迹的中间部分反而能提升模型表现？
A：研究通过注意力分析、片段消融实验和困惑度测试发现，模型生成答案时主要依赖轨迹的开头（问题定义）和结尾（结论汇总），中间段多是重复检查、试错和回退等冗余内容，删除后模型能更聚焦有效信息，训练损失更低，收敛效果更好。
Q3：E-SFT只能用在监督微调上吗？
A：不是,研究发现这个思路同样适用于强化学习方法GRPO和在线蒸馏OPD,在这两种训练范式中屏蔽推理轨迹中间20%的内容,同样能带来稳定的性能提升,说明冗余中间段的问题是跨训练方法普遍存在的。