deepseek会不会泄露未发表论文 deepseek会不断学习进步吗
今年，deepseek r1火了。
几乎很快形成了一个共识，就是：
AI推理能力越强，执行任务时就应该越聪明。
从2022年思想链横空出世，到今天Gemini 2.5 Pro、OpenAI o3、DeepSeek-R1、Qwen3，这些旗舰模型的统治性表现，我们一直相信，让模型先想一想，是一个几乎不会出错的策略。
不过，这种聪明，也会带来一些后果。
就是提示词遵循能力，变得越来越差。
换句话说，就是越来越不听你的话了。
我在过年期间写了DeepSeek的攻略文：DeepSeek的提示词技巧，就是没有技巧。的时候，也提到了这一点。
不过，这只是我自己使用中的感觉，它变的越来越聪明，但是感觉，却越来越听不懂话了，直到我现在，最常用的模型，开始越来越变成了GPT4o，所有的推理模型，反而会用的越来越少了。
不过，确实没有经过验证，所以也不是特别敢说。
昨晚直到回来，在扒论文拉论文的时候，看到一篇提到这个话题的论文，我读完以后，我觉得，终于可以来聊聊这个事情了。
这篇文章叫，《什么时候》思考失败：遵循指令进行推理的陷阱LLMs》
网址这里：https：//arxiv.org/abs/2505.11423
它用精确的实验，验证了上述的论点。
当你让模型开始推理时，它反而更容易违反你给出的指令。
是的，当思考失败时，这个聪明的智商，反而就变成了负担。
我尽量用人话，来给大家简单的科普一下中的实验和内容，再说我的理解。 p>
先说论文本身。
论文的研究团队来自哈佛大学、亚马逊和纽约大学，他们花了好几个月的时间，干了一件特别简单的事却没有人认真关注的事，就是把这个思考过程应用在一个最基础上、最现实、最需要稳定性的场景如下：
听懂人类指令，然后照做。
他们做了现场测试。
第一组叫IFEval，一个标准的执行类任务测试集，每个任务都非常简单。
比如“写400字以上”“必须提到AI三次”“输出格式必须是JSON”“句末不能有标点”等等。
所有的任务都有明确的可验证标准，或者做对或者做错，没有模糊地带。
第二组叫做ComplexBench，这就更有趣了，是那种“多约束、逻辑组合、顺序请求”的复杂指令，比如“先做A中的三选，加上上B的格式要求，最后加上C的语言限制”。
听起来好像推理模型在这个任务上应该更有优势？毕竟这不是随便一两句话就可以混淆过去的内容。
然而，论文的结论又统一：总体模型在使用CoT推理后，执行准确率反而下降了。而且，下降得还不轻。
他们一共测了15个模型，头部开源的（比如LLaMA、Mixtral、Qwen2.5、DeepSeek系列）和闭源的（GPT-4o-mini、Claude） 3.5/3.7等等）。
在IFEval上，14个模型中有13个使用CoT时准确率变低；在ComplexBench上，所有模型都在使用CoT后，表现变差。
甚至连像LLaMA-3-70B-Instruct这种参数量增大、训练完整的模型，在使用CoT时基因从85.6的准确率掉到77.3。
8个点的损失，在工业级任务里其实非常恐怖了。
还有推理模型模型开不出推理的对比，典型的就是DeeSeek V3和R1，还有Claude 3.7这种混合模型。
会发现，几乎都有下降。
他们手工扒拉了1500多个样本，查看了所有的思维链条，总结了原因。
他们发现，当模型用了思维链条之后，它确实聪明变了，比如能更好地遵守格式、注意字数、精确用词，相当于“必须用15个大写字母”这样的题，靠CoT反而更稳定。
但是，它也变得神经质了。
它开始自作澄清，觉得自己懂了任务的微妙意识，所以它会轻易自删掉、修改，甚至加上有帮助的解释。
论文里提到很多模型会在“只允许输出无线电”的题目中，善意地补上一句“这是‘Bonjour’的英文摘要”，在“只输出支持内容”的任务里，自动补充前情。
太想表现自己了，太想证明我真的理解你了，所以它忘记了本该严格遵守的指令。这就是它的学会推理之后的后果。
为了找出这个后果的根源，他们引入了一个新概念：
约束注意力（约束）注意）。
他们发现，不管是GPT-4o-mini，还是Claude 3.7，几乎所有模型都用了CoT思维链后，它们的注意力，一旦在生成答案时，关注那任务描述中“关键限制”的部分注意力，明显下降。
你可以理解为，当你要求一个人边想边说时，他反而忘记了不知道你只要他复述句子的简单目标。
更多趣的是，他们还思考了一个我一直想知道的问题的答案：
就是CoT思考越长，准确率训练吗？
结果是，几乎显着相关。
思考长度和做是否对，几乎没有直接联系。
其实，更努力≠更对。
所以，其实结论很简单，就是在要求非常规范、精准的大模型任务输出上，完全不需要使用推理模型或者思维链，直接上非推理模型，效果会更好。
但是，如果，那就不需要，提升整体指令遵循效果呢？
他们也基于自己的测试，给出了希望了4种方案。
第一种，是“Few-Shot少样本样本”。
给模型提前看几个做对的例子。
效果一般，问题则输入太长，而且示例现有模型中，容易有偏向。
第二种，是“自我反思” 反思自我”。
模型第一次输出之后，再自己复查一遍，“你刚才做对了吗？”然后再决定是否修改。
这招对大模型效果很好，因为它们确实能自省，但小模型效果惨不忍睹，因为它们不够，就像不认识错的小孩，越想越错。
第三种，是“自选推理”。让模型自己判断这个任务是否需要推理。
结果是：它的反应率很高，基本上只需推理有用它就能猜出来，但准确度很低，一言不合就开始推理，你只是构成改个词。
第四种是最有效的，“分类器选择性”
直接训练一个小模型作为判断器，来帮助主模型判断某个任务是否该启用CoT。
效果显着，在多个测试集上几乎几乎都能恢复损失的准确率，甚至有些模型比原始还高。
结局就是每个主模型都要单独训练一个判断器，成本太高了。。。
p>
这篇论文大概就是这样，对我自己非常有帮助，我看的论文差不多，这是我自己看的，我认为对“CoT推理在执行任务中的潜在副作用”这个话题，比较完整的研究之一。
同时，我也想聊聊，这篇论文对我的启示。
我们总觉得，聪明，就意味着知道三个、分析得细、每个指标都不放过。
但事实上，真正强大的智能，从来都不是把所有的细节一股脑地扫过一遍，而是，知道在哪一注意力，把注意力放在哪个点上。
就像我们小时候考试，很多人因为太想得高分，反而最后在最简单的题上丢分。
初学者做选择，明明已经知道该该该怎么做到了，却非得做个SWOT分析表、拉个10页PPT讨论，最后被复杂困死。
公司做决策，明明方向明确，却因为分析得太多、风险评估太细，最后团队谁也不敢拍板，错过风口。
AI其实跟人很像。
上面很多CoT的验证，还有约束注意，其实也证明了，大模型不是笨，而是思维资源配了。
你为了完成任务，却跑去思考“怎么把话说得更优雅”、“这句话不需要加个逻辑转折”、“后面是不够自然”。
你让干活，在脑子里大脑补了几种万种情节。
但是，真正牛逼的智能，其实应该是集中注意力。
你让干活，在脑子里大脑补了几种万种情节。 p>
比如你叫一个人帮忙看一下一份报告有没有错，一个低阶执行者可能就只是一句句校对标点。
而一个高阶智能，可能会反过来先问你，“你的重点是要我看错字，还是看数据逻辑？”
你说清楚重点，他就能把80个注意力锁死在正确的位置。
而如果他啥都想看一点，最后很可能错得最离谱。
我们真正需要的，可能，是对“该想什么”有判断能力的智能。
就像我们人类那些最令人震惊的时刻，不是我们知道多少，而是我们能够瞬间把焦点聚焦在关键节点上。
危机时刻，考场钟声，夜看深人静一个念头浮上心头的时候，你知道的，你全看，你只能。
那个“看准” ，在我看来，可能才是智能真正的体现。
这一点，画简单，却足以让AI从“聪明”，变成“智能”。
这就是我读完论文之后，真正想跟分享的东西。
我们不缺思考的能力，我们缺的，是思考的分寸感。
思维，不是撒大家网。
而是出击。
gt；/ 作者：卡兹克
以上就是DeepSeek们越来越聪明，却也越来越听不懂话了。的详细内容，更多请关注乐哥常识网其他相关文章！