权威配资之家官网算力成本大降! 马尔可夫思考机来了, LLM推理成本直接降为线性

大疆来源：瑞和网配资网站：力创配资日期：2025-10-12 13:43:56 查看：154

用强化学习让 LLM 具备推理（reasoning）能力确实很有效权威配资之家官网，但耗费颇高。

这类模型在回答问题前会生成一长串的思维链（LongCoT）；并且增加「思考 token」的数量能够提升模型的能力。与任何强化学习问题一样，它存在一个决定轨迹如何生成的环境。

对于推理 LLM 而言，这个环境相当简单，以至于常常被忽略：状态（state）是由提示词（prompt）与截至目前已生成的推理 token 拼接而成，而动作（action）则是从策略（即推理 LLM）中采样的下一个 token。

这种设计看似轻巧，但却可能导致状态的大小没有边界 —— 会随着思考过程的加长而不断增长。对于基于注意力机制的策略来说，这意味着整个过程中的计算量会面临令人望而却步的二次级增长。

为了降低推理 LLM 长思考的计算量，人们已经提出了许多方法，包括使用带有长度正则化的目标函数、剪枝或早停方法等。

而近日，Mila 和微软研究院等多家机构的一个联合研究团队却另辟蹊径，提出了一个不同的问题：如果环境从一开始就不会造成计算量的二次级增长呢？

他们提出了一种新的范式，其中策略会在基于一个固定大小的状态上进行推理。他们将这样的策略命名为马尔可夫式思考机（Markovian Thinker)。

论文标题：The Markovian Thinker

这项研究的三位共一作者之一的 Amirhossein Kazemnejad 在上表示，Delethink 的有效性开启了强化学习思维环境的创新。此外，马尔可夫思维的程度及其有效性表明，推理 LLM 可以以不同的方式构建，或许可以采用非二次架构。

马尔可夫式思考机

马尔可夫式思考机的核心思想是重构强化学习的构成形式，使得无论总思考长度如何，策略读取的有效状态大小都是有界的。其直接效果是深远的：更长的思考过程仅需线性的计算量和恒定的内存，这与思考长度有关，从而将「模型思考多久」与「它必须处理多少上下文」这两个问题解耦。

他们通过 Delethink 这一范式对思想进行了实例化。它是一个强化学习环境，通过将推理过程组织成一系列固定大小的区块（chunk）来引导马尔可夫行为。

Delethink 将思维强化学习环境重新定义为一个分块的、马尔可夫式的过程：其生成过程以固定大小的区块 (chunk) 进行，在每个区块的边界处，环境会将上下文 (context) 重置为一个全新的提示词，该提示词包含原始查询以及一小段来自前一个区块的延续内容。

这会迫使策略 (policy) 必须学会通过维持一个文本状态来跨区块推进思考，从而创建一个「马尔可夫式思考机」 (Markovian Thinker)。

相比之下，LongCoT 环境会无限制地拼接 token，因此其状态（以及模型上下文）会随着轨迹 (trace) 的延长而不断增长。

算法 1 的伪代码展示了对单个查询的训练过程。

更多细节请访问原论文。总之，经过这样的设计，在 Delethink 中的生成和用于更新策略的反向传播两个阶段都是线性 scaling 的，而在 LongCoT 中则是二次级的。下图展示了当思考长度从 n token 增长到 nS token 时，LongCoT 和 Delethink 的 FLOP、内存、反向传播时间、生成时间的变化情况。

效果显著

该团队进行了实验：Delethink 的效果非常显著。即便以 8K 大小的区块进行推理，使用 Delethink 训练的 DeepSeek R1-Distill 1.5B 模型依然可以思考长达 24K token，在相同的 24K 思考预算下，其在数学基准测试上的表现能达到并超过 LongCoT-RL。