清华团队提出ActionOPD：蒸馏决策，而非Token

清华大学研究团队提出一种名为ActionOPD的新方法，旨在将高级语言模型Agent的决策能力蒸馏到更小的模型中。该方法的核心在于以语义动作作为监督单位，而非传统的Token级别。在学生模型遇到的状态下，同时采样教师和学生模型的输出，通过比较两者动作的语义一致性来计算奖励，并利用策略优化来对齐双方的行为。

现有蒸馏方法如离线蒸馏存在状态分布不匹配问题，而Token级同策略蒸馏则要求教师模型提供Token概率且双方分词器需兼容。ActionOPD仅需访问教师模型的生成接口，无需获取Token概率或共享模型家族。在四个未参与训练的Agent基准上，Qwen3-4B和Qwen3-8B学生模型经训练后平均性能提升3.3-6.9个百分点。在τ²-bench上，该方法与离线蒸馏和Token级OPD相比具有竞争力。

研究团队推导出基于REINFORCE的策略梯度，将语义一致性作为奖励信号。在每个状态下，从教师模型采样3个回复，从学生模型采样4个候选回复，通过语义匹配器比较动作内容。奖励结构为首个匹配得1分，额外匹配加0.25分，无效动作负1分。环境仅执行奖励最高的候选动作，但所有回复都参与策略优化。

实验使用Qwen3-4B和Qwen3-8B学生模型，分别配合Qwen3.7-Flash和DeepSeek-V4-Flash教师模型。结果显示，跨基准平均分提升3.3-6.9个百分点。在τ²-bench上，ActionOPD的平均单次成功率为40.0%，高于KD的37.5%和OPD的39.6%，但四次全部成功率为14.2%，低于KD的19.2%和OPD的17.5%。消融实验证实了语义奖励和频率加成的作用。

研究团队还探索了Self-ActionOPD，教师模型与学生模型共享权重但获得特权信息，学生模型在测试时性能提升4.8和2.5个百分点。该方法存在三项局限：语义一致不等于决策正确、语义匹配可能误判、固定采样数量可能限制动作覆盖率。

爱游戏娱乐 (中国)官方网站 - 体育精彩尽在这里。研究团队表示，ActionOPD将监督粒度从Token提升至语义动作，仅需教师模型生成接口，实验表明能提升学生模型性能并支持跨模型家族蒸馏，为Agent自我改进提供潜在路径。