2025年10月12日,阿里千问正式推出QwenGyre,这是一个专门为长程智能体任务打造的在线强化学习框架。
当智能体执行复杂操作时,单次任务可能需要持续数小时,过程中模型与环境之间会产生上百次相互依赖的交互,累积处理百万级token。QwenGyre借助弹性调度与轨迹处理机制,让这类超长任务成为有效的训练来源,同时提升能力与效率。
QwenGyre可将GPU划分为多个计算单元,每批任务完成后,空闲单元立即转入训练模式,类似于项目组中先完成工作的人先参与复盘。正在运行的任务不会受到影响,进度和状态得以保留,之前计算的缓存也能整体迁移,无需重新计算。新释放的单元直接加入当前训练轮次,计算速度快的单元承担更多工作,最后由核心单元汇总结果,完成一次参数更新。
QwenGyre通过Token-in Token-out记录每段输出生成时的真实上下文,并按照共享前缀组织成轨迹树,仅将选中的路径展开为训练样本。同时,超时但部分完成的任务也能通过Partial Scoring提供有效反馈,避免浪费任何一步努力。
在性能测试方面,官方在NL2RepoBench在线强化学习实验中,采用每次rollout约70万token的任务进行训练,经过48步训练后,模型通过率从52.5%提升至58.5%。在相同GPU预算下,QwenGyre相比Async实现了1.78倍的端到端加速,训练分数与Async、Colocate相近。在Qwen3.6-122B上的跨任务验证中,NL2RepoBench、DeepSWE、TerminalBench三类任务均实现了端到端提速。