无法复现X-R1-3B在Math500数据集上精度

[women1995]

Hi，想请问用X-R1-750的数据训Qwen2.5-3B全量微调模型，per_device_train_batch_size/num_generations是咋设置的呢？是有额外的trick么？

我的训练参数（per_device_train_batch_size=1，num_generations=4，num_processes=4），到后期，Loss或KL散度会有激增，在Math500上acc始终只有acc_0.218, format_0.414。相比之下，Huggingface上开源的X-R1-3B这一模型是acc_0.346, format_0.886。

[Jason8Kang]

我用X-R1-7500得到的效果会好点, eval acc: 0.302, eval format: 0.648. 但还是比微调前的accuracy=0.32低. 也没有复现.

用X-R1-750 + 0.5B的效果更夸张, math-500准确率直接从0.176=>0.03了. 数据量和模型大小都有影响.

[women1995]

我微调前的Qwen2.5-3B只有0.0几，你测试的微调前指标（acc=0.32）是Qwen2.5-3B-instruct模型么？

[dhcode-cpp]

@women1995 感谢你提供的复现实验。

配置设置

1. per_device_train_batch_size%num_process==num_generations

到后期，Loss或KL散度会有激增，在Math500上acc始终只有acc_0.218, format_0.414。相比之下，Huggingface上开源的X-R1-3B这一模型是acc_0.346, format_0.886。

2. 当前的代码的算法有些改变，可能会影响效果，未完整测评过不同版本的性能差异。

[Jason8Kang]

@women1995 我也是 Qwen2.5-3B-instruct.
@dhcode-cpp 我用你提供的代码和数据从0.5B到7B都跑了下, 都是全量调参数, 0.5B这里跑了2次, 一个是X-R1-750, 一个是X-R1-7500, 但都抖动很厉害, 只有7B是最稳定上涨的.但是3B的性能却不比7B差.

[dhcode-cpp]

@women1995 我也是 Qwen2.5-3B-instruct. @dhcode-cpp 我用你提供的代码和数据从0.5B到7B都跑了下, 都是全量调参数, 0.5B这里跑了2次, 一个是X-R1-750, 一个是X-R1-7500, 但都抖动很厉害, 只有7B是最稳定上涨的.但是3B的性能却不比7B差.

请问你训练的base模型具体是？

[Jason8Kang]

是 Qwen2.5-**B-instruct系列. 你那也都是这个base模型?
1.还有我的train/loss曲线和你的不太一样, 和很多人一样, 调不出你这样逐步增大效果.
2. 顺便问下这里的loss在你的图里为什么是越来越大, 也很奇怪? loss不应该逐步减小.

[women1995]

@dhcode-cpp 我训练一段时间后在
self._move_model_to_vllm()
会报"assert` not param.ds_active_sub_modules, param.ds_summary()"，我搜其他repo报错貌似和per_device_train_batch_size/num_process/num_generations设置相关。我按照最新code版本添加

for param in self.model.parameters():
       param.ds_active_sub_modules.clear()

虽然可以正常完成GRPO训练，结果发现KL散度 或 Loss在后面会激增，我不太确定是否和这相关。还有一个问题可能是我用的

Qwen2.5-**B模型，指令跟随能力会比Qwen2.5-**B-instruct系列差

[dhcode-cpp]

是 Qwen2.5-**B-instruct系列. 你那也都是这个base模型? 1.还有我的train/loss曲线和你的不太一样, 和很多人一样, 调不出你这样逐步增大效果. 2. 顺便问下这里的loss在你的图里为什么是越来越大, 也很奇怪? loss不应该逐步减小.

grpo的loss是最大化相对优势。上升是对的。而且起步为0.

[dhcode-cpp]

@dhcode-cpp 我训练一段时间后在 self._move_model_to_vllm() 会报"assert` not param.ds_active_sub_modules, param.ds_summary()"，我搜其他repo报错貌似和per_device_train_batch_size/num_process/num_generations设置相关。我按照最新code版本添加

for param in self.model.parameters():
       param.ds_active_sub_modules.clear()

虽然可以正常完成GRPO训练，结果发现KL散度 或 Loss在后面会激增，我不太确定是否和这相关。还有一个问题可能是我用的

Qwen2.5-**B模型，指令跟随能力会比Qwen2.5-**B-instruct系列差

当前在复现和定位KL/loss激增问题。

[Jason8Kang]

@women1995 Qwen2.5-**B模型肯定会比Qwen2.5-**B-instruct系列性能会差点, 这个是正常的, 毕竟instruct模型已经是用指令数据微调过,缺乏一定的指令遵循能力.

@dhcode-cpp 你的意思是train/loss 对应的只是advantage? 并不是下面整个loss? 这块你是怎么知道的, 像下面代码就知道曲线对应的计算逻辑, 但是train/loss代码中没找到, 你知道在哪?
self._metrics["completion_length"].append(completion_length)
self._metrics["kl"].append(self.accelerator.gather_for_metrics(mean_kl).mean().item())

[wulixianming]

I reproduced X-R1-3B using X-R1-750, but its accuracy on Math500 is only acc_0.198 and format_0.486. Is there a solution to this problem?