How to deploy SLOT based on VLLM

[vefalun]

你好，首先非常感谢你们优秀的工作！

想了解一下，看到你们两天前对于适配qwen的更新，如果我想要在qwen中部署slot，我是否进行下列步骤：

[vefalun]

（1）将model_runner.py替换掉自己的vllm/worker中的原文件；
（2）设置CHOT_STEPS和CHOT_LR，然后正常运行之前的vllm文件
除了上面两部还有什么是相较于之前vllm部署函数需要做的嘛，因为看到论文中的介绍，我的理解是有两个阶段：Prompt Stage（训练δ）和Generation Stage（正常的推理），我的理解这两步是不是都融合在了model_runner.py函数中，δ会在全部的输入样例中进行训练，而训练好的δ也不会保存在checkpoint文件中，我不确定我的理解是否正确，因为这样子的话，那是不是全部样例中的最后输入因为见到了更多的数据和经历了更多的训练而会比最开始的输入效果相对好一点

[yanghu819]

稍等这几天我更新下slot的vllm实现,当下版本batching有问题(除非batch=1)是OK的
“除了上面两部还有什么是相较于之前vllm部署函数需要做的嘛，因为看到论文中的介绍，我的理解是有两个阶段：Prompt Stage（训练δ）和Generation Stage（正常的推理），我的理解这两步是不是都融合在了model_runner.py函数中，δ会在全部的输入样例中进行训练，而训练好的δ也不会保存在checkpoint文件中，我不确定我的理解是否正确，因为这样子的话，那是不是全部样例中的最后输入因为见到了更多的数据和经历了更多的训练而会比最开始的输入效果相对好一点”
两步都是融合在model_runner,
当下的model_runner是buggy的, 因为相当于用了更多的其他的prompt(存在问题1用到问题2的梯度这种),虽然也能涨点,但是不是exactly 论文里使用的sample specific SLOT
建议你先尝试使用下transformer的版本, 那个稳定且正确