vllm上的实现

[solitarynew]

请问vllm上的实现是否与论文不太一致，vllm上单次prefill阶段，hidden_states的的第一个维度是多个句子拼接的总tokens数，vllm实现中似乎只对这一个请求计算了一个δ，而不是每个样本单独一个δ，这是否会影响最后的推理结果

[yanghu819]

和论文实现一样的, 每次遇到一个新的prompt
last hidden states 的shape是number of tokens, Dim
都会优化一个独立的delta

https://github.com/maple-research-lab/SLOT/blob/ec535cf495ea3f4c25bf7653d60e47836d81c433/vllm/model_runner.py#L1869C18-L1869C67 你可以试试在这里打个print下 loss,每个prompt都会独立的优化loss的

[solitarynew]

model_input的第一维可能是一个batch下所有的sequence的token拼成的序列吧，可能不属于同一个sequence，他们是不是共用了同一个δ

[yanghu819]

model_input的第一维可能是一个batch下所有的sequence的token拼成的序列吧，可能不属于同一个sequence，他们是不是共用了同一个δ

你说的对, 我实现了新版的隔离prompt优化的,改了这个bug, 代码还在优化, 马上出新的

[solitarynew]

另外，请问方法是否对超参很敏感，不同的模型和任务要采用不同的iter和lr吗，DeepSeek-Distill-Qwen-14B/32B
我采用默认的iter=5，lr=0.1似乎效果不是很行