关于RLDDM问题，是否可以更改该模型Q更新代码

[haixiagu]

在dockerhddm模型中，我想使用RLDDM模型对概率选择任务进行建模，但是参考最近相关文章(Ben-Artzi I, Kessler Y, Nicenboim B, Shahar N (2023) Computational mechanisms underlying latent value updating of unchosen actions. Sci Adv 9: eadi2704.)，对于Q值更新，除了传统的RW更新算法之外，还可以使用反事实算法更新，并且这个算法拟合数据更好，想咨询老师，我是否可以对该模型进行更改Q值更新的代码，如果可以在哪里可以修改

[hcp4715]

@haixiagu 你好，

理论上应该是可以的，但可能对hddm这个包的理解的要求比较高而且需要进行测试。
我们打包的HDDM中的代码，是由Mads L. Pedersen所提供的，相关论文见：
https://link.springer.com/article/10.3758/s13423-016-1199-y（公式5）
https://link.springer.com/article/10.1007/s42113-020-00084-w （公式3）

如果要进行反事实算法更新，本质上是新的模型，可能需要对底层代码进行修改和更新，本向是值得一个方法论文的。如果我理解的没有错的话，可能要修改的底层代码的地方是：
如果使用 HDDMrl，可能需要修改这个代码 https://github.com/hddm-devs/hddm/blob/master/hddm/models/hddm_rl.py；
如果使用HDDMrlRegressor，可能需要修改这个代码https://github.com/hddm-devs/hddm/blob/master/hddm/models/hddm_rl_regression.py

如果你感兴趣的话，应该是可以做成的，因为Sci adv这个文章中建构模型的代码已经提供了，可以参考他们的stan代码来重写这里面的一部分代码。

希望我的回复对你有帮助。