复现精度问题

[aaaaasr]

您好，贵团队，我在复现HCGKT的代码时，使用的是algebra2005数据集，数据处理过程先是运行data_preprocess.py，再运行data目录下的get_ques_skills_csv.py和create_ques_skills_gcn_pt.py，最后使用代码中默认的参数训练模型，结果是windowauclate_mean': 0.8316056045253808, 'windowauclate_vote': 0.8198079924786328, 'windowauclate_all': 0.8314649653428569, 'windowaccconcepts': 0.8062937166348727, 'windowacclate_mean': 0.821172216814112, 'windowacclate_vote': 0.8247023459312588, 'windowacclate_all': 0.8232582022015169}与论文中所示的结果0.8456，0.8235差距较大，请问是哪个环节出错了？

[qvbp]

你好，非常感谢你对我们的工作感兴趣。

首先，如果你能确保代码可以完整地运行，那么问题很可能是超参数设置导致的。我们的实验中，每个数据集的每一折的超参数都经过了超过200轮的调优。因此，为了帮助你更好地复现实验，我们已经将最佳超参数开源到了谷歌云盘中，供你参考。

你可以通过以下链接获取超参数：
hcgkt最佳超参链接

具体的操作步骤如下：

1. 请根据每个数据集每一折的最佳超参数进行模型训练。
2. 在得到最佳模型文件之后，请对每个数据集的5折进行预测，并将所有结果进行平均，作为最终的预测结果。（常用的指标是 windowauclate_mean 和 windowacclate_mean）

另外，我们已经重新检查了一下结果，并确保它们与论文中的结果完全一致：

• AL2005

• BD2006

• XES3G5M

另外注意，不同设备复现会有一点误差，但是不会太大，我们用的是4090

[aaaaasr]

十分感谢作者！！！，请问下为什么运行data_preprocess文件处理peiyou数据集时出现了报错？万分感谢，祝您生活愉快

[qvbp]

你好，我这边刚才试过在仓库文件夹下处理peiyou数据集，没有出现你截图中的报错。关于你截图中的报错，我觉得可以从以下几个步骤排除：

1. 首先确定你peiyou文件夹下有 grade3_students_b_200.csv 文件
2. 然后确定你在对应的文件夹下运行 “your_path/HCGKT/examples”
3. 确定你是否“pip install -e .” 或者export PYTHONPATH="your_path/HCGKT/"
4. 最后如果还有这个报错，你就把这个aaai2022_competition.py删除就好了，因为他在 HCGKT中 没有用到

祝你复现顺利，如有问题欢迎继续交流~

[aaaaasr]

作者打扰了！您好，请问 grade3_students_b_200.csv这个数据文件是从那来的，我解压peiyou数据集后没有找到，如果是自己处理的的能分享一下吗？太感谢了！！！

[aaaaasr]

救救孩子吧！

[qvbp]

你好，如果你要用这个数据集复现论文或者做实验，我推荐你这么做：

1. 首先 XES3G5M 这个数据集是已经处理好给你的，所以你可以直接用来训练了。
2. 其次 kc_level文件夹下代表的是基于kc_level的KT模型所用的数据集，question_level文件夹下代表的是基于question_level的KT模型所用的数据集。
3. 接着你创建"peiyou"这个名字的文件夹，然后把kc_level文件夹下的所有文件移出来放到peiyou文件夹下，然后我可以把keyid2idx.json开源给你，具体链接在回复最后。
4. 最后你把其他要用到的文件移进去，就可以开始训练啦~

keyid2idx.json

最后这个是XESG35M仓库地址 XESG35M

祝你复现顺利，如有问题欢迎继续交流~