复现结果问题

[seanhu830]

贵团队您好，我在复现simpleKT时，使用的数据集是ednet，数据集是在官方GitHub上下载的，包含KT1和contents，数据处理过程为运行examples目录下的data_process.py，并将dataset_name改为ednet，并且使用贵团队提供的参数来运行wandb_simplekt_train.py，最后使用wandb_predict.py来进行评估，最后的评估结果为Test AUC: 0.9429 Test ACC: 0.8704，与其他文献中的结果差异巨大，请问我是不是哪里出错了

[lycyhrc]

贵团队您好，我在复现simpleKT时，使用的数据集是ednet，数据集是在官方GitHub上下载的，包含KT1和contents，数据处理过程为运行examples目录下的data_process.py，并将dataset_name改为ednet，并且使用贵团队提供的参数来运行wandb_simplekt_train.py，最后使用wandb_predict.py来进行评估，最后的评估结果为Test AUC: 0.9429 Test ACC: 0.8704，与其他文献中的结果差异巨大，请问我是不是哪里出错了

您好，这个问题和我们之前回答的一个问题非常类似，供您参考

总之，需要wandb_predict.py运行完毕，'windowauclate_mean'和'windowacclate_mean'指标才是我们融合后论文汇报的真实结果。
AUC0.9左右是融合前的结果，由于ednet数据集一题多概念存在，可能会有数据泄露带来的问题，详情请参考pykt论文。

[seanhu830]

十分感谢回答