多模态多轮对话RLHF数据集如何构建

[codecat0]

{
  "messages": [
    {"role": "user", "content": "<image>...<image>请根据提供的甲状腺超声图像..."},
    {"role": "assistant", "content": "\n穿刺会诊：\n\n左叶下部内侧见低回声..."},
    {"role": "user", "content": "基于这些图像和上述超声所见，得出检查诊断是什么？"},
    {"role": "assistant", "content": "\n甲状腺多发实性结节，右叶者可行穿刺\n\n"},
    {"role": "user", "content": "综合这些图像...穿刺会诊结果为阳性还是阴性？"},
    {"role": "assistant", "content": "阳性"}
  ],
  "images": ["./data_filtered/train/.../1.jpg", "..."],
  
  "rejected_messages": [
    {"role": "user", "content": "<image>...<image>请根据提供的甲状腺超声图像..."},
    {"role": "assistant", "content": "\n穿刺会诊：\n\n左叶见等回声..."},
    {"role": "user", "content": "基于这些图像和上述超声所见，得出检查诊断是什么？"},
    {"role": "assistant", "content": "\n甲状腺单发囊性结节，建议随访\n\n"},
    {"role": "user", "content": "综合这些图像...穿刺会诊结果为阳性还是阴性？"},
    {"role": "assistant", "content": "阴性"}
  ],
  "rejected_images": ["./data_filtered/train/.../1.jpg", "..."]
}

上诉构建的RLHF数据格式是否正确？

[Jintao-Huang]

通常只有最后一轮是不一样的。

[codecat0]

通常只有最后一轮是不一样的。

对于三轮对话构建RLHF数据集，只能为每一轮单独构建吗？