Skip to content

FLUX.2 Klein训练求助 #192

Description

@HUXING8

我基于FLUX.2 Klein 9B Base进行了一版Image2Image的lora训练,有一个效果基本符合预期的lora。目前想基于这个lora基础上进行RL训练,提升生图结果人物躯干的合理性。
第一个问题是:我最后是想加载到官方蒸馏的dit上进行4 step推理的,那我在用Flow-Factory的时候加载的基模应该是FLUX.2 Klein 9B Base还是FLUX.2 Klein 9B。
第二个问题是:我加载lora启动后,计算KL的时候,是基于dit+lora还是原始的dit,这里会有影响吗。我尝试了一下默认的配置,打开了KL,设置的kl_beta: 1.0e-3,是不是关掉会好一些。

Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    discussionDiscussion about experiment configs, phenomena and etc.

    Type

    No type

    Fields

    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions