residual的泰勒展开和foca

[ywlq]

非常棒的工作！我有几个疑惑：
请问residual的泰勒展开和hidden_state的泰勒展开的处理有什么不同吗，我没有在代码中看到特殊处理？
另外请问foca什么时候会支持呀

[DefTruth]

预计Q1会支持foca

[ywlq]

@DefTruth 我在few-step的模型上尝试了teacache+taylorseer，固定cache指定的一步，发现使用taylorseer之后效果反而会下降，请问对于residual的taylorseer需要特殊处理吗

[DefTruth]

few step已经不满意特征平滑假设了，用ts是会效果变差的，这时推荐用DBCache，加大Fn和Bn