adaptive query对global learnable query的影响

按照论文中的描述和代码中的实现，发现只是把adaptive query和global learnable query拼接在一起传入decoder了，但是这样不会导致在前期的时候global learnable query与gt的匹配很困难而gt的匹配全都被adaptive query抢占吗？请问下这个问题是如何克服的呢？或者是我哪里理解得不对