Pseudo-inverse matrix를 사용하여 메모리 연산 최적화 질문

[AugustvonMackensen]

안녕하세요. 아까 참여했던 이세민(Se Min Lee)입니다.
다름이 아니라, GPU 메모리 최적화 측면을 아까 랩짱님께서 말씀하실때, 들었던 생각이
"정보 손실"을 감안하더라도 일반화하는 쪽으로 Pseudo-Inverse matrix를 도입한다던가, 아니면 행렬 근사라든가
아니면 XY + XZ 꼴이라면 X(Y+Z)로도 최적화해볼수 있지 않을까? 라는 의문과 상상이 들었는데, 현업에서는 어떻게 쓰이는지,
그리고 실제로 메모리, 연산 최적화에서 Pseudo-Inverse matrix를 도입하는지에 대해서 궁금합니다!

[ahagyue]

1. pseudo-inverse의 time complexity 자체가 inverse와 같아서 그런 방식의 최적화가 사용되지는 않을 것 같습니다. 또한 아래 실험은 3090 위에서 4096X4096 matrix로 실험한 결과인데 pinv가 torch에서 충분히 최적화되지 않은것인지 모르겠지만 inversion이 훨씬 빠른 것 같습니다.
   inv: 0.043s
   pinv: 2.391s
2. XY + XZ = X(Y + Z) 최적화는 충분히 사용할 수 있습니다.