Korean LMM 성능을 알고 싶습니다.

[goonbamm]

안녕하세요, 우선 좋은 모델과 데이터셋 공유 감사드립니다.

다름이 아니라 여러 모델들이 있는데, 한국 멀티모달 벤치마크 성능 비교가 없는 것 같아 문의드립니다. 테스트 데이터셋 기준이라도 모델별 성능을 비교한 걸 공개해주실 수 있을까요? 감사합니다.

[tabtoyou]

안녕하세요, 우선 KoLLaVA 프로젝트에 관심을 가져주셔서 감사합니다.

현재는 한국어 멀티모달 벤치마크가 따로 없어, 각 모델의 정량적인 성능 측정이 어려운 상황입니다.
한국어 벤치마크 제작을 고려하고 있지만, 현재는 리소스 등 여러 이유로 미뤄지고 있습니다.
하지만 경험상 가장 최근에 업데이트한 🤗 tabtoyou/KoLLaVA-v1.5-Synatra-7b 모델이 가장 괜찮은 성능을 보여줄 것으로 기대됩니다.

최근에 공개된 LLaVA-NeXT 등 영어 위주로 학습된 오픈소스 LMM 들의 한국어 성능도 나쁘지 않은 것을 확인해, 이 부분도 참고하시면 좋을 것 같습니다. 추가로 LLaMA-3 기반으로 학습한 🤗 beomi/Llama-3-KoEn-8B-xtuner-llava-preview 모델도 Beomi 님께서 공개해 주셨습니다.

추후 한국어 벤치마크를 제작하게 된다면, 결과 비교도 공유드리겠습니다. 감사합니다.