[TIL] 2025-07-09 | AI 추천 | CLIP

[s0ooo0k]

TIL - 2025-07-09

💡 새롭게 배운 것

• 프로젝트 하면서 생긴 이슈들과 검색 내용을 하나하나 적어보자!
• 그냥 넘어갔던 기초들부터 다시 공부해보자

❗ 오늘의 문제 상황 & 🚀 시도 및 해결 과정 & 배운점

서비스 특성상 수강생 인증이 필요함! 기존에 고민했던 여러 방법들

1. 코드 공유 기반 인증

• 가장 편리하긴 하나 외부 채널 및 프로그래머스의 개입이 필요함

2. GitHub Orgaznization 기반 인증

• 프로그래머스 깃허브 목록을 불러와서 이메일 대조
• 개인정보 관련 위반 가능성이 있고 + 깃허브 로그인이 아니면 결국 다른 인증 방식이 필요함
• 레포지토리가 없는 경우나 private으로 설정할 경우 결국 토큰을 받아와야됨

3. 이미지 기반 인증 ✅

• 수동 인증

• 시간 지연 방지 위해서 AI 자동화 도입

• 원래 Vision 모델만 쓰면 되지 않을까? 했는데 생각해보니 우리는 이미 학습한 데이터가 아니라, 우리가 기준을 정하고 - 해당 기준에 맞는 데이터로 평가해야함
  ➡️OCR + Vision 모델을 통해 구현

• OCR 1차 구현 : tesseract

  • https://github.com/tesseract-ocr/tesserac
  • Spring 에서 래퍼 가능. 구현 자체는 한글 성능이 완벽한지는 모르겠음! -> 웹 페이지 테스트 시 일부 파트만 읽어오거나 하는 문제 발견

• CLIP

  • https://huggingface.co/docs/transformers/model_doc/clip
  • vit 보다 정확도 높음
  • Flask 로 따로 서버 띄워야함 > 다만 OCR 도 다른 모델 쓸거면 그냥 인증 관련 서버를 아예 분리하는 것도 듯을 듯

🔗 테스트 정리