전체 프로젝트

상품 카테고리 추천 v2

FastText 분류기를 LLM 분류로 대체

외주Abear2024.04 – 2024.063개월

배경

이전에 만들었던 v1의 후속작업. 판매자가 상품을 올릴 때 카테고리를 자동으로 제안하는 기능

FastText를 쓰던 기존 추천 시스템은 정확도와 확장성에 한계가 있어 개선이 필요

해결/진행 과정

  1. 정확도만 문제였다면 데이터 보강과 재학습으로 해결 가능하나, 더 근본적인 제약은 카테고리 체계가 계속 바뀐다는 점
  2. 학습 자체를 없애는 방향으로 FastText 분류기를 LLM 카테고리 분류로 전환

결과

  • 분류 정확도 90% → 92%
  • 마켓당 평균 8,000개 카테고리를 재학습 없이 확장
    • 기존에는 마켓 하나를 붙일 때마다 70분의 재학습이 필요
마켓 하나를 새로 붙일 때 드는 재학습 시간
FastText v170분
LLM v2없음

사용 기술

PythonFastAPILangchainLLM