한국어 STT 문장 부호 복원 연구
Multi-modal 문장 부호 복원으로 STT 정확도를 높이는 연구
배경
교내 산학 협력 과제로 상담 분석 파이프라인의 앞단인 STT 출력 품질을 담당
ASR 변환 결과에 문장 부호가 빠져 가독성이 떨어지고, 요약·감정 분석 등 후속 처리 품질까지 동반 저하. 다만 파이프라인에서 음성을 늘 확보할 수 있는 것은 아니라, 음성이 있으면 쓰되 없어도 동작하는 모델이 필요
해결/진행 과정
- 선행 연구 리서치로 텍스트 단일 모달 복원 방식의 한계 확인, UniPunc(ICASSP 2022)을 한국어로 이식하기로 결정
- KoBERT로 텍스트를, wav2vec2-xlsr-korean으로 음성을 인코딩하고 Conv1dSubsampler로 음성 프레임을 텍스트 길이에 맞춰 정렬
- 텍스트를 query, 음성을 memory로 두는 Transformer cross-attention으로 두 모달을 융합
- 음성이 없는 샘플에는 학습된 virtual embedding을 대신 주입
- 멀티모달로 학습하되 추론 시 음성이 없어도 같은 모델이 동작
- CLOVA ASR을 앞단에 붙여 음성 파일 하나로 끝나는 E2E 데모를 Streamlit으로 구성
결과
- AI Hub 복지 분야 콜센터 상담 데이터로 학습·평가, 문장 부호 4종 분류
- 쉼표·마침표·물음표·느낌표
- KoBERT 기반 텍스트 단일 모달 베이스라인 대비 F1-score 15포인트 향상
- 파이프라인에서 음성이 유실돼도 같은 모델을 그대로 사용
- 텍스트 단일 모달이라 음성이 없어도 동작
- 연구 결과를 기업에 이관 완료