문장 부호 복원 연구
Multi-modal 기반 문장 부호 복원을 통한 STT 정확도 개선 연구
배경
교내 산학 협력 과제로, 상담 분석 파이프라인의 앞단인 STT 출력 품질을 다뤘습니다.
문제
ASR 변환 결과에 문장 부호가 빠져 읽기 어렵고 요약·감정 분석 등 후속 처리 품질까지 함께 낮아졌습니다.
해결 과정
- 선행 연구 리서치를 통해 텍스트 단일 모달 복원 방식의 한계 확인
- 텍스트와 음성 특징을 결합해 추론하는 멀티모달 딥러닝 모델 설계 및 구현
- Streamlit 기반 데모 페이지로 PoC 검증
결과
- 기존 텍스트 기반 문장 부호 복원 방식 대비 F1-score 15% 향상
임팩트
STT 뒤에 붙는 요약·감정 분석이 더 깨끗한 입력을 받게 됐습니다.