내담자와의 상담 요약 및 화자 분리
음성 입력에서 화자별 상담 요약까지
배경
상담 기록 작성은 상담사의 업무 시간을 직접 잡아먹는 일. 50분 상담 한 건에 기록 작성 20~30분이 추가로 소요
긴 상담이 끝날 때마다 상담사가 기록을 직접 작성해야 했고, 화자별 핵심 정보 선별에 상당한 시간이 소요
해결/진행 과정
- 화자 분리 → STT → LLM 요약으로 이어지는 end-to-end 파이프라인 설계
- pyannote 화자 분리와 Whisper(medium) STT를 결합
- 두 모델이 서로 다른 타임라인을 내놓으므로, 화자가 바뀌는 지점을 기준으로 세그먼트를 병합해 문장을 화자에게 배정
- 화자별 요약과 전체 요약을 분리 제공하도록 구성
결과
- 음성만 넣으면 화자별 요약과 전체 요약이 나오는 파이프라인 구축
- 실서비스에 반영 완료
- 화자 분리 오류율(DER) 10% 달성
- 상담 종료 후 기록 작성 5분 내 완료