본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

말은 맞지만 화자가 다르다: AI 전사 결과 검수

AI 전사의 단어 정확성과 화자 레이블, 겹치는 목소리, 불확실성과 수정 과정을 구분해 확인합니다.

본문 언어: 한국어

네 사람이 원형 수조 둘레에 서 있고 한 사람이 물에 손을 대고 있습니다.
목차

에와가 “수정한 계획을 보낼게요”라고 말한다. 토마시는 “저는 아직 치수를 못 받았어요”라고 답한다. 전사에는 두 발언 모두 토마시의 이름이 붙는다. 단어는 정확하다. 팀은 한 사람이 자기 말에 대답하는 듯한 그럴듯한 기록을 받았다.

이는 전시를 준비하는 스튜디오의 가상 대화다. 여기서는 완성된 회의록이나 자동 생성된 과제를 평가하지 않는다. 한 단계 뒤로 돌아가 녹음 구간, 인식한 말과 화자 레이블의 관계를 확인한다. 이 단계의 오류는 나중에 정성껏 편집되고 번역되어 배포될 수 있다.

구간을 서로 다른 화자에게 배정하는 작업을 화자 분리 또는 다이어리제이션이라고 한다. 유용한 검수는 단어 정확성, 목소리 구분과 특정 사람의 이름을 붙인 근거를 따로 보여 줘야 한다. 문서가 매끄럽게 읽힌다는 사실만으로 세 가지를 확인할 수 없다. 녹음과 해당 시점으로 돌아갈 방법이 필요하다.

화자 레이블은 아직 사람의 이름이 아니다

Microsoft는 실시간 화자 분리의 화자 식별자를 일반 레이블로 설명한다. 예시에는 Guest-1, Guest-2와 초기에 아직 화자가 식별되지 않은 Unknown이 나온다. 이런 식별자만으로 이름이 증명되지는 않는다.

회사가 ‘화자 1’을 ‘에와’로 바꾸려면 별도 근거가 필요하다. 대화를 아는 권한 있는 사람이 녹음을 확인하거나, 출처를 표시하는 방법을 합의할 수 있다. 참석자 명단 순서는 누가 먼저 말했는지 알려 주지 않는다. 문장에 나온 이름은 참석하지 않은 사람을 가리킬 수도 있다.

예시에서 에와는 “토마시, 수정한 계획을 보낼게요”라고 말한다. 이름을 인식했다고 그녀의 발언을 토마시에게 배정할 수는 없다. 책임 목록을 만들기 전에 말한 사람과 말의 대상을 정해야 한다. 전사에서 쉼표 하나로 나뉘더라도 서로 다른 역할이다.

별도로 처리한 파일에서 레이블 번호의 의미가 고정된다고 가정하지 않는다. 이 배정이 어느 범위에 적용되고 제품이 어떻게 유지하는지 확인한다. 회의의 두 구간이 별도 화자 지도를 갖는다면 합칠 때 그 경계를 알아야 한다. 모든 ‘화자 1’ 행을 한 이름 아래 붙이는 것만으로는 부족하다.

두 결과를 비교할 때 번호가 바뀐 것만으로 오류라고 보지 않는다. 한 실행은 에와를 ‘화자 1’, 다른 실행은 ‘화자 2’라고 부를 수 있다. 먼저 서로 대응하는 발언 그룹을 연결한 뒤 일관성을 확인한다. 문제는 에와의 문장이 토마시 그룹에 들어가는 것이지 올바로 분리된 그룹의 이름이 다른 것이 아니다. 우연한 순서에 평가가 좌우되지 않도록 시험 기록에 레이블 대응을 남긴다.

회의록 (폴란드어)에서는 발언이 결정인지 제안인지 조건인지도 평가한다. 여기서는 먼저 올바른 사람의 발언을 확인하는지 살핀다. 정확한 이름도 그 사람이 과제를 수락했다는 뜻은 아니다. 화자 분리로 회사의 약속을 결정하게 해서는 안 된다.

시험에는 끼어들기와 겹치는 목소리가 필요하다

첫 확인에는 사용이 허용되고 흐름을 알아볼 수 있는 녹음을 준비한다. 가상의 자료로 짧은 대화를 연기할 수도 있다. 누가 말하는지, 어느 지점에 목소리가 겹치는지, 들어도 확실히 결정할 수 없는 곳이 어디인지 기록한다. 발언 배정을 시험하려고 고객에 관한 실제 회의를 공유할 필요는 없다.

자동 레이블과 독립적으로 평가 기준을 준비한다. 어려운 부분은 두 번째 사람이 도구 결과를 보기 전에 듣고 판단할 수 있다. 판단 차이는 설명하거나 확실한 기준이 없는 상태로 남긴다. 연기 대본만으로는 부족하다. 참가자가 문장을 다르게 말하거나 다른 순간에 끼어들었을 수 있다. 시험 저자의 의도가 아니라 실제 소리를 평가한다.

에와와 토마시의 차분히 분리된 발언으로 시작한다. 다음에는 다른 사람의 짧은 “네”, 문장 중단, 상대의 긴 발언 뒤 첫 사람이 돌아오는 장면을 더한다. 각각 다른 어려움을 시험한다. 두 사람이 긴 문단을 순서대로 읽는 샘플만으로는 생각 중간의 짧은 끼어들기를 알 수 없다.

자체 시나리오의 청취 지점은 다음과 같을 수 있다.

  • 에와가 계획을 보내겠다고 하자 토마시가 치수를 물으며 끼어든다.
  • 토마시가 질문을 마치고 에와가 짧게 “내일요”라고 답한 뒤 토마시가 다시 말한다.
  • 에와는 자리에 없으며 나중에 전시 배치를 승인할 카롤리나를 언급한다.
  • 끝부분에 두 사람이 동시에 말해 한 단어의 화자를 확신할 수 없다.

도구를 실행하기 전에 기대하는 구분을 기록한다. 그래야 이미 예쁘게 이름이 붙은 텍스트에 기억을 맞추지 않는다. 어려운 끝부분에는 불확실성을 표시하는 것이 적절한 결과일 수 있다. 듣는 사람도 결정하지 못하는 음성에 확실한 이름을 적는다고 자료가 고쳐지지 않는다.

pyannoteAI 문서는 일반 화자 분리와 겹치는 구간이 없는 exclusive 방식을 구분한다. 후자는 전사와 연결하기 쉽다. 원래 대화의 동시 발화가 사라졌다는 뜻은 아니다.

프로세스가 한 구간에 하나의 레이블을 반환한다면 다른 목소리가 어떻게 되는지 제작자에게 묻는다. 생략됐는가, 다른 구간에 배정됐는가, 수정이 필요한가? 배경의 짧은 “아니요”가 대화의 의미를 바꿀 수 있다. 읽기 편한 형식과 소리의 완전한 설명을 구분한다.

Aeneia 콘셉트 사진

모든 문제를 모델 변경으로 고칠 필요는 없다. 먼저 시험 파일과 원본 녹음을 비교한다. AI 전에 오디오 준비하기 (폴란드어)는 채널과 변환 등을 다룬다. 중간에 자료가 바뀌었다면 결과는 그 입력 버전에 관한 것이다. 원래 대화의 품질을 기억으로 평가하지 말고 보고서에 버전을 명시한다.

단어와 화자 배정을 따로 평가한다

가상의 샘플에서 이후 업무에 중요한 짧은 구간 열 개를 고른다. 화자는 미리 녹음으로 확인했다. 여덟 개는 올바른 사람에게 배정되고 하나는 틀리며 하나는 미결정이다. 평가한 열 구간 중 올바른 배정은 여덟 개다. 불확실성을 정확한 이름처럼 점수로 더하지 말고, 누군가의 약속을 확신에 차 잘못 배정한 경우와 자동으로 같게 취급하지도 않는다.

올바른 배정, 오류와 미결정을 따로 기록한다. 각 항목에 녹음 시점과 평가 이유를 남긴다. 짧은 “네”와 2분 발언은 길이가 다르다. 구간을 셌다면 결과는 구간에 관한 것이지 올바로 배정된 대화 시간의 비율이 아니다. 선택한 단위를 보고서에 보여 줘야 한다.

평가 팀도 화자를 정하지 못한 구간은 이 정확한 배정 수에서 제외한다. 결과가 불확실성을 정직하게 표시하는지 확인하는 데는 쓸 수 있다. 다만 평가 기준이 다름을 기록한다. 그렇지 않으면 도구의 어떤 답도 검토자의 추측에 따라 오류나 성공이 된다. 원본의 불확실성과 모델의 불확실성을 나눠야 올바른 지점을 고칠 수 있다.

pyannote Community-1 모델 카드는 겹치는 발화를 제외하지 않는 화자 분리 벤치마크를 설명한다. 그 비교에서는 시간 경계의 허용 여유를 쓰지 않는다. 계산 방법도 결과의 일부라는 점을 보여 줄 뿐, 우리 대화의 품질을 증명하지는 않는다.

자체의 단순한 시험을 녹음 데이터셋 비교와 동일시하지 않는다. 회사 프로세스를 살필 때 명확한 차이 기록으로 시작할 수 있지만 구간 선택 방법을 밝혀야 한다. 쉬운 발언만 고르면 끼어들기와 겹침을 다루지 못한다. 가장 어려운 부분만 고르면 평소 업무 한 주의 오류 비중을 설명하지 못한다.

영향이 큰 구간은 따로 표시한다. 중립적인 문장이 많이 맞아도 “제가 책임지겠습니다”가 잘못 배정되면 메모의 후속 사용을 중단해야 할 수 있다. 평균만이 아니라 용도가 판단 기준이다. 대화 검색 보조와 마감 책임자 목록에는 다른 규칙을 적용할 수 있다.

도구가 확신 비율을 보여 준다면 추가 평가가 필요한 신호로 취급한다. AI 확신과 실제 정확도 (폴란드어)는 서로 다른 질문이다. 이름 옆의 높은 숫자는 중요한 구간의 청취를 대신하지 않는다. 인터페이스에 편리한 슬라이더가 있다는 이유로 자동 승인 기준을 정하지 않는다.

수정은 녹음과의 연결을 보존해야 한다

검토자는 이름이 붙은 발언에서 올바른 녹음 구간으로 이동할 수 있어야 한다. 그러면 화자 변경과 단어나 시간 경계 수정을 구분할 수 있다. 소리 없이 문서만 받은 사람은 이야기의 일관성을 볼 수 있지만 에와가 실제로 계획을 약속했는지는 확인할 수 없다.

실시간 작업에서는 임시 결과와 최종 결과를 구분한다. Microsoft는 초기 중간 결과에서 화자가 Unknown일 수 있다고 설명한다. 그 시점에 레이블이 없다는 사실은 같은 발언의 최종 결과를 아직 설명하지 않는다.

대화 중 메모가 데이터를 받아들인다면 나중의 갱신이 올바른 구간에 도착하는지 확인한다. 두 번째 새 발언처럼 만들거나 완성 요약에 이전 레이블을 남겨서는 안 된다. 처리 종료 후 같은 문장으로 돌아오는 시험을 추가한다. 보고서에는 실제로 확인한 상태와 후속 프로세스가 임시 결과를 썼는지 적는다.

레이블을 고칠 때 범위를 정한다. 한 발언인가, 파일의 전체 레이블인가, 다른 녹음에서도 쓰이는 이름인가? 짧은 한 구간의 혼동은 토마시의 모든 말을 에와로 자동 변경할 근거가 아니다. 수정 도구는 더 넓은 변경 전에 그 결과를 보여 줘야 한다.

전사가 요약의 근거라면 수정 후 후속 결과를 추적해야 한다. 한 패널의 이름을 바꿨다고 이미 보낸 문서도 수정됐다는 증거는 아니다. 합의된 프로세스에는 누가 약속을 확인하고 중요한 수정을 수신자에게 어떻게 알릴지 표시한다. 화자 분리 검수는 메모의 유통과 연결되지만 이를 대체하지 않는다.

영상 자막 (폴란드어)은 표시 시간과 화면과의 관계가 있어 별도 검수가 필요하다. 대화 중 작동하는 음성 비서 (폴란드어)의 과제도 다르다. 완료된 녹음의 정확한 전사만으로 끼어들기에 대한 비서의 반응이 확인되지는 않는다.

승인된 결과는 정확히 무엇을 포함하는가

검수 기록에 녹음 버전, 제품과 처리 모드, 화자에 중요한 설정과 결과 버전을 적는다. 수동 확인 범위도 더한다. ‘전사를 확인했다’는 말은 전체 텍스트 읽기일 수도 있고 두 구간 청취일 수도 있다. 보고서 사용자는 실제로 어떤 근거가 생겼는지 알아야 한다.

설정이나 도구를 바꾼 뒤 재시험할 수 있도록 어려운 구간을 보존한다. 같은 자료와 같은 규칙으로 비교하고 새로운 용도는 따로 시험한다. 좋은 마이크로 녹음한 두 사람의 대화 결과가 열몇 명이 말하는 방까지 자동으로 포함하지는 않는다. 이 경계를 밝혀야 실제로 평가한 범위에서 도구를 쓸 수 있다.

Aeneia Audit과 AI 이용 방식과 결과 승인에 필요한 근거를 논의할 수 있다. 사람을 생체정보로 식별하는 척할 필요는 없다. 가상 스튜디오의 결과는 더 소박하지만 유용하다. 올바른 사람이 자신의 발언을 보고, 어려운 부분에는 불확실성이 남으며, 전시 계획의 작성자가 잘못된 레이블 때문에 바뀌지 않는다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear