본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

음성 AI 어시스턴트가 대답하기 전에 듣는 법부터 확인하세요

음성 AI 서비스에서 발언권, 정정, 침묵과 사람에게 전달하는 과정을 시험합니다.

본문 언어: 한국어

네 사람이 원형 수조 둘레에 서 있고 한 사람이 물에 손을 대고 있습니다.
목차

“모델 K 이십을 주세요. 아니, 이십이요.” 어시스턴트는 첫 번째 쉼 뒤에 대답을 시작하고 틀린 제품을 구할 수 있는지 자신 있게 설명한다. 대화 상대가 말을 끊으려 해도 설명은 계속된다. 목소리는 공손하지만 대화는 그다지 공손하지 않다.

음성 AI 어시스턴트를 검수할 때 발언권을 넘기는지, 정정을 받아들이는지, 침묵 뒤 대화로 돌아오는지 확인하자. 올바른 텍스트 답변은 과제의 일부일 뿐이다. 사람은 말을 끝내고 오해를 알아차려 수정하고 필요한 경우 사람에게 문의를 넘길 수 있어야 한다. 쉬지 않고 완벽하게 말할 때만 작동한다면 서비스보다 사용자의 말하기 능력을 시험하는 셈이다.

아래 사례는 작업실 장비 선택을 돕는 가상의 상담 창구다. 어시스턴트는 카탈로그를 설명하고 사람에게 질문을 전달할 준비를 할 수 있다. 목소리로 신원을 확인하거나 구속력 있는 결정을 스스로 내리지는 않는다. 범위를 이렇게 제한하면 대화 품질과 실제로 일어난 일의 근거에 집중할 수 있다.

어시스턴트가 무엇을 확인할 수 있는지 기록한다

먼저 제품 정보 검색, 질문 구체화, 문의 전달 같은 업무를 정한다. 각각 답변의 출처와 완료 조건을 기록한다. “지금 전달하겠습니다”는 질문이 담당자에게 도착했다는 증거가 아니다. 행동의 예고, 시도와 확인된 결과를 구분해야 한다.

카탈로그에서 제품을 식별하는 방법도 정한다. 음성으로 들은 코드 하나가 다른 코드와 비슷할 수 있다. “Linia 시리즈의 작은 선반”이라는 말에는 크기를 다시 물어야 할 수 있다. 특정 품목으로 문의를 연결하기 전에 적절히 확인하는지 살핀다. 확신에 찬 말투가 불확실한 일치를 신뢰할 만하게 만들지는 않는다.

가상의 코드, 비슷한 이름 몇 개, 승인된 특성에 대한 간단한 질문처럼 중립적인 시험 자료를 준비한다. 팀은 정답과 추가 질문이 필요한 지점을 알아야 한다. 이름 전체가 다르게 들리는 경우만 시험하지 말자. 실제 카탈로그의 실수는 숫자 하나에서 생길 수 있다. 음성 인식과 별도로 AI 음성 합성의 이름, 코드와 단위 발음 (폴란드어), 즉 상대가 답변에서 실제로 듣는 내용을 확인한다.

의미 확인과 모든 문장의 반복도 구분한다. 제품 코드를 짧게 확인하면 잘못된 물건을 설명하는 일을 막을 수 있다. 일반적인 청소 방법 질문에서 매번 전체 문장을 되풀이하면 연락이 불필요하게 길어진다. 실수의 결과와 사용자가 고칠 수 있는 방법에 맞춰 규칙을 정한다.

OpenAI의 음성 활동 감지 문서는 침묵을 기준으로 발화 구간을 나누는 방식과 발화가 끝났는지 의미적으로 추정하는 방식을 구분한다. 발언 경계를 정하는 서로 다른 방법이다. 어느 쪽도 코드 이해나 회사 업무의 행동에 대한 동의를 그 자체로 확인하지는 않는다.

한 솔루션의 설정을 다른 모든 제품에 그대로 옮기지 말자. 사용 중인 제품, 설정과 연결 경로를 확인한다. 전화 사용을 시험한다면 브라우저 검수로 전화 시험을 대신할 수 없다. 녹음과 재생 조건도 실제 평가 대상의 일부다.

업무 범위는 책임 있는 AI 에이전트 워크플로 (폴란드어)와 연결한다. 특히 발언이 행동을 시작할 수 있는 순간을 주의해서 표시한다. 요청을 이해하고, 불명확한 부분을 묻고, 필요한 확인을 받는 것은 별도 단계일 수 있다.

처음부터 끝까지 살펴볼 세 가지 대화

첫 번째 시험은 한 발화에서 완성되는 코드다. 사람이 “K 이십”이라고 말하고 자연스럽게 쉰 뒤 “이, 초록색”이라고 덧붙인다. 예상 결과를 미리 기록한다. 어시스턴트가 전체 코드를 받아들이거나 경계가 불분명하면 다시 묻는 것이다. 이미 답변을 시작했다는 이유로 잘못된 모델에 관한 상담을 계속해서는 안 된다.

명시적인 정정으로도 반복한다. “20이 아니라 22예요.” 이전 선택이 바뀌고 이후 답변이 새 제품에 관한 것인지 본다. “죄송합니다”라는 말만 들었다고 정정이 이뤄진 것은 아니다. 공손하게 인정한 뒤 다음 단계에서 이전 코드로 돌아갈 수도 있다.

불확실성을 직접 말할 수 있는지도 확인한다. 무엇이 불명확한지에 따라 “초록색 K22를 말씀하시나요?”가 유용할 수 있다. 신호가 불분명할 때 “모두 다시 말씀해 주세요”가 필요할 수는 있지만 작은 확인마다 자동으로 이를 요구해서는 안 된다.

두 번째 시험은 답변을 끊는 상황이다. 어시스턴트가 제품을 설명하는 동안 사용자가 “다른 크기를 말한 거예요”라고 한다. 재생이 멈추는지, 새 발언을 받아들이는지, 이후 답변에 변경이 반영되는지 각각 기록한다. 소리만 멈추고 정정을 보존하지 못했다면 과제가 끝난 것이 아니다.

Google Cloud의 Dialogflow CX 고급 음성 설정은 전화 연동에서 바지인 기능을 통해 응답 음성을 중단하고 다음 입력을 처리할 수 있다고 설명한다. 이는 해당 설정의 구체적인 동작이다. 자체 어시스턴트를 검수할 때는 중단 뒤 문의의 상태도 확인한다.

행동을 확인하는 동안의 중단은 특히 중요하다. 어시스턴트가 “모델에 관한 질문을 전달하고 있습니다”라고 말하다 정정을 들었다면 이미 행동이 시작됐는지 알아야 한다. 이후 대화는 실제 상태와 일치해야 한다. 다르게 이미 전송된 문의의 설명을 마음대로 바꿀 수는 없다.

의도 변경도 추가한다. “질문을 아직 전달하지 마세요. 크기를 고치고 싶어요.” 문장 전체의 의미와 행동 시작 경계를 시험하는 사례다. 예상 결과를 업무 상태에 맞춰 기록한다. 전송 전에는 중단이 가능하고 전송 후에는 문의를 정정해야 할 수 있다. 어시스턴트는 실제 일어난 일에 맞춰 가능한 단계를 설명해야 한다. 부정을 빼고 ‘전달’만 읽으면 의도가 반대로 바뀐다.

세 번째 시험은 침묵이다. 사용자가 전화기를 내려놓고 포장의 코드를 찾거나 치수를 읽는다. 어시스턴트는 합의한 시간 뒤 계속할 수 있다고 알릴 수 있다. 그러나 침묵을 선택의 확인으로 여겨서는 안 된다. 말이 없다는 것은 명시적인 “예”와 같지 않다.

Aeneia 콘셉트 사진

침묵 시험에서는 응답 없음과 주변 소리도 구분한다. 통제된 상황에서 사용자가 코드를 찾는 동안 옆 사람이 다른 사람에게 말한다. 어시스턴트가 이 말을 문의의 일부로 받아들이는지, 불확실한 입력을 어떻게 다루는지 기록한다. 모든 소음을 평가하려는 것은 아니다. 실제 사용 환경에 맞게 조건을 고르고 시험을 반복할 수 있도록 보존한다.

긴 쉼 뒤 복귀도 살핀다. 사용자가 “찾았어요. 더 넓은 버전이네요”라고 한다. 어시스턴트는 어느 부분의 정정인지 알아보거나 추가로 물어야 한다. 세션이 이미 끝났다면 보존하지 못한 연속성을 가장하지 말고 새 상태를 명확히 설명한다.

중단할 때 생성이 끝난 시점과 실제 재생이 끝난 시점을 모두 관찰할 수 있다면 따로 기록한다. 대화 상대에게 중요한 것은 아직 들리는 내용이다. 기기에서 답변이 계속 재생되는데 기술 기록만 중단됐다고 해서는 충분하지 않다. 수정 후 같은 순간을 재현해 새 발언이 실제로 들어갈 자리가 생겼는지 확인한다. 그렇지 않으면 사용자가 체감하지 못하는 변경을 검수할 수 있다.

각 대화에 생각 변경과 앞선 답변에 대한 질문도 넣는다. “너비에 대해 뭐라고 했죠?”는 요약이 실제로 전달된 내용에 관한 것인지 확인한다. 사용자가 중간에 끊었다면 끝부분을 듣지 못했을 수 있다. 들은 부분과 나중에 그 대화를 언급한 내용을 비교한다.

시험을 어려운 억양 경연으로 만들지 말자. 실제 이용자에게 관련 있는 말의 속도, 방식과 환경 차이를 고르고 조건과 한계를 기록한다. 몇 개의 통제된 발언으로 문제를 찾을 수 있지만 모든 목소리와 기기에 대한 성능을 자동으로 평가할 수는 없다.

이미지 설명에서도 기술적 결과와 필요한 정보를 구분한다. AI 대체 텍스트 검토 (폴란드어)는 특정 위치에서 설명의 역할을 살핀다. 음성 대화에서는 유창한 소리 자체가 아니라 현재 질문과 문의 상태가 그 역할을 정한다.

사람에게 전달할 때도 대화가 필요하다

제품을 인식하지 못했거나 정정이 반복되거나 범위 밖의 주제이거나 사용자가 요청하는 등 전달 상황을 정한다. 모든 경우에 같은 채널을 쓸 필요는 없다. 무엇을 전달하고 지금 어떤 단계가 가능한지 사용자가 알아야 한다. 즉시 상담을 약속한다면 실제 상담 가능 상태와 일치해야 한다.

사람에게 연결해 달라는 요청 뒤 담당자가 응답하지 않는 상황도 시험한다. 문의가 기록됐는지, 다시 시도할 때까지 기다리는지, 연락을 어떻게 끝낼 수 있는지 명확히 알려야 한다. 상담이 이뤄지지 않았다는 이유로 카탈로그 처음부터 다시 시작하게 할 필요는 없다. 합의된 처리 장소에서 시험을 마친다. 그곳에 올바른 문의 상태와 다음 단계의 담당자가 있어야 한다. 전달 실패도 또 다른 “지금 연결합니다”가 아니라 확인된 설명이 필요하다.

제품, 질문과 중요한 불확실성을 담은 짧은 요약을 준비해 확인한다. 사용자가 말하지 않았거나 출처에서 확인하지 않은 특성을 덧붙이지 않는다. AI 제품 설명 검토 (폴란드어)에서도 자연스러운 문장에 만들어 낸 사양이 들어갈 수 있다.

요약을 수정한 뒤 실제 도착한 자료를 확인한다. 담당자가 수정된 코드를 받았는가, 이전 코드를 받았는가? 치수가 확인되지 않았다는 사실을 아는가? 검수는 사람이 실제로 문의를 맡는 곳까지 이어져야 한다. 음성 안내만으로는 이 검사가 이뤄지지 않는다.

AI 회의록 감사 (폴란드어)는 나중에 생긴 문서를 평가한다. 실시간 음성 어시스턴트는 발언 순서, 중단과 특정 순간의 행동 상태도 살펴야 한다. 최종 전사에 정정 전에 사용자가 들은 내용이 나타나지 않는다면 그것만 읽어서는 충분하지 않다.

Aeneia Audit은 AI 도구 사용과 업무 책임에 대한 운영 검토를 소개한다. 대화를 시작할 때 음성 상담 한 건의 흐름, 범위와 이용 가능한 행동 근거를 준비할 수 있다.

정정의 검수를 가능하게 하는 자료를 남긴다

각 시험마다 예상 내용, 실제로 인식된 선택, 응답 시점과 사용자의 개입을 기록한다. 이후 행동의 결과는 따로 설명한다. 녹음이 합의된 방법에 포함된다면 접근을 제한하고 목적에 맞는 자료를 쓴다. 처음에는 실제 고객 정보가 없는 가상 사례로 충분하다.

선택한 오류에서는 전사와 실제 들은 내용을 비교한다. 최종 텍스트에 올바른 코드가 있더라도 사용자는 앞서 다른 제품의 설명을 들었을 수 있다. 사용자가 결정을 내릴 때 어떤 정보를 이용할 수 있었는지 기록한다. 그래야 나중의 정정을 처음부터 알고 있었던 것처럼 대화를 평가하지 않는다. 검토 자료는 정리된 최종본만이 아니라 정보가 등장한 순서를 보존해야 한다.

문제는 결과에 따라 분리한다. 기다림이 너무 길면 편의가 떨어질 수 있다. 잘못된 코드는 문의 전체를 다른 제품으로 보낼 수 있다. 둘 다 하나의 평균 ‘대화 품질’ 점수에 묻혀서는 안 된다. 문제의 설명은 설정, 내용 또는 행동 범위에 관한 결정으로 이어져야 한다.

설정을 바꾼 뒤 문제를 드러낸 사례와 인접 상황을 반복한다. 더 오래 기다리면 코드를 끝까지 말하는 데 도움이 되지만 간단한 질문의 리듬은 달라질 수 있다. 어시스턴트의 짧은 답변은 정정을 쉽게 하지만 필요한 설명을 없애서는 안 된다. 변경의 영향을 받는 전체 범위를 시험한다.

AI 답변 회귀 테스트 (폴란드어)에도 음성 대화 시나리오를 남긴다. 사용한 설정과 도구 버전을 기록한다. 이후 모델이나 연동이 바뀌면 승인된 질문이 같아도 동작이 달라질 수 있다.

최종 검수는 사람이 이해받고 오해를 고치며 적절한 도움에 도달할 수 있는지 답해야 한다. 듣기 좋은 목소리는 경험에 도움이 된다. 그러나 발언권을 돌려주는 능력이 실질적인 바탕이다. 이것이 없으면 아무리 따뜻한 합성 음성도 사용자에게 듣기만 할 수 있는 독백을 들려줄 수 있다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear