본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 모른다고 말해야 할 때: 올바른 거절도 점검하세요

AI의 거절이 적절한 경우와 업무를 막는 경우를 구분합니다. 누락된 근거, 불명확한 질문, 불필요한 이관과 실제 도움 경로를 확인하세요.

본문 언어: 한국어

해안가 작업장에서 한 사람이 받침대에 놓인 짙은 파란색 배의 선체 가까이 기구를 들고 있습니다.
목차

“충분한 정보가 없습니다”는 보조 도구가 할 수 있는 최선의 답변일 때가 있습니다. 간단한 일을 하지 않는 세련된 방법일 때도 있습니다. 회사는 거절 횟수를 품질의 증거로 삼기 전에 두 상황을 구분해야 합니다. 모든 질문에 침묵하는 도구는 사실을 지어내지 않습니다. 그렇다고 그것만으로 추천하기는 어렵습니다.

적절한 거절은 부족한 근거를 짚고 이미 아는 것은 유지하며 실행 가능한 다음 단계로 안내합니다. 반드시 대화를 끝내는 것은 아닙니다. 제품의 변형을 되묻기만 하면 될 때도 있고, 올바른 문서를 찾아야 하거나 권한이 있는 사람에게 넘겨야 할 때도 있습니다. AI 평가에는 이 선택도 포함되어야 합니다.

비슷하게 들리는 침묵의 세 가지 이유

책상 정리함을 주문받는 가상의 공방 보조 도구를 생각해 보겠습니다. 도구는 승인된 카탈로그와 문의 처리 지침을 사용합니다. 고객이 특정 모델의 너비를 묻지만 모델 이름을 밝히지 않습니다. 정보는 있지만 질문만으로 어느 제품인지 알 수 없습니다. 추가로 묻는 것이 합리적인 대응입니다.

두 번째 고객은 모델을 밝히고 언제 구매할 수 있는지 묻습니다. 카탈로그에는 재고 정보가 없고 보조 도구는 주문 시스템에 접근할 수 없습니다. 이름을 다시 확인해도 해결되지 않습니다. 다른 출처나 시점을 확인할 수 있는 사람이 필요합니다. 고객에게 질문만 추가하면 같은 정보 부족에 이르기까지 시간만 더 걸립니다.

세 번째 메시지는 공방이 만들지도 설명하지도 않은 선반이 지탱할 수 있는 하중을 평가해 달라는 요청입니다. 사용 가능한 자료와 보조 도구의 업무 범위 밖입니다. 무엇을 설명할 수 있고 무엇을 확인할 수 없는지 말해야 합니다. 기술 용어 세 개로 전문적으로 들리는 일반적 조언보다 정직한 한계가 더 유용합니다.

세 답변은 비슷하게 시작할 수 있어도 이후 행동은 달라야 합니다. 팀이 불명확한 질문, 필요한 출처의 부재, 범위 밖의 사안을 구분할 수 있도록 하세요. 접근 장애는 별도로 기록합니다. 문서를 가져오지 못했다고 해서 문서가 없다는 뜻은 아닙니다. 접근이 복구되면 앞선 결과를 장애 관찰로 보존하면서 같은 사례를 다시 확인할 수 있습니다.

RAG 기반 업무 흐름 (폴란드어)에서는 근거가 어디서 사라졌는지 점검합니다. 승인된 자료에 올바른 문서가 있어도 검색이 찾지 못했을 수 있습니다. 이런 상황을 모두 좋은 거절이라고 부르면 검색의 약점이 가려집니다. 적절히 한계를 둔 답변과 그보다 앞 단계의 오류가 동시에 존재할 수 있습니다.

“모르겠습니다”를 허용한 뒤 시험하세요

환각을 줄이는 Claude 문서(영어)는 불확실성을 명시적으로 허용하고 출처 자료를 바탕으로 주장을 검증하도록 권합니다. 이런 지침은 근거 없는 답변을 줄이는 데 도움이 될 수 있습니다. 그러나 지침에 모른다는 문장이 있다는 사실 자체가 여러분의 과정에 대한 시험 결과는 아닙니다.

작업 사례에서 정리함 이름이 빠졌을 때 어떻게 대응해야 하는지 기록하세요. 다음에는 이름과 해당 카탈로그 구절을 넣어 메시지를 보냅니다. 이제 도구는 답할 수 있어야 합니다. 두 상황 모두 거절한다면 팀은 사용 가능한 정보를 알아보는 능력보다 조심스러운 어조를 가르쳤을 수 있습니다.

중요한 조건 하나만 다른 질문 쌍도 준비합니다. 첫 번째 질문에서는 출처가 외부 치수만 제시하고 질문도 그 치수를 직접 묻습니다. 두 번째 질문은 내부 공간의 크기를 묻습니다. 모델이 한 용도의 숫자를 다른 용도로 옮기지 않는지 확인하세요. 단어가 비슷하다고 없는 측정값이 생기는 것은 아닙니다.

보조 도구에 절대적으로 확신한다는 선언을 요구하지 마세요. 그 선언도 답변의 텍스트일 뿐입니다. 확신 점수를 기록한다면 그 숫자가 뜻하는 바를 정하고, 실제 수행하는 과제에서의 정확성과 비교하세요. “확신합니다”라고 쓰기는 쉽습니다. 그렇다고 공방이 빠진 규격을 얻는 것은 아닙니다.

2026년 7월 연구 Two Axes of LLM Abstention(영어)은 답변의 정확성과 질문에 답할 수 있는지의 인식을 구분합니다. 저자는 정해진 모델과 과제 집합에서 두 축을 연구합니다. 이는 두 측면을 따로 시험해야 하는 이유이지 모든 기업 보조 도구에 적용되는 기성 결과는 아닙니다.

답변을 평가할 때는 근거를 짚으세요. 선택한 치수가 실제 자료에 있었나요? 질문에 빠진 정보가 필요했나요? 나머지까지 암시하지 않고 부분적으로 답할 수 있었나요? 모델이 때로는 대담하게, 때로는 신중하게 들린다는 관찰보다 자체 판단 사례집이 더 유용합니다.

질문에 확인되지 않은 사실이 숨어 있을 수 있습니다

고객이 “나무 칸막이 버전은 왜 단종했나요?”라고 씁니다. 사용 가능한 카탈로그에는 여러 제품이 있지만 해당 단종에 관한 정보는 없습니다. 보조 도구는 질문 자체가 사건을 확인해 주지는 않는다는 점을 알아야 합니다. 이유를 지어내면 공방의 지식이 아니라 질문자의 가정에 근거해 답하는 것입니다.

그 버전의 단종을 확인할 수 없다고 말하고 제품 이름이나 링크를 요청할 수 있습니다. 현재 제품 페이지를 찾았다면 그 내용의 범위 안에서 설명할 수 있습니다. 그러나 고객이 사건을 지어냈다고 단정해서는 안 됩니다. 도구의 자료도 불완전할 수 있습니다. 확인된 사실과 확인이 필요한 질문을 구분하는 것이 역할입니다.

실제로 문서화된 단종 사례와 짝을 이루는 질문도 준비하세요. 이때 기대 답변은 달라집니다. 이런 쌍은 도구가 근거를 사용하는지, 아니면 “왜”가 든 모든 질문을 자동으로 의심하는지 보여 줍니다. 구분 없는 의심도 응대를 어렵게 합니다. 올바른 결과는 해당 시험에서 사용할 수 있는 정보에 달려 있습니다.

Aeneia 콘셉트 사진

“그런 방법은 없습니다”라는 말도 주의하세요. 카탈로그에 설명이 없다는 사실은 “사용 가능한 정보로는 확인할 수 없습니다”만을 정당화할 수 있습니다. 전자는 사안을 닫고, 후자는 지식의 한계를 밝히며 추가 확인을 허용합니다. 두 표현이 똑같이 공손하게 들리더라도 과정의 수용 평가에서 의미 차이를 살펴보세요.

거절에도 비용이 있습니다

지나치게 답을 삼가면 평범한 사례가 사람에게 넘어갑니다. 팀은 처음부터 있었던 치수를 다시 입력하기 시작합니다. 시스템에 필요한 자료가 있는데도 사용자는 기다립니다. 도구의 유용성을 평가하려면 이런 사례도 근거 없는 답변과 함께 기록하세요. 두 오류 모두 업무 흐름을 바꿉니다.

구성 요소를 보여 주지 않고 하나의 숫자로 합치지 마세요. 올바른 거절 아홉 건과 근거 없는 답변 한 건은 올바른 거절 한 건과 불필요한 이관 아홉 건과 의미가 다를 수 있습니다. 어떤 과제에서 오류가 났고 이후 어떤 결과가 있었는지 알아야 합니다. 이 숫자는 비교 방식을 설명하는 예시이지 연구 결과가 아닙니다.

답변을 보기 전에 수용 기준을 정하세요. 출처에 정리함 너비가 있고 질문이 모델을 명확히 가리킨다면 근거 없는 거절을 알아내야 합니다. 재고 데이터 없이 시점을 묻는 질문에서는 매끄럽게 제시된 날짜에 공손함 점수를 주어서는 안 됩니다. 좋은 문체는 역할이 있지만 창고를 운영하지는 않습니다.

결과를 함께 논의하기 전에 두 사람에게 같은 기준으로 일부 사례를 평가하게 하세요. 한 사람은 재고 정보 부재를 색상을 되물을 이유로, 다른 사람은 이관할 이유로 본다면 평가 지침에서 차이를 설명해야 합니다. 투표만으로 올바른 경로를 정할 수는 없습니다. 실제 주문 처리 방식을 아는 사람의 판단이 필요합니다.

기준 답안은 반드시 써야 하는 한 문장이 아니라 허용되는 의미를 포함해야 합니다. “정리함 이름을 알려 주세요”와 “어느 모델을 말씀하시나요?”는 같은 확인을 할 수 있습니다. 각 판단에 자료와 과제에 근거한 이유를 남기세요. 그래야 새 팀원이 작성자가 좋아하는 표현을 따라 하는 대신 평가 이유를 이해할 수 있습니다.

정보를 보충한 뒤의 답변도 확인하세요. 고객이 이름을 알려 줬다면 도구는 그 정보를 사용해 다음으로 진행해야 합니다. 같은 세부 사항을 다시 요구하면 대화 연속성의 문제가 드러납니다. 올바른 되묻기를 한 번 시험하는 것만으로는 이를 놓칠 수 있지만, 사용자는 두 번째 메시지에서 바로 경험합니다. 따라서 수용 평가에는 적절한 거절과 업무로의 합리적인 복귀가 모두 필요합니다.

자동 평가에서도 이 구분을 유지하세요. 판사 역할을 하는 AI 모델 (폴란드어)은 지어낸 세부 사항으로 완성된 답변이라도 매끄럽고 완전하다는 이유로 높이 평가할 수 있습니다. 명시적 기준을 주고 사람의 평가와 비교한 뒤 불일치 사례를 살펴보세요.

거절이 질문 전체에 관한 것인지도 기록하세요. 보조 도구가 재료와 치수는 알지만 배송 시기는 모를 수 있습니다. 안전하게 구분할 수 있다면 아는 정보를 전달하고 부족한 점을 밝힐 수 있습니다. 한계를 지키는 방법이 완전한 침묵뿐인 것은 아닙니다.

다음 단계는 실제로 이용할 수 있어야 합니다

사용자가 이미 같은 양식으로 고객 지원과 대화하고 있다면 “고객 지원에 문의하세요”는 별 도움이 되지 않습니다. 다음 경로는 회사의 실제 가능성에 맞아야 합니다. 기존 설명을 포함해 이관하거나, 운영 중인 연락 채널을 안내하거나, 부족한 정보 하나를 분명히 요청할 수 있습니다.

가상의 공방에서 보조 도구는 시점에 관한 질문을 주문 정보에 접근할 수 있는 사람에게 전달합니다. 제품 이름과 고객 질문을 보존합니다. 실제로 그런 일이 없었으므로 시점이 예약됐다고 덧붙이지 않습니다. 수신자는 질문을 확인하려고 접수한 것과 구매 가능성을 확인한 것의 차이를 이해해야 합니다.

이관에 도구 동작이 필요하다면 결과도 확인하세요. 다음 단계를 다른 에이전트가 수행한다면 업무 전달도 확인 (폴란드어)해야 합니다. 질문, 사용 가능한 자료와 인식한 부족 사항을 받아야 합니다. “사안을 전달했습니다”라는 생성 문장만으로 접수가 생성됐다는 증거는 되지 않습니다. 관찰 가능한 과정 상태가 필요합니다. 작업이 실패하면 답변에도 장애가 반영되고 이용 가능한 대안이 제시돼야 합니다. 그렇지 않으면 모델은 정보 제공을 거절한 뒤 도움을 성공적으로 제공했다고 지어냅니다.

자동화 예외 대기열 (폴란드어)에서는 해당 사례의 책임을 정하세요. 목록에 기록이 있다고 누군가가 이를 처리한다는 뜻은 아닙니다. 인계받는 사람에게는 질문과 확인된 부족 사항, 보조 도구가 실제로 접근한 자료가 필요합니다. 대화를 처음부터 반복하면 이관의 의미가 약해집니다.

수용 시험에서는 사용자 관점에서 전체 경로를 따라가세요. 거절을 읽고 안내된 단계를 실행한 뒤 다음에 무슨 일이 일어나는지 봅니다. 새로운 출처 없이 질문이 같은 보조 도구에 돌아오지는 않는지 확인하세요. 매번 좋은 하루를 빌더라도 공손한 반복은 여전히 반복입니다.

편한 점수를 망치는 사례도 남기세요

수정할 때마다 근거 없는 답변과 불필요한 거절의 예시를 보존하세요. 새 지침이 좋아 보이는 그룹만 고르지 말고 새로운 상황도 준비합니다. 시험 세트의 독립성 (폴란드어)은 답변을 삼가는 능력을 평가할 때도 중요합니다.

팀의 AI 검증 교육 (폴란드어)에서 이 쌍을 나란히 보여 주세요. 직원은 답이 없는 것이 언제 올바른 행동인지, 이를 수용하기 전에 어떤 근거를 찾아야 하는지 알아야 합니다. 모델의 말투로 품질을 판별하거나 합의된 한계를 지킨 것을 고객에게 사과할 필요는 없습니다.

Aeneia Audit과 논의할 때 팀이 망설였던 질문, 사용 가능한 출처와 답변을 가져오세요. 정보, 접근, 명확성, 적절한 판단 중 무엇이 부족했는지 살펴봅니다. 수정 방법은 이 구분에 달려 있습니다. 지침에 “더 정확하게”라고 덧붙이는 것만으로 네 문제를 모두 해결할 수는 없습니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear