AI 공급업체 평가: 구매 전에 확인할 증거
AI 공급업체의 데이터 처리, 접근 권한, 서비스 조건과 업무 시험을 확인하고 증거를 바탕으로 구매 범위를 결정하는 방법을 살펴봅니다.
본문 언어: 한국어

목차
데모는 인상적입니다. 공들여 준비한 과제를 도구가 능숙하게 처리합니다. 하지만 구매를 결정하려면 우리 회사의 데이터, 오류 처리, 서비스 조건, 계약을 끝낼 수 있는 방법까지 확인해야 합니다. 공급업체 평가는 특정 업무에 쓸지, 시험한다면 어디까지 할지를 결정하는 과정입니다. 보기 좋은 화면은 대화의 시작이 될 수 있지만, 그것만 보고 회사의 구매 주문서에 서명할 수는 없습니다.
정해진 범위에서 구매하거나 제한적으로 시험할 수도 있고, 증거를 더 받은 뒤 결정하거나 도입을 포기할 수도 있습니다. 그럴듯하게 정밀한 점수로 순위를 매길 필요는 없습니다. 공급업체가 필수 조건을 확인해 주지 못한다면 화면 디자인에 높은 점수를 줘도 문제가 해결되지는 않습니다. 아래 순서대로 살펴보면 제품에 대한 관심을 근거 있는 결정으로 이어갈 수 있습니다.
먼저 업무 책임자의 눈으로 구매 목적을 적습니다
해결할 업무와 현재 처리 과정, 결과를 받는 사람, 오류가 났을 때의 영향을 적어 보세요. 사용할 자료의 종류, 필요한 연동, 결과물이 초안으로 남는지도 함께 정리합니다. 그래야 공급업체에 실제 업무에 관한 질문을 할 수 있습니다. “귀사의 AI는 안전한가요?”라는 막연한 질문에는 대개 막연한 답이 돌아옵니다.
반드시 충족해야 하는 조건과 있으면 좋은 기능을 구분하세요. 접근 범위를 제한할 수 있는지는 구매 조건이 될 수 있지만, 편리한 편집기는 부가적인 장점일 수 있습니다. 이 구분을 데모가 끝난 뒤로 미루지 마세요. 검토할 아이디어가 여럿이라면 자체 활용 사례 목록에서 평가할 업무를 골라 기능의 책임자와 도입 목적을 분명히 합니다. AI 활용 사례 목록 작성 안내 (폴란드어)는 이 목록을 만드는 데 참고할 수 있습니다.
공급업체가 정확히 무엇을 파는지 확인합니다
계약 상대방, 요금제 이름, 서비스 제공 방식, 솔루션의 구성 요소를 파악하세요. 판매사의 인터페이스에 다른 회사의 모델, 검색 기능, 부가 서비스가 결합된 제품일 수 있습니다. 제공받은 문서가 어느 구성 요소까지 다루는지 물어보세요. 널리 쓰이는 기반 모델의 이용 조건이 구매하려는 제품 전체를 설명하지는 않을 수 있습니다. 로컬 실행을 내세운다면 인터넷 없이 실제로 작동하는 범위와 남는 의존성 (폴란드어)도 살펴보세요.
제안받은 요금제에 적용되는 날짜가 명시된 자료를 요청하세요. 이미 제공되는 기능과 출시 예정인 기능, 계약 조항과 영업 담당자의 설명도 구분합니다. 별도 설정을 제안받았다면 어떤 방식으로 확인받고 누가 유지할지 정하세요. 평가표에는 자료 링크와 문서 버전, 해당 조건의 해석을 확인해 준 사람을 함께 남겨 두면 좋습니다.
하나의 업무를 따라 데이터가 이동하는 경로를 봅니다
파일 업로드부터 처리, 답변 생성, 이력 저장, 결과 내보내기까지 자료가 거치는 경로를 공급업체에 설명해 보세요. 어느 지점에 복사본이 생기고 누가 이용할 수 있는지 묻습니다. 모델 개선을 위한 데이터 사용, 기능 작동에 필요한 저장, 보안 로그는 각각 따로 확인하세요. 서로 다른 질문인 만큼 답변도 따로 필요합니다.
예를 들어 OpenAI API 데이터 관리 문서는 모델 학습을 위한 데이터 사용, 로그 보관, 애플리케이션 상태를 구분합니다. 이 문서의 조건을 다른 제품이나 중개업체의 서비스에 그대로 적용해서는 안 됩니다. 저장 위치를 직접 정리하고 해당 서비스에 적용되는 삭제 조건을 확인하세요. AI 데이터 흐름 기록 방법 (폴란드어)과 보관 및 삭제 계획 수립 안내 (폴란드어)는 이 작업을 정리하는 데 도움이 됩니다.
자료를 연결하기 전에 접근 권한을 확인합니다
관리자 역할, 사용자 초대와 계정 권한 회수 방법, 연동 기능에 접근 권한을 부여하는 과정을 보여 달라고 요청하세요. 도구가 해당 업무에 필요한 자료에만 접근하도록 제한할 수 있는지도 확인합니다. “메일 연동”이라는 이름만으로는 선택한 폴더를 읽는지, 계정 전체를 읽는지, 조직에서 접근 가능한 데이터를 읽는지 알 수 없습니다.
시험에는 평가용으로 승인된 환경과 자료를 사용하세요. 허용된 자료를 읽을 수 있는지, 범위 밖 자료에는 접근이 거부되는지 둘 다 확인합니다. 이벤트 기록에서 무엇을 볼 수 있는지와 연동을 해제하는 방법도 적어 두세요. 사용자 동의, 애플리케이션 권한, 실제로 수행할 수 있는 작업의 차이는 AI 연동 권한 점검 (폴란드어)에서 다룹니다. 동의 화면을 확인하는 것으로 평가가 끝나지는 않습니다.
각 조건에 연결할 수 있는 증거를 비교합니다
요구사항마다 상태를 남겨 두세요. 문서로 확인됨, 시험에서 확인됨, 증거 없이 주장됨, 미충족 중 하나로 구분하면 됩니다. 모든 답변을 평균 낸 점수 하나보다 유용합니다. 무엇을 추가로 확인하면 결정이 달라질 수 있는지도 보이기 때문입니다. 보호가 필요한 자료는 열람 범위를 분명히 정하고 합의한 방식으로 확인할 수 있습니다.
인증서, 시험 보고서, 보안 설명 자료를 볼 때는 해당 주체, 문서가 다루는 기간, 제품과 적용 범위를 확인하세요. 모든 부가 기능과 설정이 포함된다고 가정하지 마세요. 문서만으로 판단하기 어려운 부분은 확인할 질문으로 남겨 둡니다. 자료와 담당자, 접근 제한을 정리하는 방법은 AI 감사 자료 준비 (폴란드어)에서 살펴볼 수 있습니다.
우리 업무의 품질 기준으로 시험합니다
결과를 보기 전에 대표적인 과제와 기대하는 동작을 합의하세요. 정보가 없는 경우, 데이터가 서로 충돌하는 경우, 접근이 거부되는 경우, 원본을 다시 확인해야 하는 경우도 포함합니다. 공급업체가 설정을 도울 수는 있지만, 평가는 팀이 평소 일하는 방식도 담아야 합니다. 판매사가 준비한 데모 자료와 팀이 직접 과제를 수행해 얻은 결과는 서로 다른 근거입니다. 결과를 다른 애플리케이션에 넘긴다면 구조는 올바르지만 의미가 틀린 JSON (폴란드어)도 시험해 보세요. 형식이 맞는다는 이유만으로 데이터까지 맞다고 판단해서는 안 됩니다.
답변을 생성하는 시간뿐 아니라 확인하고 수정하는 데 걸리는 시간도 기록하세요. 시험에 비용이 드는지, 어떤 설정이 유지되는지, 접근이 언제 끝나는지도 정합니다. 평가 계획은 AI 파일럿 평가 기준 (폴란드어)을 참고할 수 있습니다. 선택한 업무에 적합하다는 결과를 추가 평가 없이 다른 업무에도 적용해서는 안 됩니다.

모델과 기능, 조건이 바뀔 때를 묻습니다
제품은 바뀝니다. 중요한 변경을 공급업체가 알리는지, 어떤 설정을 고정해 둘 수 있는지, 새 버전을 미리 확인할 방법이 있는지 물어보세요. 사용 중인 모델이나 서비스 버전을 특정할 수 없다면 결과를 재현하는 데 제약이 있다는 뜻으로 기록합니다. 회사가 그 조건을 받아들일 수는 있지만, 무엇을 근거로 결정하는지는 알아야 합니다.
업데이트 후 같은 업무를 다시 평가할 수 있도록 자체 시험 사례를 준비하세요. 누가 알림을 확인하고, 시험을 실행하며, 계속 사용할지 승인할지도 정합니다. AI 답변 회귀 테스트 (폴란드어)에서는 변경 전후 결과를 비교하는 방법을 다룹니다. 예전 파일럿 결과 하나만 수년 동안 유일한 근거로 남지 않게 하는 절차입니다.
구체적인 장애 상황을 놓고 지원을 평가합니다
접근 권한을 잃었을 때, 기능이 잘못 작동할 때, 데이터 사고가 의심될 때 각각 어떻게 신고하는지 물어보세요. 이용할 수 있는 채널과 운영 시간, 상위 단계로 이관하는 기준, 고객이 받는 정보의 범위도 확인합니다. 제안서에 가용성이나 대응 관련 약속이 있다면 그 정의와 예외 조항을 읽어 보세요. 영업 담당자의 답장을 기다리는 것이 곧 합의된 지원 절차는 아닙니다.
이런 상황을 가정해 보겠습니다. 제품이 문서를 가져오지 못하는데도 예전 자료로 계속 답변을 만듭니다. 문제를 알아채고 사용을 제한하며 결과를 받는 사람들에게 알릴 방법이 필요합니다. 공급업체에는 고객이 어떤 신호를 받을 수 있는지 설명해 달라고 요청하세요. 고객사 팀도 누가 수작업 전환과 서비스 재개를 결정하는지 알고 있어야 합니다.
선택한 범위의 비용과 계약 종료 방법을 계산합니다
사용자 접근, 사용량, 추가 기능, 지원을 포함한 비용 산정 방식을 요청하세요. 최소 약정과 갱신 방식, 계약 기간 중 범위 변경 조건도 확인합니다. 설명할 수 있는 사용 가정을 세워 해당 업무의 비용으로 환산해 보세요. 사용 규모를 아직 모른다면 시나리오를 제시하고 더 정확한 추정에 필요한 데이터를 표시합니다.
동시에 자료와 지침, 결과를 내보내고 연동을 해제하는 과정도 시험하세요. 이용 이력이 어떻게 처리되는지, 서비스 종료 확인을 누가 받는지도 정합니다. 솔루션 이용을 끝내는 데 드는 비용도 구매 결정에 포함해야 합니다. AI 업무의 총비용 (폴란드어)에서는 라이선스 외에 살펴볼 비용을 다룹니다. AI 공급업체 전환 계획 안내 글 (폴란드어)은 자료와 업무 과정을 옮기는 시험을 준비하는 데 도움이 됩니다.
제안 비교표는 어떻게 작성할까요?
검토하는 모든 솔루션에 같은 질문과 같은 과제를 적용하세요. 열에는 요구사항, 답변, 증거, 제한 사항, 결정에 미치는 영향을 적습니다. 한 제안은 구축까지 포함하고 다른 제안은 제품 접근만 제공한다면 그 차이를 별도로 표시하세요. 제공 범위 없이 가격만 비교하면 확인되지 않은 서비스의 유사성을 전제로 삼게 됩니다.
답변이 빠져 있다면 세 가지 상황을 구분하세요. 공급업체에 해당 기능이 없을 수도 있고, 증거를 제공하지 않았을 수도 있으며, 하도급업체의 설명을 기다리는 중일 수도 있습니다. 다음에 할 일이 각각 다릅니다. 보완 기한을 정하고 누가 답변을 검토할지 지정하세요. 빠진 내용이 필수 조건이라면 구매 결정은 보류 상태로 남습니다. 표를 완성하려고 모르는 값을 0이나 유리한 가정으로 채우지 마세요.
업무, 데이터, 설정, 비용 지출을 책임지는 사람들이 평가에 참여합니다. 모두가 매번 데모에 참석할 필요는 없습니다. 다만 결정 전에 각자 맡은 요구사항은 확인해야 합니다. 사용자 편의를 위해 필요한 접근 범위가 자료 책임자의 허용 범위보다 넓다면 어떻게 판단할지도 합의하세요. 이 충돌은 구매의 경계를 알려 주는 정보입니다. 평균 점수에 가려 없애야 할 오류가 아닙니다.
가상 연습: 문서를 검색하는 AI 어시스턴트
한 회사가 내부 지침을 바탕으로 답변을 만드는 서비스를 검토합니다. 문서 접근 권한을 지키고 출처 자료를 제시하는 것이 조건입니다. 데모에서 답변은 올바르게 보입니다. 하지만 팀은 직접 시험하면서 특정 폴더에 접근 권한이 없는 계정, 오래된 지침, 문서에 답이 없는 질문도 확인합니다. 각각의 상황에서 어떻게 동작하는지 따로 평가합니다.
자료 요약은 잘하지만 어느 버전을 사용했는지 보여 주지 못한다면 업무 책임자는 요구 수준이 낮은 과제로 시험 범위를 줄이거나, 문제가 해소될 때까지 구매를 보류할 수 있습니다. 실제 구축 사례가 아니라 판단 과정을 보여 주는 예시입니다. 조건과 관찰, 결정을 연결한다는 데 의미가 있습니다. 이렇게 기록해야 기능이나 제안 조건이 바뀌었을 때 제품 선택을 다시 검토할 수 있습니다.
결정과 그 조건을 함께 기록합니다
결정 기록에는 활용 업무, 제품, 데이터 범위, 증거, 빠진 근거, 받아들인 제한을 담으세요. 구매 책임자와 이후 평가를 맡을 책임자도 지정합니다. 조건부 승인이라면 실제 자료를 사용하기 전에 무엇이 충족돼야 하는지 적어야 합니다. 어떤 사항이 시작을 막는지 모르는 상태에서 “검토 의견을 첨부해 승인”이라고만 쓰면 해석의 여지가 너무 큽니다.
- 필수 조건에는 증거가 있거나, 증거가 없다는 사실이 명시되어 있습니다.
- 시험은 실제 업무와 결과를 받는 사람을 기준으로 합니다.
- 데이터와 연동 범위는 승인된 사용 목적에 맞습니다.
- 비용에는 팀의 작업과 협업 종료에 드는 부담도 포함합니다.
- 변경과 장애를 평가할 경로가 정해져 있습니다.
구매 후에는 합의한 내용을 회사의 AI 사용 원칙에 반영해 직원들이 승인된 서비스의 사용 범위를 알 수 있게 하세요. 원칙을 정리하는 방법은 AI 사용 원칙 작성 안내 글 (폴란드어)에서 참고할 수 있습니다. 계약 전에 평가를 정리하고 싶다면 Aeneia Audit 서비스를 살펴보세요.
지식 검색 제품이라면 자체 자료로 출처와 답변 품질을 확인하는 시험을 요청하세요. 출처와 답변 품질 점검 안내 글 (폴란드어)에서 시험할 항목을 참고할 수 있습니다. 제안서를 정리할 때는 B2B 공급업체 선정 브리프를 준비하세요. 작성할 항목은 공급업체 선정 브리프 안내 글 (폴란드어)에서 살펴볼 수 있습니다. 두 경우 모두 적절히 준비한 자체 자료로 제안된 기능을 확인할 수 있어야 합니다.











