시연은 빠른데 대기열은 느립니다: 부하 상황에서 AI를 검증하는 방법
부하 상황에서 AI를 검증하려면 대기열, 첫 응답, 전체 결과를 구분해야 합니다. 통제된 시험에서 시간 분포와 오류, 완성도를 함께 비교하세요.
본문 언어: 한국어

목차
시연에서는 거의 즉시 답변이 나오기 시작합니다. 그런데 여러 사람이 동시에 도구를 열자 첫 문단을 기다리는 시간이 갑자기 길어집니다. 이후에는 텍스트가 빠르게 나타나지만 전체 목록은 여전히 완성되지 않습니다. ‘AI가 2초 만에 답한다’는 표현에 너무 많은 의미를 담았다는 사실이 드러납니다.
부하가 걸린 상황에서는 전송 전 대기 시간, 첫 내용이 도착하기까지의 시간, 완성된 결과를 받기까지의 시간을 따로 봐야 합니다. 평균이 좋다는 것만으로 가장 오래 걸리는 요청의 대기 시간을 알 수 없으므로 측정값의 분포도 필요합니다. 시험은 구체적인 작업과 합의된 환경을 대상으로 해야 합니다. 정상 운영 중인 회사에 예고 없는 성능 시험을 벌여서는 안 됩니다.
비품 카드의 요약을 작성하는 가상의 어시스턴트를 예로 들겠습니다. 직원이 문서를 보내면 미리 정한 정보 다섯 가지가 목록으로 돌아옵니다. 한 사람이 사용할 때와 여러 사람이 비슷한 작업을 동시에 보낼 때의 동작을 확인하려고 합니다. 여기서 제시하는 것은 공급업체의 측정 결과가 아닙니다. 수행자가 권한을 부여받은 환경에서 진행할 시험의 범위를 정하는 것입니다.
어느 시점부터 시간을 재나요?
작업 하나가 거치는 경로를 기록하세요. 직원이 자료를 선택하고, 애플리케이션이 작업을 접수하며, 전송할 수 있을 때까지 기다렸다가 서비스로 요청을 보낼 수 있습니다. 그 후에야 첫 내용과 나머지 결과가 돌아옵니다. 외부 API를 호출하는 순간부터 시계를 돌리면 그 전에 로컬 대기열에서 보낸 시간은 포함되지 않습니다.
GenAI-Perf의 지표 문서는 요청 전송부터 첫 응답까지의 시간과 최종 응답까지의 시간을 구분합니다. 분포와 처리량도 보여 줍니다. NVIDIA는 이 도구를 단계적으로 종료하고 있으며 새로운 용도에는 AIPerf를 사용하도록 안내합니다. 여기서는 설치를 권하는 것이 아니라 측정의 정의를 참고합니다.
이번 검수를 위해 네 시점을 정하세요. 애플리케이션의 작업 접수, 서비스로 전송, 처음으로 유용한 내용 수신, 전체 응답 수신입니다. 측정자가 무엇을 기록하는지 알 수 있도록 각각을 정의하세요. 콘텐츠가 없는 첫 기술적 응답은 사용자가 읽을 내용이 생긴 시점과 다를 수 있습니다.
사용자 화면을 직접 측정한다면 콘텐츠가 화면에 표시되는 순간까지 추가로 포함할 수 있습니다. 서버 측이 첫 부분을 수신하는 것과 화면에 보여 주는 것은 서로 다른 관찰입니다. 직원의 사용 경험을 평가한다면 이 범위도 정하세요. 한 보고서의 서비스 처리 시간과 다른 보고서의 애플리케이션 전체 시간을 비교한 뒤 그 차이를 모델 탓으로 돌려서는 안 됩니다.
Microsoft의 Azure OpenAI 성능 및 지연 시간 안내는 모델, 입력 길이, 출력 길이, 부하에 따라 시간이 달라진다고 설명합니다. 시간 관찰값을 토큰 수와 함께 보도록 권합니다. 토큰(token)은 모델이 사용하는 텍스트 단위이며 단어 하나와 반드시 일치하지는 않습니다.
따라서 각 작업에 대해 측정에 적합한 단위의 입력 및 출력 크기, 확인 가능한 설정, 실행 상태를 보관하세요. 이 사례에서 다섯 항목 목록의 범위는 비슷해야 합니다. 지시를 바꾼 뒤 어시스턴트가 목록 대신 여러 페이지의 글을 쓴다면, 시간이 늘었다는 사실만으로 같은 작업의 처리 성능이 달라졌는지는 알 수 없습니다.
완성의 기준은 AI 스트리밍 응답의 검수 (폴란드어)에서 더 자세히 다룹니다. 첫 텍스트가 빨리 나와도 중간에 끊기면 결과는 미완성으로 남을 수 있습니다. 첫 문장이 나타난 시각만 보고 그런 시험을 ‘결과 준비 완료’ 칸에 넣지 마세요. 시간과 상태는 같은 단계를 가리켜야 합니다.
비교 가능성을 유지하면서 부하를 어떻게 늘리나요?
범위를 명시한 비기밀 문서 묶음을 고르세요. 실제 업무에 해당하는 다양한 사례를 포함하되 부하 조건을 비교할 때는 같은 자료를 사용하세요. 한 사람에게는 짧은 문장 하나를 보내고 큰 그룹에는 긴 파일을 보내면 두 가지 변화를 한꺼번에 시험하게 됩니다.
동시에 실행 중인 작업 수와 새 작업이 들어오는 속도를 구분하세요. 첫 번째 방식은 일정한 수의 활성 요청을 유지합니다. 이전 요청이 끝나면 새 요청을 시작합니다. 두 번째 방식은 이전 작업의 완료 여부와 관계없이 정해진 간격으로 새 작업이 들어옵니다. 두 방식은 서로 다른 업무 조건에 해당합니다.
이 어시스턴트에는 예를 들어 동시 작업 1개, 3개, 6개처럼 단계별 부하를 준비할 수 있습니다. 이는 사례를 위한 임시 값이며 특정 계정의 권장 수용량이 아닙니다. 환경 책임자가 허용 범위, 비용, 시험 시간, 중단 조건을 합의해야 합니다. 시험으로 데이터를 바꾸거나 정상 업무를 막아서는 안 됩니다.
같은 서비스나 한도를 사용하는 다른 프로세스의 트래픽도 기록하세요. 어시스턴트 화면에는 직원 몇 명만 보이더라도 야간 데이터 가져오기가 공통 처리 용량을 소모할 수 있습니다. 분리할 수 없다면 알려진 시험 조건으로 다루세요. 이 정보가 없으면 나중에 결과를 비교하기 어렵습니다.
예열 단계와 최초 실행 조건은 별도로 표시하세요. 일부 작업은 미리 준비된 리소스나 반복되는 자료를 활용할 수 있습니다. 그래프를 보기 나쁘게 만든다는 이유로 느린 첫 시험을 빼거나, 동일한 입력을 반복한 결과를 일상 업무 전체의 모습처럼 제시하지 마세요. 의도적으로 무엇을 반복했는지 기록해 두세요.
시험 작업을 보내는 도구 자체가 설정한 속도를 유지하는지도 확인하세요. 도구가 요청을 제때 만들지 못하면 서버에는 계획보다 적은 부하가 전달됩니다. 보고서에는 설정값뿐 아니라 실제 전송 시점도 나타나야 합니다. 이는 시험이 계획대로 수행됐는지 확인하는 절차이며, 완성된 결과표만 볼 때 놓치기 쉽습니다.

작업 묶음이 클 때는 자신의 응답과 레코드의 연결을 유지하세요. 별도의 일괄 작업 결과와 레코드 안내 글 (폴란드어)에서 이 문제를 다룹니다. 늦게 끝난 결과도 올바른 입력과 시험 회차에 연결돼 있어야 합니다. 응답이 뒤바뀐 채 빠르게 측정됐다는 사실은 유용한 검증이 되지 못합니다. 시간을 확인할 때도 품질 요건은 그대로 적용됩니다.
큰 부하의 연속 시험이 끝난 뒤에는 작은 부하로 돌아오는 단계도 남겨 두세요. 처음 한 사람이 시험했을 때는 빨랐지만 나중의 단일 요청은 아직 밀린 작업 때문에 기다린다면 보고서에 그 상태를 보여 줘야 합니다. 설명 없이 한가했던 시작 구간과 합쳐서는 안 됩니다. 연속 시험의 순서와 앞선 작업을 정리하는 시간도 측정 조건입니다. 그렇지 않으면 겉보기에는 같은 동시 작업 수가 전체 프로세스에서는 서로 다른 상황을 뜻할 수 있습니다.
차이의 원인을 알고 싶다면 문서 길이, 도구 수, 부하를 동시에 늘리지 마세요. 이런 조건을 현실적으로 조합한 시험은 나중에 별도 시나리오로 수행할 수 있습니다. 처음에는 한 가지씩 바꿔야 어디에 대기열이 생기며 무엇이 실제 결과 수신을 제한하는지 이해하기 쉽습니다.
가장 느린 작업을 놓치지 않으려면 시간을 어떻게 읽어야 하나요?
개별 측정값과 요약값을 함께 보관하세요. 중앙값은 순서대로 정렬한 값의 가운데를 보여 주고, 적절히 정의한 높은 백분위수(percentile)는 더 느린 쪽을 보여 줍니다. 시험 횟수와 계산 방법을 밝히세요. 관찰값이 몇 개뿐인데 정밀해 보이는 백분위수를 제시한다고 대규모 서비스의 안정적인 동작 특성을 알게 되는 것은 아닙니다.
간단한 가상 계산으로 평균의 한계를 살펴보겠습니다. 작업 일곱 개는 각각 2초, 한 개는 18초 걸립니다. 평균은 4초입니다. 정확히 4초 만에 결과를 받은 사람은 없고, 한 사람은 다른 사람들보다 아홉 배 오래 기다렸습니다. 이 측정값을 보관해야 평균으로 예외를 덮는 대신 원인을 물을 수 있습니다.
서로 다른 단계의 시간을 하나의 분포에 섞지 마세요. 로컬 대기열, 첫 내용까지의 시간, 전체 응답까지의 시간을 따로 보여 주세요. 생성이 시작된 이후의 동작은 비슷하지만 전송 전 대기가 길어졌을 수도 있습니다. 이는 후속 텍스트 조각의 수신 속도 자체가 느려진 경우와 해결 방향이 다릅니다.
오류가 난 결과에는 상태와 오류를 인지하기까지의 시간을 남기세요. 빠른 거절이나 한도 오류를 원활하게 완료한 작업으로 세어서는 안 됩니다. 성공 시간 통계에서 실패를 제외한다면 그 사실을 밝히고 실패 건수도 제시하세요. 그렇지 않으면 과부하된 시스템이 많은 질문에 즉시 응답을 중단하기 때문에 오히려 더 빠르게 보일 수 있습니다.
NVIDIA의 goodput 문서는 지정한 지표 조건을 충족하며 완료된 초당 요청 수를 설명합니다. 이는 전체 처리량과 구별되는 유효 처리량(goodput)입니다. 문서 예제의 기준값은 시연용이며 회사는 자체적인 유용성 기준을 정해야 합니다.
이 작업에서는 합의한 시간 안에 전체 목록을 받는 것을 조건으로 삼을 수 있습니다. 그래도 다섯 항목의 내용이 맞는지는 별도로 확인합니다. 시간 조건만으로 내용의 품질이 보장되지는 않습니다. 따라서 보고서에는 기한 내 완료, 지연 완료, 검수 후 반려한 결과를 나눠 보여 줄 수 있습니다.
요청 수 제한을 뜻하는 API 429 응답을 받으면 공통 API 예산과 대기열 동작 (폴란드어)을 살펴보세요. 이번 검토에서는 결과를 좋게 만들려고 자동으로 시도 횟수를 늘리지 말고 응답과 그 이후 대기 시간을 기록하세요. 성능 시험과 한도 대응 설계는 연결돼 있지만 서로의 비용을 가려서는 안 됩니다.
응답의 유용성이 달라졌다면 토큰 생성 속도만 비교하지 마세요. 짧지만 불완전한 글은 더 빨리 나올 수 있습니다. 업무 책임자에게 필요한 것은 올바른 결과까지 걸리는 시간입니다. AI와 함께 일하는 시간을 측정할 때 (폴란드어)는 이후의 검수와 수정 시간도 더해집니다. 서비스 자체의 시간 측정에는 그 시간이 포함되지 않습니다.
시험 결과를 어떻게 활용하나요?
선택한 유입 속도에서 대기열이 늘어난다면 AI 전체의 수용량을 하나의 숫자로 발표하는 대신 그 시험 범위를 설명하세요. 결과는 실제로 확인한 자료, 설정, 조건에 관한 것입니다. 응답 길이, 모델, 공유 트래픽이 바뀌면 관찰 결과도 달라질 수 있습니다. 비교를 재현하는 데 필요한 데이터를 보관하세요.
운영상의 결정을 준비하세요. 동시 작업 수를 줄이거나, 덜 급한 일괄 작업을 미루거나, 응답 범위를 바꾸거나, 특정 작업을 다른 경로로 보낼 수 있습니다. 각각의 제안은 별도 검증이 필요합니다. 한 번의 과부하만 보고 모델 교체가 유일한 해결책이라고 결론 내리거나, 추가 재시도가 저절로 대기열을 해소한다고 생각해서는 안 됩니다.
새 작업 유입이 멈춘 뒤의 동작도 확인하세요. 밀린 작업이 얼마나 오래 남나요? 새로 들어온 짧은 작업도 긴 작업 뒤에서 기다리나요? 사용자는 자신의 작업이 여전히 접수된 상태임을 알 수 있나요? 대응을 계획할 때는 AI 장애 후 업무 연속성 (폴란드어)을 참고할 수 있습니다. 대기가 지나치게 길어져도 사람이 의도적으로 업무를 넘겨받아야 할 수 있습니다.
사용자가 기다리다가 취소하는 요청도 검수에 포함하세요. 화면에서만 사라지는지, 이후 실행이 실제로 중단되는지 확인해야 합니다. 백그라운드에서 대기 중인 작업은 계속 자원을 사용하고 다른 측정값에도 영향을 줄 수 있습니다. 요청 집계에 그 상태를 남기세요. 보고서에서 항목만 삭제한다고 프로세스에서 사라지는 것은 아닙니다. 시험이 끝나면 이런 작업까지 정리해 다음 실행을 설명되지 않은 밀린 작업과 함께 시작하지 않도록 하세요.
Aeneia Audit과 상담할 때는 작업 하나의 설명, 대표적인 자료, 같은 서비스를 쓰는 다른 프로세스에 관한 정보를 준비해 주세요. 이를 통해 무엇을 측정할지 구체적으로 정할 수 있습니다. 몇 명이든 처리하겠다는 약속부터 할 필요는 없습니다.
보고서 끝에는 조건별 결과, 실패 건수, 측정의 한계, 다음에 수행할 작업을 적으세요. 시연에서 나온 2초라는 수치는 한 번의 시험에 대한 올바른 관찰일 수 있습니다. 회사는 여러 직원이 동시에 사용할 때의 대기 시간과 완료 상태도 확인해야 합니다.







