브라우저의 AI 에이전트: 버튼을 눌렀다고 일이 끝난 것은 아닙니다
브라우저 에이전트를 평가할 때 클릭뿐 아니라 올바른 레코드, 현재 화면, 지연과 확인된 결과를 살펴봅니다.
본문 언어: 한국어

목차
에이전트가 한 행을 선택하고 ‘저장’을 누른 뒤 작업이 끝났다고 알렸습니다. 그런데 애플리케이션에서 바뀐 것은 이름이 비슷한 다른 회사였습니다. 녹화 화면만 보면 모든 일이 순조롭습니다. 포인터는 버튼에 닿고 창이 닫히며 초록색 메시지도 나타납니다. 다만 그 성공은 잘못된 레코드에 적용됐습니다.
브라우저를 다루는 에이전트를 평가할 때는 의도, 실제로 한 행동, 확인된 결과를 구분해야 합니다. 도구가 클릭을 정확히 수행했어도 전체 작업은 실패할 수 있습니다. 따라서 지시에서 출발해 올바른 대상을 거쳐 대상 애플리케이션에 보이는 상태까지 살펴봐야 합니다.
가상의 레코드가 있는 통제된 환경에서 시작하는 편이 좋습니다. 실제 고객 데이터를 바꾸지 않고도 비슷한 이름, 늦게 나타나는 창, 불확실한 결과를 시험할 수 있습니다. 인상적인 시연 영상은 도움이 되지만 미리 정한 작업 완료 확인을 대신하지는 못합니다.
정확히 무엇을 바꿔야 했나요
에이전트가 가상의 회사 레코드에서 한 필드를 채워야 한다고 가정해 봅시다. 데이터베이스에는 ‘Studio Północ’과 ‘Studio Północ - 지점’이 있는데 목록에서는 두 이름이 잘려 보입니다. 지시에는 식별자와 이름처럼 확인 가능한 방법으로 올바른 대상을 명시해야 합니다. 그렇지 않으면 에이전트와 평가자가 서로 다른 작업을 하고 있을 수 있습니다.
시험 전에 초기 상태와 예상 변경 사항을 기록하세요. 필드, 값, 범위를 명시합니다. 범위는 레코드 하나일 수도 있고, 선택한 그룹이나 전체 목록일 수도 있습니다. 작업에 포함되지 않는 항목도 정하세요. 제대로 된 검토는 새 값이 있는지만이 아니라 비슷한 레코드에 원치 않는 변경이 없는지도 확인합니다.
결과의 증거도 정하세요. 올바른 레코드를 다시 열어 저장된 필드를 읽는 것이 한 방법입니다. 다른 과정에서는 요청 상태나 다운로드한 파일의 내용을 확인해야 할 수 있습니다. 증거는 작업에 맞아야 합니다. 편집 창이 사라졌다는 사실만으로 애플리케이션이 변경 사항을 저장했다고 알 수는 없습니다.
OpenAI의 computer use 문서(영어)는 호출의 completed 상태가 모델의 요청 생성이 끝났다는 뜻이며 애플리케이션이 이를 별도로 실행해야 한다고 설명합니다. 실행 후에는 현재 화면을 돌려줍니다. 이 기술적 구분만 봐도 도구 상태의 이름이 사용자가 맡긴 작업의 완료 확인을 대신할 수 없다는 점을 알 수 있습니다.
책임 있는 AI 에이전트 업무 흐름 (폴란드어)에서는 이 단계마다 역할과 한계를 정하세요. 누가 대상을 지정하고, 누가 작업을 실행하고, 누가 결과를 확인하나요? 모든 단계를 그저 ‘에이전트가 했다’고만 부르면 정보나 확인이 어디서 빠졌는지 알기 어렵습니다.
작업은 그대로 두고 화면 배치를 바꿔보세요
먼저 익숙한 화면에서 단순한 시험을 합니다. 그런 다음 같은 작업을 유지한 채 목록 정렬이나 창 너비를 바꿉니다. 에이전트가 여전히 올바른 레코드를 찾나요, 아니면 예전 위치로 움직임을 반복하나요? 어떤 관찰을 근거로 행동했는지와 변경 직전에 무엇을 보았는지 기록하세요.
Anthropic의 클릭 문제 설명(영어)은 화면과 스크린샷의 배율 차이, 모호하거나 비슷하게 생긴 요소 등을 가능한 원인으로 짚습니다. 실제로 오류가 생길 수 있는 구체적인 지점입니다. 다만 모든 잘못된 작업을 포인터 위치 문제로만 돌려서는 안 됩니다. 대상이나 목표 자체를 잘못 알아본 경우도 있습니다.
시험에 비슷한 버튼 두 개를 배치하되 도구를 실패시키기 위한 수수께끼로 만들지는 마세요. 실제 애플리케이션에 나타나는 배치를 사용합니다. 예를 들어 초안의 ‘저장’과 ‘저장 후 보내기’, 또는 인접한 행의 작업 버튼이 있습니다. 예상되는 선택은 지시와 현재 화면에서 도출되어야 합니다.
늦게 나타나는 창도 준비하세요. 안내, 확인 창, 애플리케이션 메시지일 수 있습니다. 다음 동작이 원래 의도한 요소에 닿는지, 새로 나타난 레이어에 닿는지 확인합니다. 동작 전의 이미지와 동작 후의 상태를 함께 남기세요. 화면을 잘못 해석한 경우와 화면을 읽은 뒤 상태가 바뀐 경우를 구분하는 데 도움이 됩니다.
스크롤이나 새로고침 후 목록이 바뀌는 상황도 넣어보세요. 레코드가 이전과 다른 위치에 있을 수 있습니다. 특히 앞 단계에 시간이 걸렸다면 에이전트가 작업 전에 현재 상태를 다시 확인하는지 살펴봅니다. 오래된 스크린샷은 이전 상황의 기록이지 언제나 유효한 버튼 지도가 아닙니다.
브라우저 탭과 계정도 확인하세요. 비슷한 두 화면이 서로 다른 프로젝트나 조직에 속할 수 있습니다. 변경 전에 사용자가 확인할 수 있는 방식으로 그 맥락을 알아봐야 합니다. 두 탭의 제목이 모두 ‘고객’이라면 페이지 제목만으로는 부족할 수 있습니다.
AI 자동화 시험 환경 (폴란드어)에서 이 차이를 의도적으로 준비하세요. 가상의 프로젝트 두 개에 비슷한 레코드를 하나씩 둡니다. 첫 번째 프로젝트의 올바른 변경뿐 아니라 두 번째 프로젝트의 상태가 그대로인 것도 확인하세요. 그러면 새 값만이 아니라 작업의 경계까지 증거에 담을 수 있습니다.
다음 단계를 선택할 수 있는 상태를 기다리세요
클릭 후 애플리케이션이 변경 사항을 처리하는 데 시간이 걸릴 수 있습니다. 그동안 에이전트가 무엇을 하는지 확인하세요. 응답이 보이지 않으면 동작을 반복하나요, 다음으로 넘어가나요, 아니면 상태를 읽나요? 통제된 시험에 지연을 넣고 전체 흐름을 살펴보세요. 모든 창이 즉시 나타나는 가장 빠른 경로만 평가하지 마세요.
부분 결과도 넣어보세요. 텍스트 필드는 저장됐지만 첨부파일은 거부됐을 수 있습니다. 작업에 두 항목이 모두 필요하다면 에이전트는 첫 성공만 보고 하나의 일반적인 메시지를 고르는 대신 서로 다른 상태를 보여줘야 합니다. 사용자가 이미 확인된 부분을 반복하지 않고 빠진 부분을 안전하게 마칠 수 있는지도 기록하세요.

폼 유효성 검사도 추가하세요. 한 필드는 수정이 필요하지만 나머지 입력값은 그대로 남아 있는 상황입니다. 에이전트가 올바른 메시지를 알아보고 해당 범위만 바꾸는지 확인합니다. 전체 폼을 처음부터 다시 작성한다면 최종 값을 승인된 제안과 비교하세요. 한 오류를 고치는 과정에서 나머지 작업이 모르게 바뀌어서는 안 됩니다.
저장 오류 메시지도 별도로 준비하세요. 에이전트는 결과가 없는 상태와 완료가 확인된 상태를 구분해야 합니다. 사람에게 무엇을 보여주고 작업에 어떤 상태를 부여하는지 기록하세요. ‘확인하지 못했습니다’는 정직한 결과일 수 있습니다. 상태를 모르는 상황에서 보고서의 이 표현이 ‘아무것도 바뀌지 않았습니다’로 바뀌어서는 안 됩니다.
외부에 영향을 주는 작업은 필요한 승인 범위와 환경이 기술적으로 할 수 있는 일을 미리 정하세요. 에이전트가 파일이나 네트워크도 사용한다면 환경의 이름만 보고 판단하지 말고 샌드박스의 실제 파일 및 네트워크 경계 (폴란드어)를 확인합니다. 시험에서 메시지를 실제로 보내거나 접근 권한을 바꿀 필요는 없습니다. 제안 내용을 기록하는 대체 동작으로 준비와 미리보기를 확인할 수 있습니다. 평가는 행동을 드러내야지 실제 부작용을 만들어서는 안 됩니다.
사람이 AI 작업을 승인하는 과정 (폴란드어)에서는 승인 전에 대상, 변경 내용, 범위를 보여주세요. 레코드 하나에 대한 승인이 결과 페이지 전체로 조용히 확대되어서는 안 됩니다. 거부도 시험하세요. 에이전트가 해당 동작을 멈추는지, 애플리케이션이 다른 경로로 그 동작을 실행하지 않는지 확인합니다.
파일을 내려받는 작업이라면 ‘다운로드’ 버튼을 눌렀는지만이 아니라 파일을 확인하세요. 통제된 시험에서 이름, 자료 종류, 내용을 예상 결과와 비교합니다. 애플리케이션이 문서를 나중에 생성하는 상황도 별도로 준비하세요. 에이전트는 비어 있거나 이전에 받은 파일을 새 결과로 가리키는 대신 기다리는 상태를 알아야 합니다.
저장 전에 미리보기가 필요한 작업이라면 사람이 실제로 무엇을 보는지 평가하세요. 대상의 전체 이름과 바뀔 필드가 보이나요, 아니면 승인 버튼만 보이나요? 올바른 맥락이 없는 승인은 과정 기록에 형식적인 승인 단계가 있어도 오류를 놓칠 수 있습니다.
에이전트가 페이지나 문서 내용을 받았다고 해서 그 내용이 스스로 지시 범위를 넓혀서는 안 됩니다. 이 경계의 검토에는 통제된 자료를 쓰는 별도 시나리오가 필요합니다. 이번 검토에서는 적어도 지시의 출처를 알아볼 수 있게 남기고 이미 정해진 작업 범위를 지키세요. 화면의 모든 메시지를 작업을 맡긴 사람의 새로운 승인으로 취급하지 마세요.
Aeneia Audit에서 검토할 수 있도록 작업 하나와 통제된 애플리케이션 화면, 최종 결과의 정의를 준비하세요. 그러면 모델의 선언만을 근거로 삼지 않고 과정의 행동을 확인할 수 있습니다.
중단 후 돌아오는 일은 별도의 과제입니다
에이전트가 확인을 받기 전, 클릭 직후에 시험을 중단하세요. 다시 시작할 때 재시도 전에 현재 상태를 읽는지 확인합니다. 이전 작업이 실제로 성공했다면 반복으로 두 번째 결과가 생길 수 있습니다. 결과를 모를 때는 전체 작업을 반사적으로 처음부터 시작하기보다 상태를 알아낼 방법이 필요합니다.
대상 식별자와 작업이 중단된 단계를 기록하세요. 포인터의 움직임을 길게 설명해도 이 정보는 대체할 수 없습니다. 이어받는 사람은 무엇이 확인됐고, 무엇은 제안에 그쳤으며, 무엇은 읽지 못했는지 알아야 합니다. 돌아왔을 때 인터페이스가 달라져 있어도 이어서 일하기 쉬워집니다.
항목이 많다면 각 응답을 올바른 입력과 연결하세요. 이 문제는 AI 일괄 작업 결과와 레코드 대조 (폴란드어)에서 더 살펴봅니다. ‘일괄 작업 완료’라는 정보만으로는 어떤 레코드의 변경이 확인됐고, 어떤 것이 거부됐으며, 무엇이 아직 확인을 기다리는지 알 수 없습니다.
새 코드나 도구를 받아들이는 일이 포함되어 있다면 AI가 제안한 의존성 확인 (폴란드어)에서 설명한 별도의 판단을 유지하세요. 에이전트가 패널을 능숙하게 다루더라도 환경의 범위를 넓힐 근거가 없을 수 있습니다. 기술적으로 클릭할 수 있다는 사실이 그 작업이 지시 범위에 속하는지 결정해 주지는 않습니다.
각 시험에서 대상 선택, 작업 시도, 결과 확인을 따로 기록하세요. 선택 단계에서 오류가 났다면 대상 인식이나 지시를 고쳐야 합니다. 올바른 레코드를 골랐지만 저장이 확인되지 않았다면 다른 조치가 필요합니다. 전체 작업의 단일 결과는 보고에 도움이 되지만 어느 단계에서 문제가 생겼는지 진단하는 일을 대신하지 못합니다.
검토하는 사람의 수고도 비교하세요. 매 동작 후 비슷한 레코드를 모두 직접 열어야 한다면 해결책이 상당한 일을 검토 단계로 옮긴 셈입니다. 이 비용과 확인 범위를 함께 기록하세요. 계속 사용할지 결정할 때 영상에 보이는 포인터 이동 시간뿐 아니라 전체 과정을 고려할 수 있습니다.
결과를 넘길 때 사람을 위한 짧은 기록을 준비하세요. 대상, 변경 내용, 확인 근거, 아직 해결되지 않은 항목입니다. 시험을 보지 않은 사람에게 다음 단계를 말해 달라고 요청합니다. 작업을 다시 시도해야 하는지 상태만 읽으면 되는지 구분하지 못한다면 요약을 고쳐야 합니다. 앞선 모든 클릭을 재현할 수 있어도 이는 과정의 사용성에 관한 별도 문제입니다.
마지막 결정에서는 허용 범위를 실제로 시험한 작업과 조건으로 제한하세요. 한 종류의 폼만 평가했다면 그 범위와 애플리케이션 변경 후 다시 검토할 시점을 기록합니다. 그러면 팀은 정해진 경로를 언제 사용할 수 있고 언제 새 시험이 필요한지 알 수 있습니다.
수정 후에는 문제를 드러낸 사례와 인접한 몇 가지 변형을 다시 시험하세요. 올바른 행을 찾는 방식을 고쳤다면 다른 정렬과 비슷한 이름도 확인합니다. 시험으로 무엇이 확인됐는지 기록하세요. 한 번 성공한 녹화가 애플리케이션의 모든 변화에서 잘 작동한다는 약속이 되어서는 안 됩니다.
좋은 검토는 확인 가능한 문장으로 끝납니다. 이 레코드에 이 값이 저장됐고, 함께 확인한 다른 레코드의 상태는 유지됐으며, 증거는 여기에 있다는 문장입니다. 그제야 에이전트는 쓸모 있는 설명과 함께 ‘완료’라고 말할 수 있습니다. 화면의 초록색 메시지는 여전히 반갑지만 이제는 올바른 대상을 가리킵니다.







