본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI는 사이트가 웹 접근성을 갖췄다고 했다. 보고서는 무엇을 놓쳤을까?

AI 접근성 진단 보고서에서 검사한 화면과 상태, 규칙 적용 범위, 미확정 결과를 확인하고 수동 검토가 필요한 부분을 살펴봅니다.

본문 언어: 한국어

아에네이아 세계관 구상: 얕은 물이 있는 돌 테라스와 그 옆의 마른 길이 나란히 만으로 이어진다.
목차

보고서 제목이 초록색이다. “접근성 문제를 발견하지 못했습니다.” 그 아래에는 ‘예약하기’ 버튼이 있는 화면이 캡처돼 있다. 도구는 예약 양식을 열지도, 오류를 일으켜 보지도, 완료 확인 창을 살펴보지도 않았다. 고객이 실제로 예약을 마치는 나머지 과정은 이 화면 밖에 있다.

가상의 보고서다. 여기서 실제로 스캔을 수행했다는 뜻은 아니다. 문제는 도구가 아무것도 발견하지 못했다는 사실이 아니다. 좁은 범위의 시험에 너무 넓은 의미를 부여한 데 있다. “확인한 상태에서 결함이 발견되지 않았다”와 “사이트의 접근성이 확보됐다”는 서로 다른 근거가 필요한 말이다.

AI는 검사를 실행하고 결과를 정리하거나 보고서를 작성하는 데 도움을 줄 수 있다. 다만 결과를 받아들일 때는 어떤 행동을 실제로 수행했고, 무엇을 대상으로 삼았으며, 최종 결론에 어떻게 도달했는지 확인해야 한다. 설명이 유창하다고 시험 범위가 넓어지는 건 아니다.

주소는 하나여도 화면 상태는 여러 가지다

자전거 수리 예약 사이트를 가정해 보자. 사용자는 수리 종류와 예약 일정, 지점을 고른다. 버튼을 누르면 창이 열리고, 양식을 다 채우지 않은 채 보내면 전화번호가 빠졌다는 안내가 나타난다. 이 과정에서 페이지 주소가 바뀌지 않을 수도 있다. 검사한 URL 목록만으로는 예약 과정 전체를 알 수 없다.

결과를 읽기 전에 작업에 중요한 상태를 간단히 그려 보자. 이 사이트라면 예약 시작 화면, 열린 창, 일정 선택, 양식 오류, 예약 확인이 여기에 해당한다. 각 상태에 어떻게 도달하는지도 적는다. ‘양식 오류’라고만 적으면 시험을 다시 할 때 다른 내용을 제출해 다른 메시지를 보게 될 수 있다.

예를 들어 첫 진입 화면, 버튼으로 연 일정 선택 창, ‘일정을 선택해 주세요’라는 메시지가 나타난 같은 창을 각각 구분해 기록한다. 상태마다 확인할 수 있는 증거도 연결한다. 보고서에 첫 화면 캡처만 있다면 나머지 상태의 자료를 요청하자. 같은 주소에 대한 기록 세 개가 비슷한 머리글만 검사한 긴 URL 목록보다 유용할 수 있다.

기기 종류나 화면 크기, 로그인 여부, 선택한 서비스 유형도 남긴다. 기업 고객용 양식에는 개인 고객 화면에 없는 입력란이 있을 수 있다. 한 버전의 결과가 다른 버전에도 자동으로 적용되는 건 아니다. 모든 조합을 끝없이 검사할 필요는 없다. 어떤 조합을 범위에 넣고 무엇을 남겨 두었는지 설명하면 된다.

도구가 사이트를 스스로 이동한다면 실제로 지나간 경로를 요청하자. 클릭 목록도 유용하지만, 행동 뒤에 예상한 상태가 나타났는지까지 확인해야 한다. 버튼이 작동하지 않았거나 데이터가 아직 로딩 중일 수 있고, 오류 때문에 창이 열리지 않았을 수도 있다. 그 순간 실행된 스캔은 계획했던 것과 다른 화면 상태를 검사한다.

데이터에 따라 달라지는 화면은 특히 주의해서 본다. 로딩 중인 달력과 예약 가능한 일정이 표시된 달력에는 서로 다른 요소가 있을 수 있다. 검사자가 화면 준비가 끝났다고 판단하는 기준을 정하고 기록한다. 예약 가능한 시간이 없을 때는 또 다른 내용이 나타난다. 평소에도 일어나는 상황이라면 ‘아무것도 표시되지 않았다’며 넘기지 말고 별도 상태로 범위에 넣어야 한다.

과정 일부에 시험용 데이터나 접근 권한이 필요하다면 검사 전에 준비하기로 합의한다. 들어갈 수 없었던 영역을 검사에 통과한 영역으로 셈해서는 안 된다. 보고서에는 ‘범위 제외 — 접근 권한 없음’이라고 적고, 어떻게 확인을 보완할지도 명시한다. 이는 검사 범위의 빈틈이지, 그 영역에 접근성 결함이 있다는 판정은 아니다.

도구가 검사한 상태에 대해 말할 수 있는 것

W3C는 도구가 접근성의 모든 측면을 자동으로 검사할 수 없으며 사람의 판단이 필요하다고 설명한다. 접근성 평가 도구 선택 안내에서도 도구는 평가를 돕는 수단이다. 과정에 AI가 들어갔다고 해서 실제 검사 내용을 입증할 필요가 사라지지는 않는다.

규칙을 검사하는 도구와 그 결과를 설명하는 모델은 구분하자. 전자는 문제 요소와 적용된 규칙을 가리킬 수 있고, 후자는 설명이나 권고안을 작성한다. 모델이 스크린샷을 직접 평가한다면 문서 구조를 분석하는 도구와는 볼 수 있는 정보가 다르다. 보고서는 모든 결과를 뭉뚱그려 ‘AI 진단’이라고 부르기보다 각 판단에 사용한 방법을 밝혀야 한다.

권고가 검사 결과에 나온 바로 그 요소를 가리키는지도 확인한다. 모델이 입력란의 레이블 문제를 정확히 설명하면서도 옆 버튼의 문제로 잘못 연결할 수 있다. 수정 담당자에게 필요한 것은 위치, 규칙, 재현 조건이다. 접근성이 중요하다는 매끈한 설명으로 이 세 가지를 대신할 수는 없다.

axe-core 문서는 수동 확인이 필요한 incomplete와 규칙에 맞는 요소를 찾지 못한 inapplicable을 별도로 구분한다. axe-core 결과 설명에 따르면 어느 쪽도 검사에 통과했다는 확인으로 취급할 수 없다. 보고서에서도 둘을 따로 남겨야 한다.

제외한 규칙과 영역의 이유를 물어보자. 예를 들어 외부 업체의 내장 달력을 검사하지 않았다면 결과는 예약 과정 전체를 다루지 않는다. 기술적인 이유로 제외했더라도 고객은 그 달력을 계속 사용한다. 요약에 해당 영역의 담당자와 추후 확인 방법을 적는다. 화면을 단순하게 만들려고 시험 중 일부 요소를 의도적으로 숨긴 경우도 마찬가지다. 검사 대상이 달라지면 결론의 범위도 달라진다.

모델이 원본 결과를 요약했다면 두 자료를 비교한다. ‘추가 확인 필요’ 항목이 요약에도 남았는가? 일치하는 요소가 없었다는 결과가 ‘충족’으로 바뀌지는 않았는가? 도구 실행 오류가 사이트에 오류가 없다는 말로 바뀌지는 않았는가? 보고서의 어조가 달라지는 사이 사람이 확인해야 할 내용이 가려질 수 있다.

Aeneia 콘셉트 사진

검사 횟수 때문에 자동 결과를 과대해석하기도 한다. 규칙을 100개 실행했다고 해서 화면 100개를 검사했거나 요구사항 100개를 완전히 확인했다는 뜻은 아니다. 제목에 표시된 수치가 무엇을 세는지 확인하자. 검사 수행자가 분모를 설명하지 못한다면 그 백분율은 정확해 보이는 장식에 불과하다.

보고서가 다루는 단위도 구분해야 한다. 하나의 버튼에 대한 발견인지, 열린 창 전체에 대한 것인지, 여러 화면에 걸친 작업 과정에 대한 것인지가 다르다. 이런 항목을 숫자 하나로 합치려면 집계 기준이 필요하다. 같은 레이블의 오류 두 개가 언제나 서로 다른 사용자 문제 두 개를 뜻하는 것은 아니다. 반대로 창으로 돌아가는 동작의 문제 하나가 전체 과정을 막을 수도 있다. 우선순위는 표시된 항목 수뿐 아니라 실제 영향에 맞춰 정한다.

초록색 요약만으로는 확인할 수 없는 것

요소 옆에 텍스트가 있다고 해서 사람이 그 목적을 이해하는 것은 아니다. 예시 양식의 ‘다음’ 버튼은 코드에서 올바른 이름을 가졌더라도, 다음 단계에서 예약이 확정되는지까지 알려 주지는 않을 수 있다. 기술적 검사 결과와 해당 작업에서 문구가 이해되는지에 대한 평가는 구분한다.

이미지에 대체 텍스트가 있어도 그 기능에 맞지 않을 수 있다. 자전거를 수령하는 장소를 보여 주는 사진이라면 ‘건물’이라는 설명만으로는 얻는 정보가 적다. 페이지의 맥락을 보고 판단해야 한다. 그렇다고 이미지에 긴 이야기를 자동으로 덧붙일 필요는 없다. 사용자에게 어떤 정보를 전해야 하는지부터 정하자.

키보드 조작은 열린 창에 들어가 선택하고 닫는 과정까지 확인한다. 처음 화면만 확인해서는 이후 단계에서도 초점을 받은 요소가 보이는지, 창을 닫았을 때 초점이 알맞은 위치로 돌아가는지 알 수 없다. 합의한 환경에서 그 작업을 실제로 수행해야 한다.

스크린샷에는 키보드로 이동한 순서가 남지 않는다. 수동 검사 증거에는 어떤 행동을 했고 그때마다 무엇이 일어났는지 적는다. ‘Tab 세 번, Enter 한 번’이라는 기록도 시작 상태와 알아볼 수 있는 목표가 함께 있어야 의미가 있다. 다시 검사할 때 입력란 수가 달라지면 순서도 바뀔 수 있다. 내용이 조금 바뀐 뒤에도 시험을 이해할 수 있도록 이동한 요소의 이름도 적어 둔다.

항목 순서를 바꾸는 기능에는 대체 조작 방법이 있는지 확인한다. 마우스로 끌면 자연스럽게 움직이더라도 다른 사용자는 같은 결과에 도달할 방법이 없을 수 있다. 항목 끌기와 순서 변경의 대안을 다룬 글은 (폴란드어) 별도로 살펴볼 수 있다. 이 보고서에서 먼저 확인할 질문은 두 방법을 실제로 시험했는가다.

기술적 결과는 적절히 계획한 보조기술 사용자와의 조사로 보완할 수 있다. 관찰을 통해 특정 환경과 한 참여자의 경험 속에서 작업이 어떻게 수행되는지 볼 수 있다. 이 조사만으로 전체 적합성 평가를 자동으로 대신할 수는 없지만, 초록색 스캔 제목에는 없는 자료를 얻을 수 있다. 보조기술 사용자와의 조사에 관한 글도 (폴란드어) 함께 살펴볼 수 있다.

수동 시험의 범위와 기준, 수행자에게 필요한 역량은 따로 정한다. 기업 웹사이트 접근성에 관한 글은 (폴란드어) 기능 자체를 확인하는 방법을 더 자세히 다룬다. 여기서 살피는 것은 도구 보고서의 신뢰성이다. 결론에 알맞은 근거가 있는지, 아직 판단하지 못한 문제가 드러나 있는지를 묻는다.

발견에서 확인 가능한 수정까지

결함은 발생 조건과 결과를 함께 적는다. “예약 창을 연 뒤 키보드로 일정 선택 항목에 이동할 수 없다”면 수정 시험을 준비할 수 있다. ‘탐색 문제’라는 말만으로는 범위가 너무 넓다. 특정 도구의 규칙에서 나온 결과라면 그 식별자와 검사한 버전에서의 요소 위치도 남긴다.

보고서에는 사이트와 도구의 버전, 검사 설정을 함께 적는다. 다음 날 양식이 바뀌었다면 이전 결과는 이전 상태에 대한 기록으로 남는다. 새로 배포한 버전에 자동으로 적용해서는 안 된다. 서로 다른 인터페이스 유형의 결과를 한 날짜에 묶을 때도 각각 무엇을 가리키는지 밝혀야 한다.

수정 후에는 문제가 드러났던 동일한 작업을 다시 수행하고, 연결된 단계도 살펴본다. 닫기 버튼을 추가해 한 가지 어려움이 해결됐더라도 양식으로 돌아가는 방법은 여전히 불분명할 수 있다. 결과 검토는 보고서에서 항목이 사라졌는지만 보지 말고, 작업을 수행하는 사람에게 어떤 변화가 생겼는지 보여 줘야 한다.

수정 전후의 보고서를 비교할 때는 검사 범위가 같은지 먼저 확인한다. 두 번째 스캔에서 창을 열지 않았다면 보고서에서 그 창의 결함이 사라져도 문제가 해결됐다고 볼 수 없다. 로딩 오류 뒤에 단순한 대체 화면이 표시된 경우도 비슷하다. 올바른 화면과 상태를 검사했는지 확인한 다음 규칙 결과를 비교하자. 그래야 경고가 줄어든 이유가 실제 검사 대상이 줄어든 탓은 아닌지 알 수 있다.

모델이 코드를 제안하면 그 제안과 실제로 구현하고 시험한 변경을 구분한다. 새 레이블 문구가 예시에는 맞아도 현재 버튼의 기능에는 맞지 않을 수 있다. 수정도 일반적인 배포 검토를 거친다. 결과물 검토 체크리스트를 활용하면 수정을 실제 작업 과정과 연결해 확인할 수 있다. 웹사이트 결과물 검토에 관한 글도 (폴란드어) 참고하면 된다.

AI가 자신이 제안한 수정안을 평가한다면 그 두 번째 평가의 근거도 살펴보자. “변경 후 적합성이 확보됐다”는 문장은 재시험 기록이 아니다. 평가의 독립성은 심사자 역할을 하는 AI 모델을 다룬 글에서 (폴란드어) 더 살펴볼 수 있다. 여기서는 구체적인 화면 상태와 확인 증거로 돌아가면 된다.

요약에는 세 가지를 정직하게 남길 수 있다. 확인된 결함, 정해진 범위 안에서 확인한 속성, 추가 작업이 필요한 항목이다. 빠진 부분마다 담당자와 보완 방법을 정한다. ‘추가 확인’이라는 상태는 구체적인 작업으로 이어져야지, 요약문을 다듬는 과정에서 사라져서는 안 된다.

보고서 작성 과정과 AI 사용 원칙의 검토는 Aeneia Audit에서 논의할 수 있다. 작업을 마칠 때의 답은 구체적이어야 한다. 어떤 상태와 속성을 확인했고, 무엇을 발견했으며, 아직 무엇을 모르는가. 초록색 제목을 써도 좋다. 다만 그 아래 문서가 말하는 범위를 넘어서는 안 된다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear