본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI 지식 그래프: 화살표도 하나의 주장이다

AI가 추출한 지식 그래프 관계의 방향, 의미, 유효 기간과 근거 자료를 확인합니다. 이름이 정확한 것만으로는 충분하지 않습니다.

본문 언어: 한국어

여성이 양각 지도 옆에서 두꺼운 칸막이의 가장자리를 잡고 있으며, 가까운 작은 공간에 주전자가 놓여 있습니다.
목차

도표에서 Linea라는 회사와 Noma 패널이 '생산한다'는 화살표로 연결되어 있다. 문서에는 Linea가 전시 부스를 설치할 때 이 패널을 사용한다고 적혀 있다. 이름도 맞고, 패널과 회사도 실제로 존재한다. 다만 화살표 하나가 사용자를 제조사로 승격시켰다. 사업을 확장하는 방법치고는 꽤 후한 셈이다.

이 가상의 예는 AI를 활용해 만든 지식 그래프를 검수할 때의 기본적인 문제를 보여준다. 지식 그래프에는 객체와 그 연결 관계를 기록하고, 나중에 이를 이용해 답을 찾는다. 모든 객체를 올바르게 알아보았더라도 관계 자체가 틀릴 수 있다. 따라서 이름 목록만 확인해서는 부족하다. 의미 있는 연결도 하나씩 읽어야 한다.

화살표를 완전한 문장으로 읽기

보기 좋은 시각화부터 살피기보다 결과를 평범한 문장으로 써 보자. 'Linea는 Noma 패널을 생산한다.' 누가 행위를 하는지, 어떤 관계인지, 상대 객체가 무엇인지 밝힌다. 다음으로 문장 전체를 실제로 뒷받침하는 원문을 찾는다. 한 문단에서 두 이름을 강조 표시하는 것은 검토의 끝이 아니라 시작이다.

RDF 1.1 Concepts 명세는 기본 구조를 주어, 술어, 목적어로 이루어진 삼중항으로 설명한다. 가운데에 있는 술어는 자원 사이의 관계를 나타낸다. 이는 특정한 데이터 모델이며 모든 기업 그래프가 RDF를 사용해야 하는 것은 아니다. 그래도 검수할 때는 누가 누구와 어떤 관계인지 묻는 간단한 질문이 도움이 된다.

우리 예에서 답은 'Linea는 Noma 패널을 사용한다'이다. 방향을 바꾸면 'Noma가 Linea를 사용한다'가 되고, 관계 유형을 '생산한다'로 바꾸면 다른 주장이 된다. 두 오류는 도표의 모양이 잘못된 것 이상이다. 공급업체 목록, 부품 검색 결과, 파트너의 역량 설명을 바꿀 수 있다. 기록된 관계는 승인한 문장과 같은 내용을 담아야 한다.

먼저 객체가 각각 누구 또는 무엇인지 확인하자. 비슷한 이름의 두 회사가 있거나 제품과 제품군이 혼동될 수 있다. 이 단계는 AI의 잘못된 레코드 결합 검토 (폴란드어)에서 자세히 다룬다. 객체를 구분한 다음에야 화살표를 평가한다. 올바른 관계 유형이라도 다른 회사에 연결되면 여전히 잘못된 정보다.

제품과 개별 제품, 작업 건을 구분하자. 한 행사에서 패널 한 개를 썼다고 해서 그 회사가 해당 제품군 전체를 계속 사용한다는 뜻은 아니다. 예제에서 어느 제품을 어떤 역할로, 어떤 작업에 썼는지 주장의 범위를 적는다. 그렇지 않으면 데이터 모델에 더 상세한 기록 방식이 없다는 이유만으로 올바른 화살표가 모든 작업에 확대 적용될 수 있다.

시험할 때는 각 관계의 식별자, 양 끝점, 유형 이름과 문서 참조를 남긴다. 도표의 라벨만 보지 말고 애플리케이션이 사용하는 데이터에서 결과를 읽는다. 시각화 계층은 이름을 줄이거나 여러 연결을 한 선으로 합칠 수 있다. 검수자는 고객의 질문에서 구체적인 기록과 그 근거까지 찾아갈 수 있어야 한다.

같은 이름이 나오는 네 가지 자료

가상의 데이터로 짧은 검수 세트를 준비하자. 모든 자료에 Linea와 Noma가 나오되 매번 관계가 다르도록 한다.

  • Linea가 부스를 설치할 때 Noma 패널을 사용한다. 생산이나 소유를 덧붙이지 않은 사용 관계가 기대된다.
  • Linea가 다음 시즌에 Noma 패널 사용을 고려한다. 이는 계획이지 확인된 현재 사용이 아니다.
  • Linea는 Noma 패널을 생산하지 않고 명시된 공급업체에 주문한다. 부정이 생산의 확인으로 바뀌어서는 안 된다.
  • 지난 시즌 말까지 Linea는 Noma를 사용했지만 이후 다른 제품군을 선택했다. 과거 관계만을 근거로 현재 장비에 관한 질문에 기간을 밝히지 않은 채 답해서는 안 된다.

텍스트에서 정보를 뽑아내는 추출을 실행하기 전에 기대 결과를 합의한다. 그래프 스키마에 의도, 부정 또는 기간을 기록할 수 없다면 해당 구절을 어떻게 처리할지 정한다. 사람이 판단하도록 보낼 수도 있다. 애플리케이션이 무언가를 그려야 한다는 이유만으로 가장 가까운 관계에 자동으로 끼워 넣어서는 안 된다.

다른 사람의 말을 전하는 문장도 추가한다. '회의 중 고객이 Linea가 Noma를 생산하는지 물었다.' 단순한 도구가 찾는 단어가 정확히 들어 있어도 질문은 관계를 입증하지 않는다. 새 문서에 과거 제안이 인용된 경우도 확인한다. 파일 날짜가 현재라고 해서 오래된 추측이 현재 사실로 바뀌지는 않는다.

찾아낸 연결의 수만 평가하지 말자. 근거 없는 화살표 세 개가 추가된 결과는 인상적으로 보여도 답변의 질을 떨어뜨릴 수 있다. 검수 세트에서 필요한 관계의 누락과 근거 없는 관계의 추가를 구분한다. 도구가 올바르게 판단을 보류한 경우도 기록한다. 빈 목록과 근거가 없음을 의식적으로 판단한 결과는 보고서에서 다르게 설명해야 한다.

이름이 나란히 나오지만 서로 연결되지 않은 자료도 포함한다. 참가업체 목록에는 Linea가 있고 별도의 박스에는 Noma가 소개되는 식이다. 페이지에서 가깝다는 사실은 제품 사용을 증명하지 않는다. PDF에서 텍스트를 가져온다면 열을 읽는 순서도 살펴본다. 서로 독립된 두 블록이 합쳐지면 문서 작성자가 쓴 적 없는 문장이 만들어질 수 있다.

스키마는 유형을 정리하고 출처는 내용을 뒷받침한다

Neo4j GraphRAG Python 문서는 노드와 관계의 유형, 출발 객체와 대상 객체를 연결하는 패턴으로 추출을 안내하는 방법을 설명한다. 기대하는 구조를 정하는 데 유용한 방식이다. 하지만 '회사가 제품을 사용한다'는 패턴이 허용된다고 해서 특정 회사가 그 제품을 실제로 사용한다는 사실까지 증명되지는 않는다.

자료를 잘 아는 사람들과 관계 용어집을 만들자. '공급한다', '판매한다', '생산한다', '유지보수한다'는 같은 두 당사자에게 적용될 수 있지만 서로 바꿔 쓸 수는 없다. 각 이름에 짧은 정의와 해당하지 않는 예를 적는다. 관계가 '이 작업 건에서 공급한다'를 뜻한다면 나중에 무조건적인 '그 회사의 공급업체다'로 줄이지 않는다.

데이터에 기록된 방향도 확인한다. 도표의 라벨을 바꿔 보기 쉽게 만들더라도 질의는 여전히 잘못된 객체에서 출발할 수 있다. 시험에 양방향 질문을 추가한다. 'Linea는 어떤 패널을 쓰는가?'와 '누가 Noma를 쓰는가?'이다. 기대 결과는 따로 만들어 넣은 두 개의 시연용 답이 아니라 같은 올바른 관계에서 나와야 한다.

Aeneia 콘셉트 사진

근거 자료는 객체 전체뿐 아니라 관계에도 연결한다. 회사에 관한 문서는 주소와 업종을 뒷받침할 수 있지만 특정 제품과 관련된 역할까지 뒷받침하지는 않을 수 있다. 해당 구절과 위치, 자료의 버전을 기록한다. 이는 기업의 지식 아키텍처 (폴란드어)를 확장하는 작업이다. 정보를 그래프로 옮긴 뒤에도 출처의 책임자와 상태가 중요하다.

Aeneia Audit

답변이나 팀의 업무에 영향을 주어야 하는 관계 몇 개를 원문 문서와 함께 준비해 보자. 이런 표본으로 AI가 추출한 연결의 방향과 의미, 근거를 평가할 수 있다. 지식 그래프 관계 표본 살펴보기

한 연결에 출처가 여러 개라면 독립적인 확인과 같은 소식을 반복 복사한 것을 구분한다. 세 문서가 검증되지 않은 하나의 설명을 되풀이할 수 있다. 문서 수가 많다고 관계의 신뢰도가 자동으로 높아지지는 않는다. 새로운 근거가 추가됐는지 같은 정보가 나온 장소만 늘었는지 기록에 보여 준다. 유사한 기록을 합칠 때 출처 이력을 지우지 않는다.

문서가 삭제되거나 철회됐을 때의 대응도 정한다. 파일이 사라졌다는 사실만으로 설명된 협업이 없었다고 증명되지는 않는다. 다만 팀이 근거를 확인할 수 없게 될 수는 있다. 보고서에서는 내용을 평가한 뒤 이의가 제기된 관계와 출처에 접근할 수 없게 된 관계를 구분한다. 둘 다 '현재 유효'로 남겨 두면 나중에 답변의 신뢰도를 논의하기 어렵다.

시간은 실행 날짜가 아니라 관계를 설명해야 한다

화살표의 생성일은 시스템이 기록한 날짜다. 문서의 발행일은 자료가 공개된 날짜다. 설명된 협업이 유효했던 기간은 또 다른 정보다. 출처가 2년 전 작업을 설명한다면 오늘 가져왔다고 현재 계약이 되지는 않는다. 화면에는 짧은 설명만 보이더라도 시험에서는 이 세 시점을 따로 표시한다.

종료된 관계를 사례로 만든다. 오래된 문서는 Noma 사용을 설명하고 더 최근의 메모는 장비 교체를 확인한다. 과거에 관한 질문과 현재 상태에 관한 질문의 답을 각각 확인한다. 옛 화살표를 새것으로 대체하면 필요한 이력이 사라질 수 있고, 기간 없이 둘 다 남기면 두 제품군을 동시에 쓰는 것처럼 보일 수 있다. 어떤 규칙을 쓸지는 그래프의 목적에 달려 있다.

사용자 질문에서 '현재'가 정확히 무엇을 뜻하는지도 적는다. 과거 제안을 복원할 때는 제안서 작성일이 기준일 수 있고, 새 주문을 처리할 때는 답변일이 기준일 수 있다. 같은 이력 데이터라도 지정한 기준 시점에 따라 서로 다른 답이 모두 옳을 수 있다. 시스템은 모든 질문을 말없이 마지막 가져오기와 동일시하지 말고 채택한 기준을 밝혀야 한다.

종료일을 모르는 관계도 추가한다. 종료 정보가 없다는 사실만으로 협업이 계속된다고 확인할 수는 없다. 팀은 이 상태를 어떻게 표시하고 언제 자료 확인을 요청할지 정해야 한다. '현재 유효 여부가 확인되지 않음'이 관계를 오늘까지 임의로 연장하는 것보다 유용하다. 이 결정을 마지막 인덱스 갱신일로 대신하지 않는다.

출처가 서로 모순되면 차이를 평가할 수 있도록 보존한다. 특정 작업에는 최신 자료가 더 중요할 수 있지만 새롭다는 이유만으로 정확한 것은 아니다. 문서의 작성자, 범위와 상태를 확인한다. 다른 지점을 설명하거나 한 작업 건만 다룰 수도 있다. 판단에는 왜 해당 관계를 받아들였는지, 범위를 제한했는지 또는 확인을 위해 보류했는지 밝혀야 한다.

잘못된 화살표를 이용하는 답변에서도 확인하기

애플리케이션이 이전 결과를 바탕으로 계속 답한다면 그래프만 고쳐서는 부족하다. 수정 전과 후에 Noma의 제조사를 묻는 질문을 준비한다. 두 번째 실행에서는 잘못된 연관을 유창하게 반복하는 것이 아니라 이용 가능한 자료에 부합하는 답을 기대한다. RAG 답변 (폴란드어)에서는 실제로 어떤 구절이 모델에 전달됐는지도 확인한다.

가져오는 동안 관계가 중복됐는지도 살핀다. 패널 하나의 사용을 똑같이 두 번 설명했다고 해서 작업 두 건이나 고객 두 명이 되는 것은 아니다. 연결을 세려면 단위가 명확해야 한다. 비슷한 함정은 SQL의 행 수와 사례 수의 차이 (폴란드어)에서도 볼 수 있다. 질의 결과가 기술적으로 정확하더라도 다른 질문에 답하고 있을 수 있다.

또 다른 사례는 지나친 추론이다. Linea는 Oś라는 회사와 협력하고 Oś는 Noma를 사용한다. 이 두 문장에서 Linea도 그 패널을 사용한다는 결론이 자동으로 나오지는 않는다. 솔루션이 추가 관계를 추론한다면 출처에서 직접 읽은 관계와 구분한다. 검수자는 어떤 문장이 직접적인 근거를 갖고 어떤 문장이 추론 규칙으로 만들어졌는지 알아볼 수 있어야 한다.

관계 하나를 수정할 때 종속된 결과도 확인한다. 잘못된 제조사 지정이 이미 공급업체 목록이나 회사 설명에 들어갔을 수 있다. 화살표를 고쳤다고 해서 그 자료가 갱신됐다는 뜻은 아니다. 그런 결과 하나를 골라 어떻게 다시 계산하거나 수정 요청을 전달할지 정한다. 그래프의 모든 용도로 시험을 확대하지 않고도 오류 하나를 고치는 데 드는 일을 가늠할 수 있다.

시험을 위해 관계와 사건이 일관된 합성 데이터 (폴란드어)를 만들 수 있다. 이를 분명히 표시하고 회사의 확인된 파트너 데이터베이스와 섞지 않는다. 가상의 표본은 도구의 동작을 시험할 뿐 실제 협업을 확인하지 않는다. 모범 판정은 추출 중 모델이 참고할 수 있는 자료 밖에 보관한다.

마지막으로 중요한 관계 하나를 골라 문서에서 사용자의 결정까지 따라가 보자. 당사자를 확인하고 의미를 읽고 기간을 평가하며 근거를 열 수 있는가? 증거가 없다는 사실도 드러나는가? 이처럼 제한된 범위는 Aeneia Audit에서 논의할 수 있다. 시험의 마침표는 화면의 알록달록한 연결 수가 아니라 주장과 자료의 일치다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear