본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 만든 참고문헌: 열리는 DOI가 다른 논문을 가리킬 수 있습니다

AI 참고문헌의 DOI, 제목, 저자, 버전이 같은 자료를 가리키는지 확인하세요. 출판물을 찾은 것과 결론의 근거를 확인한 것은 다릅니다.

본문 언어: 한국어

일러스트: 가는 선으로 균열을 표시한 석조 기둥의 일부.
목차

DOI 링크를 열었더니 실제 논문이 나타나 참고문헌의 해당 항목에 초록색 확인 표시를 붙였다고 가정해 보겠습니다. 나중에야 누군가 저자와 제목이 다른 논문의 것이라는 사실을 알아챕니다. 링크는 제 역할을 했지만 검토를 너무 일찍 끝낸 셈입니다. 참고문헌에서는 모든 항목이 같은 자료를 가리키는지 확인한 다음, 결론을 뒷받침하는 데 필요한 내용을 읽어야 합니다.

DOI는 학술 출판물과 데이터셋 등에 사용하는 영구 식별자입니다. DOI Foundation은 자료를 식별하고 해당 자료나 그에 관한 정보로 연결하는 역할을 설명합니다. 자료를 설명하는 데이터인 메타데이터와 연결 주소는 식별자 자체를 바꾸지 않고 갱신할 수 있습니다. DOI는 자료를 찾기 위한 장치입니다. 링크 옆에 적힌 모든 주장이 사실임을 인증하는 표시는 아닙니다.

따라서 AI로 작성한 자료를 검수할 때는 정상적으로 열리는 링크 수를 세는 것만으로 부족합니다. 실제로 무엇을 가리키는지, 작성자가 바로 그 자료를 사용했는지 확인해야 합니다. 참고문헌은 추론에 사용한 자료를 찾을 수 있도록 작성해야 합니다.

하나의 서지 레코드는 하나의 출판물을 설명해야 합니다

가상의 교육팀이 사람들이 조립 설명서를 어떻게 따라 하는지에 관한 짧은 보고서를 작성합니다. AI가 자료 여덟 개를 제안합니다. 그중 한 항목은 제목이 삽화 배치에 관한 것이고, 저자명은 팀 협업 연구에서 가져왔으며, DOI는 또 다른 논문으로 연결됩니다. 이는 검토를 위한 가상의 사례입니다. 실제 저자나 도구가 이런 오류를 저질렀다고 주장하는 것이 아닙니다.

이런 항목은 수정 전에 원래 표기를 보관해야 합니다. 그렇지 않으면 처음 전달받은 내용이 무엇이었는지 알 수 없습니다. 검토자는 제목, 저자, 연도, 게재처, 자료 유형, 식별자를 각각 분리합니다. 그런 다음 출판사나 해당 등록기관의 레코드와 대조합니다. DOI 접두사가 올바르다는 사실로 나머지 항목까지 확인되지는 않습니다.

Crossref 문서는 Crossref에 등록된 DOI의 개별 메타데이터 레코드를 조회하는 방법을 설명합니다. 데이터는 회원과 신뢰할 수 있는 출처에서 제공됩니다. 잘못되거나 불완전한 메타데이터를 신고하는 절차도 안내합니다. 등록정보는 항목을 대조하는 데 도움이 되지만, 불일치가 발견되면 원인을 확인해야 합니다. 곧바로 모델의 잘못으로 돌려서는 안 됩니다.

수작업으로 검수한다면 메타데이터 수집 프로그램까지 만들 필요는 없습니다. 해당 레코드와 출판물 페이지를 열고, 어떤 항목을 대조했으며 결과가 어땠는지 기록하면 됩니다. 많은 항목을 처리하는 과정에서는 메타데이터 자동 수집으로 속도를 높일 수 있습니다. 다만 정확한 일치와 추가 확인이 필요한 후보를 구분해야 합니다. 검색 결과의 첫 번째 항목을 찾던 논문으로 자동 확정해서는 안 됩니다.

어느 한 등록기관에서 레코드를 찾지 못했다는 이유만으로 식별자를 무효로 판단할 수는 없습니다. 먼저 담당 등록기관을 확인하고 출판사 페이지의 정보와 대조하세요. 자동화 도구가 그 조회 경로를 지원하지 않는다면 결과를 검토 대상으로 보내야 합니다. ‘출판물이 존재하지 않음’이라는 표지를 붙일 일이 아닙니다. 보고서에서는 레코드 오류와 사용한 검색 방법의 한계를 구분하세요.

자료 유형도 살펴야 합니다. 레코드는 책의 한 장, 책 전체, 데이터셋 또는 논문의 별도 부록을 설명할 수 있습니다. 이 사례에서 조립 설명서에 관한 결과는 특정 장에 있는데 모델이 책 전체 제목을 제시했을 수도 있습니다. 정상적으로 열리는 책의 DOI를 덧붙이면 큰 범위의 자료를 찾을 수는 있지만, 사용한 대목까지 지정하지는 못합니다. 해당 부분으로 바로 찾아갈 수 있는 정보가 필요합니다.

제목을 보고서의 일반 문장처럼 자유롭게 바꾸어 써서는 안 됩니다. 제목은 자료를 찾는 검색어 역할을 할 수 있습니다. 원제를 유지하고 한국어 설명은 별도로 덧붙이세요. 모델이 더 그럴듯한 제목을 만들어 내면, 다른 정보 일부가 맞더라도 독자는 그 이름으로 존재하지 않는 출판물을 찾게 될 수 있습니다.

저자명에서는 정해진 인용 양식에 따른 저자 목록 축약과 다른 사람에게 저작을 귀속시키는 오류를 구분하세요. 이니셜, 성을 이루는 요소의 순서, 문자 표기는 원문과 대조해야 할 수 있습니다. 모든 차이가 논문을 지어냈다는 증거는 아닙니다. 그렇다고 모든 차이를 글자 하나 고쳐 안전하게 해결할 수도 없습니다. 확인한 원인을 기록하거나 판정을 미확정으로 남기세요.

사용한 자료에 DOI가 없다면 비슷한 출판물의 식별자를 덧붙이지 마세요. 올바른 출처를 찾을 수 있는 정보, 즉 원제, 저자나 기관, 판본, 그리고 있다면 안정적인 주소를 보관하세요. 특정 종류의 식별자가 없다는 사실이 자료를 다른 것으로 바꿀 근거는 되지 않습니다. 참고문헌 항목의 겉모양보다 근거를 다시 찾아갈 수 있는지를 평가해야 합니다.

연도도 같은 방식으로 다뤄야 합니다. 온라인 선공개 시점과 나중에 학술지 권호에 배정된 시점은 각각 올바른 날짜 맥락일 수 있습니다. 해당 레코드를 확인해야 각 날짜가 무엇을 뜻하는지 알 수 있습니다. 출판일, 사건 발생일, 직접 확인한 날짜를 구분하면 화면에서 가장 눈에 띄는 연도만 보고 참고문헌을 고치는 일을 피할 수 있습니다. 발행일, 사건일과 확인일에 관한 글 (폴란드어)에서 이 구분을 살펴봅니다.

찾지 못한 경우, 정보가 다른 경우, 접근할 수 없는 경우를 구분하세요

가상 참고문헌 여덟 개 가운데 첫 번째는 제목이 다른 자료로 연결됩니다. 이는 표기와 실제 대상 사이의 불일치가 확인된 경우입니다. 두 번째는 사용한 도구로 열리지 않습니다. 이는 해당 경로로 접근할 수 없는 경우입니다. 세 번째는 확인한 곳에서 제목과 저자명으로 검색했지만 찾지 못했습니다. 이는 정해진 범위 안에서 수행한 검색 결과이며, 출판물이 존재하지 않는다는 증거까지 되지는 않습니다.

세 경우에 모두 ‘가짜 출처’라는 상태를 부여하지 마세요. 그런 분류는 수정을 더 어렵게 만듭니다. 정보가 다르면 올바른 논문이 무엇인지 찾아야 합니다. 접근할 수 없다면 정당한 접근 경로를 찾아볼 수 있습니다. 찾지 못한 항목은 추가 정보가 필요하며, 문제가 해소될 때까지 보고서의 근거에서 제외해야 할 수도 있습니다.

자료 여덟 개라는 수를 지키기 위해 대체 자료를 찾지 마세요. 조립용 삽화에 관한 문장을 어떤 자료로 뒷받침하려 했는지 알 수 없다면, 제목에 비슷한 단어가 있는 다른 출판물을 넣어도 문제는 해결되지 않습니다. 먼저 주장으로 돌아가 어떤 증거가 필요한지 정하세요. 그다음 출처를 고르고 기존 표현을 유지할 수 있는지 판단해야 합니다.

Aeneia 콘셉트 사진

문제는 완전히 지어낸 논문에만 있는 것이 아닙니다. Walters와 Wilder의 2023년 연구 초록은 존재하지 않는 참고문헌 항목과 실제 자료의 서지정보 오류를 구분합니다. 이 연구는 명시된 과거 모델 버전과 특정 표본을 다룹니다. 이 결과를 현재 도구나 어느 회사의 참고문헌 품질을 측정한 값으로 사용하지는 않습니다.

이 글의 폴란드어 원문 작성 시에는 해당 연구의 레코드와 초록을 읽었으며 논문 전문을 읽지는 않았습니다. 이 역시 실제로 읽은 범위를 정확히 제한해 표시하는 사례입니다. 출판물이 무엇인지, 초록에 어떤 오류 구분이 제시됐는지는 확인할 수 있습니다. 그러나 이를 근거로 연구 방법의 모든 세부 사항이나 결과표 전체를 검토했다고 말할 수는 없습니다.

자체 관리대장도 ‘레코드 일치’, ‘초록 읽음’, ‘원문의 지정된 부분 읽음’을 구분해야 합니다. 찾았다는 이유만으로 모든 항목을 읽은 출처라고 부르지 마세요. 긴 자료에서는 해당 대목의 위치도 증거의 일부입니다. 페이지 번호, 절 제목, 표 번호가 있으면 다음 담당자가 출판물 전체를 다시 검색하지 않고 근거로 돌아갈 수 있습니다. 사내 AI 검색 시스템에서도 문서를 찾은 것과 답변에 올바르게 사용한 것 사이에는 비슷한 경계가 있습니다. 사내 AI 검색의 출처에 관한 글 (폴란드어)에서도 이 경계를 다룹니다.

Aeneia Audit과 특정 업무에서 참고문헌을 확인하는 방식과 가능한 지원 범위를 논의할 수 있습니다. 특정 분야 연구의 내용에 대한 전문적인 평가는 해당 역량을 갖춘 사람이 맡아야 합니다.

버전과 출판 상태에 따라 인용할 수 있는 내용이 달라집니다

같은 주제를 다룬 자료가 정식 출판 전에 공개된 초기 원고인 프리프린트(preprint), 정식 출판 논문, 학술대회 자료, 이후 정정본으로 각각 존재할 수 있습니다. 제목이 비슷하다고 결과도 같다고 가정하지 마세요. 어떤 버전을 읽었는지 기록하고 참고문헌 항목과의 관계를 명시하세요.

내려받은 사본에도 버전을 분명히 표시해야 합니다. 읽지 않은 후속 판본처럼 보이도록 파일명을 바꾸지 마세요. 파일 두 개의 이름이 비슷하다면 메모를 합치기 전에 표제지와 판본 표기를 비교하세요. 한 버전에 관한 메모가 다른 버전에도 자동으로 적용되지는 않습니다. 이렇게 해야 나중에 팀이 특정 대목의 출처를 재구성할 수 있습니다. 보고서가 이전 파일의 표를 근거로 삼는다면, 나중에 출판된 논문의 DOI를 덧붙였다는 사실만으로 그 표가 일치한다고 확인되지는 않습니다.

버전을 비교할 때는 실제로 사용하는 요소, 즉 수치, 방법의 한계, 결론이 성립하는 조건으로 돌아가세요. 문서의 사소한 외형 변화까지 모두 설명할 필요는 없습니다. 하지만 새 판본에도 해당 문장의 근거가 유지되는지는 확인해야 합니다. 확인하지 못했다면 관리대장에 그 공백을 표시해야 하며, 새 버전을 자동으로 읽음 처리해서는 안 됩니다.

Crossmark는 정정과 철회를 포함해 출판물의 현재 상태를 확인하는 데 도움을 줍니다. Crossref는 이 기능이 있다는 사실 자체가 보증은 아니라고 명시합니다. 정보의 신뢰성은 변경 사항이 계속 등록되는지에 달려 있습니다. 검수할 때는 버튼이 보이는지 확인하는 데서 멈추지 말고, 실제 안내문을 읽고 사용한 대목에 어떤 영향을 주는지 판단해야 합니다.

정정은 저자명, 표의 수치, 결과 해석에 관한 것일 수 있습니다. 각각 보고서에 미치는 영향은 다릅니다. 논문 철회 역시 해당 공지를 읽어야 합니다. 참고문헌에서 철회 표시만 지우고 본문에 같은 결론을 남겨 이 사실을 숨겨서는 안 됩니다. 먼저 논증의 근거에 어떤 변화가 생겼는지 확인하세요.

참고문헌을 오랫동안 사용할 예정이라면 보고서의 다음 판을 내기 전에 핵심 출처를 다시 확인할 담당자를 정하세요. 작은 각주를 갱신할 때마다 주제 전체를 새로 연구할 필요는 없습니다. 다만 권고의 근거가 되는 자료가 바뀌었다면 해당 주장으로 돌아가야 합니다. 이 작업의 필요성은 달력에 기계적으로 적어 둔 몇 개월이라는 간격이 아니라 출처의 역할에서 나옵니다.

참고문헌이 맞아야 비로소 논증을 평가할 수 있습니다

확인을 거쳐 가상 보고서에 사용하는 모든 항목이 올바른 출판물을 가리키게 됐다고 가정하겠습니다. 그래도 조립 설명서에 관한 대목은 읽어야 합니다. 연구의 대상 사용자, 과제 또는 실험 조건이 팀의 적용 환경과 다를 수 있습니다. 자료가 무엇인지 확인하는 것은 논증 검토의 필수 조건이지만, 새로운 용도에도 적합하다는 결론까지 보장하지는 않습니다.

핵심 주장마다 자신의 문장, 자료의 해당 대목, 결과를 다른 상황에 적용할 때의 한계를 함께 남기세요. 연구진이 작은 표본에서 관찰한 결과를 보편적인 설계 원칙으로 바꾸어서는 안 됩니다. 두 종류의 설명서를 비교했다면 정확히 무엇이 달랐는지 확인하세요. 초록에 ‘삽화’라는 단어가 있다는 사실만으로 시각 자료에 관한 모든 조언이 뒷받침되지는 않습니다.

링크 개수로도 결론을 내리지 마세요. 여러 해설이 같은 자료를 반복해서 소개할 수 있습니다. 출처가 서로 충돌할 때는 한쪽 목록이 더 긴지보다 출처의 기원과 범위가 중요합니다. 일치하는 서지 레코드 하나에 저장소와 출판사 링크를 더했다고 해서 서로 독립된 여러 개의 확인 근거가 되는 것은 아닙니다. 아시아 시장의 상충하는 자료에 관한 글 (폴란드어)에서는 자료의 출처와 범위를 살펴봅니다.

시장 보고서를 검수할 때도 비슷한 질문을 해야 합니다. 해당 출처가 회사에서 실제로 내릴 결정에 부합하는가 하는 것입니다. 이 글에서는 그보다 한 단계 앞서 참고문헌에 어떤 자료가 들어 있는지부터 확인했습니다. 이 과정이 없으면 이후 검토에서는 다른 논문에 잘못 연결된 논증을 분석하게 될 수 있습니다. 한국 시장 보고서를 읽는 방법에 관한 글 (폴란드어)에서는 근거와 의사결정의 관계를 다룹니다.

참고문헌 수정이 보고서 본문에 어떻게 반영됐는지도 따라가야 합니다. 항목을 바꾸거나 삭제하면 어떤 문장은 근거를 잃을 수 있고, 번호 순서를 바꾸면 다른 논문에 연결될 수 있습니다. 변경한 모든 인용에서 올바른 자료까지 직접 확인하세요. 모델이 자신의 추론을 길게 설명하는 것으로 이 연결을 대신할 수는 없습니다. AI의 설명과 독립적인 근거에 관한 글 (폴란드어)에서도 이 차이를 살펴봅니다.

따라서 검수가 끝났다는 것은 초록색 확인 표시 여덟 개가 생겼다는 뜻이 아닙니다. 올바른 출판물을 식별하고, 실제로 읽은 범위를 기록하고, 사용한 대목을 보고서의 주장에 다시 연결한 참고문헌이 완성됐다는 뜻입니다. 근거 하나가 비어 있다면 해당 문장은 여전히 수정 대상입니다. 아홉 번째 각주로 억지로 살려 둘 필요는 없습니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear