本文へスキップ
表示言語: 日本語
監査 / Signal

AIが作った参考文献リスト:開けるDOIでも別の論文に行き着くことがあります

AIが作成した参考文献のDOI、タイトル、著者、版が同じ資料を指すか確認します。文献を見つけることと、自分の結論を裏付けることを区別します。

記事の言語: 日本語

イラスト:石柱の一部に、ひびを示す細い線が引かれている。
目次

DOIを開くと実在する論文が表示され、その参考文献に確認済みの印を付けたとします。ところが後になって、記載された著者名とタイトルが別の論文のものだと気づきます。リンクは役割を果たしていましたが、確認を終えるのが早すぎたのです。参考文献では、すべての項目が同じ資料を指していることを確かめ、そのうえで結論の根拠に必要な箇所を読む必要があります。

DOIは、学術論文やデータセットなどに使われる、対象を継続的に識別するための識別子です。DOI Foundationは、対象を識別し、その対象または関連情報へ案内する仕組みとして説明しています。対象を説明するデータであるメタデータや、案内先のアドレスは、識別子そのものを変えずに更新できます。DOIは資料を見つける仕組みであり、リンクのそばに書かれたあらゆる主張の正しさを保証する証明書ではありません。

そのため、AIを使って作成した資料を受け入れる際は、開けるリンクの数を数えるだけでは足りません。実際に何へつながるのか、そして執筆者がその資料を使ったのかを確認します。参考文献は、実際に利用した資料と、それが支える主張を読み手がたどれるようにします。

一つの書誌情報は一つの出版物を表す必要があります

架空の研修チームが、人が組み立て手順書に従って作業する様子について短い報告書を作っています。AIは8件の参考文献を提案しました。そのうち1件は、タイトルが図の配置に関する研究、著者名がチームでの協働に関する研究のもので、DOIはさらに別の論文へつながっています。これは確認方法を説明するための架空の事例であり、実在する著者やツールに誤りがあったとするものではありません。

このような項目では、修正前の記載を残しておく必要があります。そうしなければ、最初に何を受け取ったのかが分からなくなります。確認担当者は、タイトル、著者、年、掲載先、資料の種類、識別子を分け、それぞれを出版社や適切な登録機関の情報と照合します。DOIの接頭辞が正しいだけでは、ほかの項目の正しさは確認できません。

Crossrefのドキュメントには、Crossrefに登録されたDOIについて、個別のメタデータを取得する方法が説明されています。データは会員や信頼できる情報源から提供されます。不正確なメタデータや一部が欠けたメタデータを報告する仕組みもあります。登録情報は照合に役立ちますが、食い違いがあれば原因を調べる必要があり、直ちにモデルの誤りと決めつけるべきではありません。

手作業で確認する場合、メタデータを取得するプログラムを作る必要はありません。該当する登録情報と出版物のページを開き、どの項目を比較して、どのような結果になったかを記録します。多数の文献を扱う工程では、メタデータの自動取得で作業を速められます。ただし、確認できた一致と、追加確認が必要な候補は区別しなければなりません。検索結果の一番上に出た資料が、そのまま探していた文献になるわけではありません。

一つの登録機関に情報がないだけで、識別子を無効と判断することはできません。まず適切な登録機関を確認し、出版社のページにある情報と比較します。自動ツールがその検索経路に対応していない場合は、「出版物は存在しない」と表示するのではなく、確認待ちにします。報告書では、登録情報の問題と、使った検索方法の制約を分けて示します。

資料の種類にも注意します。登録情報が表しているのは、章、書籍全体、データセット、あるいは論文とは別の補足資料かもしれません。今回の例では、手順書に関する結果が一つの章に書かれているのに、モデルが書籍全体のタイトルを挙げている可能性があります。書籍の有効なDOIを追記すれば大まかな資料にはたどり着けますが、利用した箇所はまだ特定できません。該当部分まで進める情報が必要です。

タイトルは、報告書の通常の文章のように自由に言い換えるべきではありません。資料を探す手掛かりになるためです。原題を残し、日本語の説明を加える場合は別に記載します。モデルが聞こえのよい別のタイトルを作ると、ほかの情報の一部が正しくても、読み手はその名前では存在しない出版物を探すことになります。

著者名では、採用した書式に従って著者一覧を省略することと、別人に著者としての帰属を与えることを区別します。イニシャル、姓を構成する語の順序、文字の表記方法などは、原文との照合が必要な場合があります。表記の違いがすべて架空の文献の証拠になるわけではありません。一方、すべての違いを一文字の修正だけで安全に直せるわけでもありません。分かった原因を記録し、特定できなければ未確定のままにします。

使用した資料にDOIがない場合は、似た出版物の識別子を書き足してはいけません。原題、著者または発行機関、版、利用できる場合は安定したアドレスなど、正しい資料を探せる情報を残します。ある種類の識別子がないことは、資料を別のものに差し替える理由にはなりません。参考文献の見た目ではなく、根拠をたどり直せるかを評価します。

年も同様に扱います。オンラインで先行公開された年と、その後に雑誌の号へ収録された年は、どちらも文脈によって正しい場合があります。何の日付なのかは、適切な登録情報を見て初めて確認できます。公開日、出来事が起きた日、自分が確認した日を区別することで、画面で最も目立つ年に合わせて参考文献を誤って直すことを防げます。発行日・出来事の日・確認日の違いを扱う記事 (ポーランド語)でも、この区別を説明しています。

不一致、アクセス不能、見つからない状態を分けます

架空の8件のうち、1件目は別のタイトルの資料へつながります。これは記載とリンク先の不一致を確認できた状態です。2件目は、使ったツールでは開けません。その経路ではアクセスできないという状態です。3件目は、調べた範囲ではタイトルと著者名から見つかりませんでした。これは範囲が限定された検索結果であり、出版物が存在しない証明にはまだなりません。

この三つをすべて「偽の出典」にしてはいけません。その分類では修正しにくくなります。不一致であれば、正しい文献を特定する必要があります。アクセスできなければ、正当に本文を入手できる別の経路を探せます。見つからない場合は、追加情報を得るか、解決するまで報告書の根拠から外す必要があります。

8件という数を保つためだけに代わりの文献を探してはいけません。組み立て手順の図に関する記述を何が支えるはずだったのか分からないのに、タイトルに似た単語がある別の出版物を加えても解決にはなりません。まず主張に戻り、どのような証拠が必要かを確認します。その後で出典を選び、元の表現を維持できるかを評価します。

Aeneiaのコンセプト写真

問題は、完全に架空の文献に限りません。WaltersとWilderによる2023年の研究の要旨では、存在しない参考文献と、実在する資料の書誌情報に含まれる誤りが区別されています。対象は当時の特定のモデルと、特定のサンプルです。その結果を、現在のツールや特定企業の参考文献リストの品質を測った結果として扱うことはできません。

元のポーランド語記事の執筆時に確認したのは、この研究の登録情報と要旨であり、論文全文ではありません。これも、どこまで読んだかを正確に示す例です。出版物の同一性と、要旨に記された誤りの区分は確認できます。しかし、それだけで研究方法の細部やすべての結果表を確認したとは言えません。

自分たちの記録でも、「書誌情報が一致」「要旨を読了」「全文の指定箇所を読了」を分けます。見つかった資料をすべて読んだ出典と呼んではいけません。長い資料では、該当箇所の位置も証拠の一部です。ページ番号、節名、表番号があれば、次の担当者は出版物全体を再検索せずに根拠へ戻れます。社内向けのAI検索でも、文書を見つけることと、それを回答で正しく使うことの間には同じ境界があります。社内AI検索の情報源を扱う記事 (ポーランド語)でも、この境界を考えます。

Aeneia Auditに、具体的な業務での参考文献の確認方法と支援の可能な範囲を相談できます。その分野の研究内容の専門的な評価は、適切な知識を持つ人に依頼する必要があります。

版と公表後の状態によって引用できる内容が変わります

同じテーマの資料でも、正式な出版前に公開する初期版であるプレプリント、出版後の論文、学会発表資料、その後の訂正文などが存在する場合があります。タイトルが似ているからといって、結果も同一だとは限りません。どの版を読み、参考文献の記載とどのようにつながるのかを記録します。

手元に保存したコピーには、版を明確に識別できる説明を付けます。読んでいない後の版であるかのような名前に変えてはいけません。二つのファイル名が似ている場合は、メモをまとめる前に、表紙と版の表示を比較します。一方の版についての指摘が、もう一方にも自動的に当てはまるわけではありません。こうしておけば、チームは後から、示された箇所がどの資料に由来するのかを再確認できます。報告書が以前のファイルの表を根拠にしている場合、後の出版物のDOIを追記しただけでは、その表が一致することは確認できません。

版を比較するときは、実際に使う数値、方法の制約、結論が成り立つ条件に戻ります。見た目だけの変更をすべて説明する必要はありません。ただし、新版でも自分の記述の根拠が保たれているかは確認します。確認できていなければ、新しい版を自動的に読了扱いにするのではなく、未確認と記録します。

Crossmarkは、訂正や撤回を含む出版物の現在の状態を確認する助けになります。Crossrefは、この仕組みがあるだけで保証になるわけではないと明記しています。情報は更新の報告が維持されているかに左右されます。受け入れ確認では、ボタンが見えたところで終えず、見つかった通知を読み、利用した箇所にどのような影響があるかを評価する必要があります。

訂正は、著者情報、表の数値、結果の解釈などを対象にすることがあります。それぞれ報告書への影響は異なります。論文が撤回された場合も、該当する通知を読む必要があります。参考文献から撤回の表示だけを消し、本文には同じ結論を残すような隠し方をしてはいけません。まず、論拠の何が変わるのかを確認します。

参考文献リストを長期間使う場合は、報告書の次の版を出す前に、重要な出典を再確認する担当を決めます。小さな脚注の更新すべてについて、テーマ全体を最初から調査し直す必要はありません。一方、提言の根拠となる資料が変われば、関係する主張を見直す理由になります。その必要性は、機械的にカレンダーへ書き込んだ月数ではなく、出典が果たす役割から決まります。

書誌情報が正しくても、議論の評価はこれからです

調査を経て、架空の報告書で使っているすべての参考文献が、正しい出版物を表すようになったとします。それでも、組み立て手順に関する箇所を読む必要があります。研究の対象が異なる利用者層や別の作業であったり、チームが再現していない条件で行われていたりするかもしれません。資料の同一性は論拠を調べるために必要ですが、新しい用途でも妥当かどうかを決めるものではありません。

判断を左右する各主張について、自分の記述、資料の該当箇所、結果をほかの場面へ当てはめる際の制約の関係を残します。著者が小規模なサンプルでの観察を述べているなら、それを普遍的な設計原則に変えてはいけません。二つの手順書を比較しているなら、具体的に何が違ったのかを確認します。要旨に「図」という言葉があるだけでは、図版についての任意の助言が裏付けられたことにはなりません。

リンクの数からも結論を出してはいけません。複数の解説が、同じ資料の内容を繰り返していることがあります。出典が食い違う場合に重要なのは、情報の出所と対象範囲であって、一方の列に並ぶ件数の多さではありません。一つの正しい書誌情報にリポジトリと出版社のリンクを加えても、独立した複数の裏付けにはなりません。アジア市場の食い違う資料を扱う記事 (ポーランド語)では、出所と対象範囲を調べます。

市場レポートを確認するときにも、出典が企業の実際の意思決定に対応しているか、という同様の問いがあります。ここでは、その一歩手前である、そもそもどの資料が参考文献に入ったのかの確認から始めました。そこが不明なままでは、後の点検で、別の出版物と結び付いた論拠を分析してしまう可能性があります。韓国の市場レポートの読み方を扱う記事 (ポーランド語)では、根拠と意思決定の関係を考えます。

参考文献の修正は、報告書の本文まで追う必要があります。項目を変更したり削除したりすると、根拠を失う文が生じる場合があります。また、番号を並べ替えると、別の論文を指すようになる場合があります。変更した参照箇所ごとに、正しい資料までたどります。モデルが自分の推論について詳しく説明しても、この対応関係の確認に代わるものにはなりません。AIの説明と独立した証拠を扱う記事 (ポーランド語)でも、この違いを説明しています。

したがって、確認の完了は、8個の確認済みマークが並ぶことではありません。正しい出版物を特定し、実際に読んだ範囲を記録し、利用した箇所と報告書の主張を再び結び付けた参考文献リストを作ることです。根拠が一つ欠けていれば、その記述は修正待ちのままです。根拠を確認できないまま9件目の脚注を足しても、その記述の裏付けにはなりません。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear