Bibliografia od AI: działający DOI może prowadzić do innej pracy

Wyobraźmy sobie kontrolę, w której po otwarciu DOI pojawia się prawdziwa publikacja, więc pozycja w bibliografii dostaje zielony znaczek. Dopiero później ktoś zauważa, że autorzy i tytuł dotyczą innej pracy. Link spełnił swoją funkcję, ale kontrola została zakończona za wcześnie. W bibliografii trzeba potwierdzić, że wszystkie pola opisują ten sam materiał, a następnie przeczytać materiał potrzebny do wniosku.

DOI to trwały identyfikator obiektu, używany między innymi przy publikacjach naukowych i zbiorach danych. DOI Foundation opisuje jego rolę w identyfikacji oraz kierowaniu do obiektu lub informacji o nim. Metadane, czyli dane opisujące obiekt, oraz adresy mogą być aktualizowane bez zmiany samego identyfikatora. To mechanizm odnajdywania materiału, nie certyfikat prawdziwości każdej tezy, która znalazła się obok linku.

Przy odbiorze materiału przygotowanego z AI nie wystarczy więc policzyć działających odsyłaczy. Ustal, do czego faktycznie prowadzą i czy właśnie te materiały autor wykorzystał. Bibliografia ma ułatwiać odnalezienie podstawy rozumowania. Nie powinna działać jak dekoracyjna ściana książek w tle wideokonferencji.

Jeden rekord musi opisywać jedną publikację

W fikcyjnym zespole szkoleniowym powstaje krótki raport o tym, jak ludzie wykonują instrukcje montażu. AI proponuje osiem źródeł. Przy jednej pozycji tytuł dotyczy układu ilustracji, nazwiska pochodzą z pracy o współpracy zespołowej, a DOI prowadzi do jeszcze innego artykułu. To wymyślony przypadek kontrolny; nie przypisujemy błędu rzeczywistemu autorowi ani narzędziu.

Przy takiej pozycji trzeba zachować oryginalny zapis przed poprawką. Inaczej nie będzie wiadomo, co właściwie odebrano. Osoba sprawdzająca rozdziela tytuł, autorów, rok, miejsce publikacji, typ materiału i identyfikator. Następnie porównuje je z rekordem wydawcy lub właściwego rejestru. Poprawny prefiks DOI nie potwierdza pozostałych pól.

W dokumentacji Crossref opisano dostęp do pojedynczego rekordu metadanych dla DOI zarejestrowanego w Crossref. Dane pochodzą od członków i zaufanych źródeł. Dokumentacja przewiduje również zgłaszanie błędnych lub częściowych metadanych. Rejestr pomaga porównać rekord, ale rozbieżność nadal trzeba wyjaśnić, a nie automatycznie przypisać winę modelowi.

Przy ręcznym odbiorze nie musisz tworzyć programu do pobierania metadanych. Otwórz właściwy rekord i stronę publikacji. Zapisz, które pola porównano i jaki był wynik. Gdy proces ma obsługiwać wiele pozycji, automatyczne pobieranie metadanych może przyspieszyć tę czynność, lecz powinno oddzielać trafne dopasowanie od kandydatury wymagającej sprawdzenia. Pierwszy wynik wyszukiwania nie jest automatycznie odnalezioną pracą.

Brak rekordu w jednym rejestrze nie wystarcza do odrzucenia identyfikatora. Najpierw ustal właściwą agencję i porównaj informacje na stronie wydawcy. Jeżeli narzędzie automatyczne nie obsługuje danej drogi, wynik powinien trafić do sprawdzenia, a nie dostać etykietę „publikacja nie istnieje”. W raporcie oddziel błąd rekordu od ograniczenia użytego sposobu wyszukania.

Zwróć uwagę również na rodzaj materiału. Rekord może opisywać rozdział, całą książkę, zbiór danych lub osobny dodatek do artykułu. W naszym przykładzie wynik o instrukcjach może znajdować się w rozdziale, choć model podał tytuł tomu. Dopisanie działającego DOI książki pomoże odnaleźć ogólny materiał, ale nie wskaże jeszcze wykorzystanego fragmentu. Potrzebne są dane umożliwiające przejście do właściwej części.

Tytułu nie należy swobodnie parafrazować tak jak zwykłego zdania w raporcie. Może służyć jako klucz do wyszukania materiału. Zachowaj oryginał, a polskie objaśnienie dodaj osobno. Jeśli model utworzył lepiej brzmiący tytuł, odbiorca może szukać publikacji, której pod taką nazwą nie ma, mimo że część pozostałych danych jest poprawna.

Przy nazwiskach odróżnij skrócenie listy zgodne z przyjętym stylem od przypisania autorstwa innej osobie. Inicjał, kolejność członów nazwiska lub sposób zapisu znaków mogą wymagać porównania z oryginałem. Nie każde odstępstwo dowodzi zmyślenia pracy. Nie każde daje się też bezpiecznie naprawić zmianą jednej litery. Zapisz rozpoznaną przyczynę lub pozostaw wynik niejednoznaczny.

Jeżeli wykorzystany materiał nie ma DOI, nie dopisuj identyfikatora podobnej publikacji. Zachowaj dane pozwalające odnaleźć właściwe źródło: oryginalny tytuł, autora lub instytucję, wydanie i stabilny adres, jeśli jest dostępny. Brak jednego rodzaju identyfikatora nie uzasadnia podmiany materiału. Oceniaj możliwość odtworzenia podstawy, zamiast premiować sam wygląd pozycji w bibliografii.

Podobnie traktuj rok. Wcześniejsze udostępnienie w sieci i późniejsze przypisanie do wydania czasopisma mogą tworzyć dwa prawidłowe konteksty daty. Dopiero właściwy rekord pozwala ustalić, czego dotyczy każdy zapis. Rozdzielenie daty publikacji, zdarzenia i własnego odczytu zapobiega poprawianiu bibliografii według najbardziej widocznego roku na ekranie.

Rozdziel brak, rozbieżność i brak dostępu

Pierwsza z ośmiu fikcyjnych pozycji prowadzi do materiału o innym tytule. To potwierdzona rozbieżność między zapisem a celem. Druga nie daje się otworzyć w użytym narzędziu. To brak dostępu tą drogą. Trzeciej nie odnaleziono po tytule i nazwiskach w sprawdzonych miejscach. To wynik wyszukiwania o określonym zakresie, który nie dowodzi jeszcze nieistnienia publikacji.

Nie nadawaj wszystkim trzem statusu „fałszywe źródło”. Taka etykieta utrudni naprawę. Przy rozbieżności trzeba ustalić właściwą pracę. Przy braku dostępu można poszukać uprawnionej drogi do tekstu. Przy nieodnalezionej pozycji potrzebne są dalsze dane albo usunięcie jej z używanej podstawy raportu do czasu wyjaśnienia.

Nie szukaj zamiennika tylko po to, aby zachować osiem pozycji. Jeśli nie wiadomo, jaki materiał miał poprzeć zdanie o ilustracjach montażu, inna publikacja z podobnym słowem w tytule nie naprawia sprawy. Najpierw wróć do tezy i ustal, jakiego dowodu wymaga. Dopiero potem dobieraj źródło oraz oceniaj, czy wolno utrzymać dotychczasowe sformułowanie.

Problem nie ogranicza się do całkowicie zmyślonych prac. Abstrakt badania Waltersa i Wilder z 2023 roku rozdziela nieistniejące pozycje bibliograficzne od błędów w opisach rzeczywistych materiałów. Dotyczy wskazanych historycznych wersji modeli i określonej próby. Nie wykorzystujemy jego wyników jako pomiaru jakości dzisiejszego narzędzia ani bibliografii konkretnej firmy.

Na potrzeby tego tekstu odczytano rekord i abstrakt tego badania, nie pełny artykuł. To również przykład poprawnego ograniczenia statusu lektury. Można potwierdzić tożsamość publikacji i opisany w abstrakcie podział błędów. Nie można na tej podstawie twierdzić, że sprawdzono wszystkie szczegóły metody lub każdą tabelę wyników.

Własny rejestr powinien podobnie rozróżniać „rekord zgodny”, „abstrakt przeczytany” i „odczytano wskazane fragmenty pełnego tekstu”. Nie nazywaj każdej odnalezionej pozycji przeczytanym źródłem. Przy dłuższym materiale położenie fragmentu jest częścią dowodu. Numer strony, nazwa sekcji lub oznaczenie tabeli pozwalają następnej osobie wrócić do podstawy bez ponownego przeszukiwania całej publikacji. W firmowej wyszukiwarce AI podobna granica oddziela odnalezienie dokumentu od poprawnego wykorzystania go w odpowiedzi.

W Aeneia Audit taki przegląd można rozpocząć od bibliografii używanej w konkretnym procesie i kilku tez rozstrzygających o wyniku. Zakres operacyjny obejmuje pochodzenie rekordów, sposób weryfikacji oraz zapis braków. Merytoryczną ocenę badań w danej dziedzinie trzeba powierzyć osobie z odpowiednim przygotowaniem.

Wersja i status mogą zmienić to, co wolno zacytować

Ten sam temat może występować jako preprint, czyli wczesna wersja udostępniona przed formalną publikacją, artykuł po publikacji, materiał konferencyjny i późniejsza korekta. Nie zakładaj, że podobny tytuł oznacza identyczne wyniki. Zapisz, którą wersję odczytano, oraz wskaż związek z pozycją w bibliografii.

Własna pobrana kopia powinna mieć jednoznaczny opis wersji. Nie zmieniaj jej nazwy tak, aby sugerowała późniejsze wydanie, którego nie odczytano. Jeśli dwa pliki mają podobne nazwy, porównaj stronę tytułową i oznaczenie wydania przed łączeniem notatek. Uwagi z jednej wersji nie przechodzą automatycznie na drugą. Dzięki temu zespół może później odtworzyć, z którego materiału pochodzi wskazany fragment. Jeśli raport opiera się na tabeli z wcześniejszego pliku, samo dopisanie DOI późniejszej publikacji nie potwierdza zgodności tej tabeli.

Przy porównaniu wersji wróć do elementu, który wykorzystujesz: liczby, ograniczenia metody lub warunku wniosku. Nie musisz opisywać każdej kosmetycznej zmiany dokumentu. Ustal jednak, czy nowe wydanie zachowuje podstawę własnego zdania. Jeśli tego nie ustalono, rejestr powinien pokazywać brak zamiast automatycznie oznaczać nowszą wersję jako przeczytaną.

Crossmark pomaga sprawdzić aktualny status publikacji, w tym korekty i wycofania. Crossref wyraźnie zaznacza, że sama obecność tego mechanizmu nie jest gwarancją. Informacje zależą od utrzymywania zgłoszeń. W odbiorze trzeba odczytać znaleziony komunikat i ocenić jego znaczenie dla używanego fragmentu, zamiast kończyć na widoku przycisku.

Korekta może dotyczyć autorstwa, liczby w tabeli lub interpretacji wyniku. Każdy przypadek ma inną konsekwencję dla raportu. Wycofanie publikacji również wymaga przeczytania odpowiedniego zawiadomienia. Nie wolno ukrywać go przez usunięcie oznaczenia z bibliografii i pozostawienie tego samego wniosku w treści. Najpierw ustal, co zmienia się w podstawie argumentu.

Gdy bibliografia ma być używana przez dłuższy czas, przypisz odpowiedzialność za ponowne sprawdzenie kluczowych źródeł przed kolejnym wydaniem raportu. Nie każda aktualizacja drobnego przypisu wymaga nowego badania całego tematu. Zmiana materiału, na którym opiera się rekomendacja, uzasadnia natomiast powrót do odpowiednich tez. To zadanie wynika z roli źródła, nie z liczby miesięcy wpisanej mechanicznie w kalendarz.

Zgodna bibliografia dopiero otwiera ocenę argumentu

Załóżmy, że po wyjaśnieniach wszystkie używane pozycje fikcyjnego raportu opisują właściwe publikacje. Nadal trzeba przeczytać fragmenty dotyczące instrukcji montażu. Badanie może dotyczyć innej grupy użytkowników, innego zadania lub warunków, których zespół nie odtwarza. Tożsamość materiału jest konieczna do sprawdzenia argumentu, ale nie przesądza jego trafności dla nowego zastosowania.

Przy każdej decydującej tezie zachowaj relację: własne zdanie, właściwy fragment materiału i ograniczenie przeniesienia wyniku. Jeśli autorzy opisują obserwację w małej próbie, nie zmieniaj jej w uniwersalną zasadę projektowania. Gdy porównują dwa warianty instrukcji, sprawdź, czym dokładnie się różniły. Sam wyraz „ilustracja” w abstrakcie nie potwierdza dowolnej rady o grafice.

Nie wnioskuj również z liczby odsyłaczy. Kilka omówień może powtarzać ten sam materiał. Przy sprzecznych źródłach znaczenie ma ich pochodzenie i zakres, a nie przewaga liczebna jednej kolumny. Jeden zgodny rekord bibliograficzny nie staje się kilkoma niezależnymi potwierdzeniami po dopisaniu linku do repozytorium i strony wydawcy.

Przy odbiorze raportu rynkowego podobne pytanie brzmi: czy źródło odpowiada decyzji, którą firma rzeczywiście podejmuje? Tutaj zaczęliśmy o krok wcześniej, od ustalenia, jakie materiały w ogóle znalazły się w bibliografii. Bez tego późniejszy przegląd może analizować argument powiązany z cudzą publikacją.

Poprawę bibliografii trzeba prześledzić także w treści raportu. Zmiana lub usunięcie pozycji może osierocić zdanie, a przestawienie kolejności numerów przypisać je do innej pracy. Przejdź od każdego zmienionego odwołania do właściwego materiału. Dłuższe wyjaśnienie modelu o własnym rozumowaniu nie zastąpi tego powiązania.

Zakończeniem odbioru nie jest więc osiem zielonych znaczków. Jest nim bibliografia, w której rozpoznano właściwe publikacje, zapisano faktyczny zakres lektury i ponownie powiązano wykorzystane fragmenty z tezami raportu. Gdy jednej podstawy brakuje, odpowiednie zdanie pozostaje do poprawki. Nie trzeba ratować go dziewiątym przypisem.