Artykuł pomocniczy · metryka · Metryki · Metryki i KPI
Dokładność cytowań LLM
także: reference accuracy · citation verifiability · LLM Citation Accuracy · Dokładność cytowań LLM
Miara poprawności cytowań generowanych przez LLM — odsetek cytatów dających się zweryfikować w bazach akademickich vs. zfabrykowanych.
Badania
Study na ChatGPT i Bard (Gemini) w kontekście systematic reviews wykazała znaczące różnice w reference accuracy między modelami. Stosuje się deterministyczne pipeline weryfikacyjne (Crossref + Semantic Scholar).
Rozszerzona definicja
Weryfikowalność cytowania wymaga zatem nie tylko wskazania lokalizacji źródła, lecz także zachowania informacji o tym, jakie konkretne twierdzenie ono podpiera i w jaki sposób recenzent może skontrolować to powiązanie1.
Jak to działa
W systemach opartych na generowaniu wspomaganym wyszukiwaniem (retrieval-augmented generation, RAG) model językowy otrzymuje podczas wnioskowania fragmenty pobranych dokumentów, a następnie generuje odpowiedź z numerami referencji powiązanymi z tymi fragmentami2. Weryfikacja dokładności cytowań przebiega dwuetapowo: najpierw sprawdza się, czy każde zdanie wymagające cytowania ma przypisane odpowiednie odniesienie (citation recall), a następnie ocenia się, czy dane odniesienie rzeczywiście wspiera to zdanie oraz czy jest do niego niezbędne2.
Na poziomie metryk systemowych wyróżnia się co najmniej dwa wskaźniki składowe: trafność URL (Relevancy URL), obliczaną jako odsetek cytowanych adresów istotnych dla pytania, oraz poprawność (Correctness), wyrażoną jako stosunek liczby faktów z odpowiedzi potwierdzonych przez cytowane źródła do łącznej liczby faktów3. Oba wskaźniki mogą być agregowane w miarę nadrzędnej, takiej jak Mean Question-Level Accuracy (MQLA)3.
Dlaczego to ważne
Nieweryfikowalne cytowania prowadzą jednocześnie do niepowodzeń w obszarze zarządzania (governance), operacyjnym i zaufania — jak relacjonuje serwis nhimg.org4. Weryfikacja cytowań pozwala odróżnić odpowiedzi jedynie dobrze sformatowane od odpowiedzi rzeczywiście opartych na dowodach, co jest kluczowe wszędzie tam, gdzie systemy RAG służą do wspomagania decyzji5.
Jak mierzyć
Podstawowym podejściem jest sprawdzenie, czy każde zdanie wymagające cytowania ma właściwe odniesienie oraz czy to odniesienie wspiera dane zdanie — zgodnie z metodologią opisaną w ScholarQABench2.
Na poziomie systemu RAG mierzy się Relevancy URL (ułamek cytowanych URL-i istotnych dla pytania) oraz Correctness (stosunek faktów potwierdzonych przez cytaty do wszystkich faktów w odpowiedzi); oba wskaźniki składają się na agregat MQLA3.
Serwis citeanything.veri-glow.com wskazuje, że status zrzutu ekranu (screenshot status) jest jednym z sygnałów weryfikacji, odrębnym od ekstrakcji cytatów, osiągalności źródła i recenzji ludzkiej6.
Przykłady
- W ScholarQABench wszystkie badane systemy generują odpowiedzi z numerami referencji (np. [1], [2]) powiązanymi z fragmentami dostarczonymi podczas wnioskowania, co umożliwia automatyczną ocenę citation recall2.
- Serwis nhimg.org opisuje przepływ pracy, w którym system AI oznacza cytowania o niskiej pewności przed publikacją, kierując je do recenzji ludzkiej zgodnej z ramami NIST Cybersecurity Framework 2.04.
- Według citeanything.veri-glow.com źródła mogą zmieniać treść, blokować automatyczne zrzuty ekranu lub udostępniać tekst inaczej przeglądarkom i parserom, co sprawia, że nie każde cytowanie jest równie dobrze zachowane6.
- Google opisuje RAG jako technikę, w której systemy analizują konkretne informacje z pobranych stron i wyświetlają klikalne linki do stron wspierających odpowiedź — co stanowi operacyjną implementację weryfikowalności cytowań7.
Częste błędy i mity
- Mit: URL cytowanego źródła wystarczy jako dowód weryfikowalności — w rzeczywistości weryfikowalne cytowanie musi też zachowywać informację o tym, jakie twierdzenie wspiera i jak recenzent może skontrolować to powiązanie1.
- Błąd: traktowanie wszystkich cytowań jako równoważnie zachowanych — serwis citeanything.veri-glow.com wskazuje, że źródła mogą zmieniać treść lub blokować dostęp, więc status dostępności artefaktu powinien być raportowany oddzielnie6.
- Błąd: pomijanie wymiaru niezbędności cytowania — ocena powinna obejmować nie tylko to, czy cytat wspiera zdanie, lecz także czy jest do niego konieczny, co stanowi odrębny krok weryfikacji2.
Powiązane hasła
Źródła i odwołania
-
What makes a citation verifiable?
A URL says where information may have come from. A verifiable citation also preserves what was found, which claim it supports, and how a reviewer can inspect the handoff.
-
Synthesizing scientific literature with retrieval-augmented language models
Evaluating long-form responses to literature review questions requires citation accuracy: LMs should correctly attribute relevant evidence for all citation-worthy statements. In ScholarQABench, all systems generate outputs with reference numbers (for example, [1], [2]) linked to passages provided during inference. Following previous work,, we check whether each citation-worthy statement has appropriate citations and whether the citations support the statement (citation recall). For each citation, we then verify its relevance and necessity—specifically, whether the citation supports the statement and whether its removal affects the integrity of remaining citations (citation precision). Finally, we compute citation F1 and use it as a primary metric for citation accuracy.
-
CiteFix: Enhancing RAG Accuracy Through Post- ...
We developed the following metrics to evaluate RAG system performance. The uber level metric we track is called "Mean Question-Level Accuracy" (MQLA). It combines the following: • Relevancy URL: Checks if the set of citations referenced to by the LLM are relevant to the question. Calculated as the fraction of cited URLs that are relevant. • Correctness: Checks if the facts present in the LLM’s response can be verified in the citations provided. Calculated as the ratio of number of facts supported by cited references and the total number of facts.
-
What Is Citation Verification? Definition & Examples
An AI workflow flags low-confidence citations before publishing, prompting a human reviewer to NIST Cybersecurity Framework 2.0-aligned oversight before the response is used for decision support. Citation verification matters because unsupported answers create governance, operational, and trust failures at the same time.
-
What Is Citation Verification? Definition & Examples
It helps distinguish answers that are merely well formatted from answers that are genuinely evidence based, which is essential when RAG systems are used for internal decision support. Citation verification is the process of checking whether a cited document, passage, or knowledge source truly supports the answer a system produced. In retrieval-augmented generation and other evidence-based AI workflows, it is not enough for a response to merely look plausible or include a reference.
-
What makes a citation verifiable?
Sources can change, reject automated screenshots, or expose text differently to browsers and parsers. CiteAnything reports the artifact that is actually available instead of presenting every citation as equally preserved. Note: Screenshot status is one signal. It is separate from quote extraction, source reachability, and human review.
-
Optimizing your website for generative AI features on Google Search
Retrieval-augmented generation (RAG): A technique (also known as grounding) used to improve the quality, accuracy, and freshness of AI responses by relying on our core Search ranking systems to retrieve relevant, up-to-date web pages from our Search index. Our systems then review the specific information from those retrieved pages to generate a more reliable and helpful response, showing prominent, clickable links to relevant web pages that support the information in the response.
Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.
Źródła faktów
- A deterministic verification pipeline built on Crossref and Semantic Scholar was used to evaluate citation verifiability across models including Claude Sonnet and GPT-4o.
- A study tested whether ChatGPT 4o-mini could correctly answer basic factual questions about tens of thousands of real academic journal articles.
- SEO/references/geo/REFS-GEO-R9-Topical-Cues-LLM-Citation.md