Artykuł pomocniczy · pojęcie · Pojęcia · GEO / AI Search
Citation hallucination (halucynacja cytowań)
także: hallucinated references · fabricated citations · reference fabrication · ghost citation · phantom reference
Zjawisko, w którym modele językowe generują wiarygodnie wyglądające, ale nieistniejące lub błędne przypisy bibliograficzne. Szacunki wahają się od ok. 18% (GPT-4) do ponad 70% w części modeli.
Mechanizm
Rozszerzona definicja
Halucynacja cytowań (citation hallucination) to zjawisko, w którym modele językowe generują referencje bibliograficzne wyglądające wiarygodnie pod względem formy, lecz odnoszące się do nieistniejących lub błędnie opisanych publikacji — jak wynika z badania opublikowanego na nature.com, 55% cytowań GPT-3.5 i 18% cytowań GPT-4 było sfabrykowanych1. Wśród cytowań uznanych za niefabrykowane błędy merytoryczne stwierdzono odpowiednio w 43% przypadków GPT-3.5 i 24% przypadków GPT-41. Google wskazuje, że modele generatywne nie wyszukują faktów, lecz przewidują prawdopodobną sekwencję słów na podstawie danych treningowych, przez co ich wyniki mogą zawierać nieścisłości określane właśnie jako halucynacje2.
Jak to działa
Model językowy, generując odpowiedź w stylu akademickim, opiera się na wzorcach statystycznych poznanych podczas treningu, a nie na rzeczywistym wyszukiwaniu dokumentów — Google explicite stwierdza, że generatywne modele nie pobierają faktów, lecz przewidują prawdopodobną sekwencję słów2.
Technika ugruntowania (grounding), znana jako retrieval-augmented generation (RAG), ogranicza to ryzyko: system pobiera z indeksu aktualne strony internetowe, analizuje konkretne ich fragmenty i generuje odpowiedź z widocznymi, klikalnymi linkami wspierającymi treść3. Jednak nawet przy zastosowaniu RAG Google zastrzega, że przed publikacją należy ręcznie sprawdzić całą treść AI pod kątem dokładności i wiarygodności2.
Dlaczego to ważne
Google podkreśla, że funkcje AI Overviews i AI Mode mają wyświetlać trafne linki, aby użytkownicy mogli szybko i wiarygodnie znaleźć potrzebne informacje4 — fałszywe lub błędne referencje generowane przez model stoją w bezpośredniej sprzeczności z tym celem i podważają wiarygodność odpowiedzi. Badanie nad widocznością źródeł w silnikach generatywnych (GEO) wykazało, że dodawanie cytatów i przypisywanie źródeł może zwiększać widoczność treści nawet o ponad 40%5, co oznacza, że twórcy treści mają silną motywację do umieszczania referencji — a przy braku ich weryfikacji materiały zawierające zmyślone cytowania mogą trafiać do indeksów i dalej zasilać dane treningowe51.
Jak mierzyć
Wyniki wyniosły odpowiednio 55% i 18% sfabrykowanych cytowań oraz 43% i 24% błędów merytorycznych wśród cytowań uznanych za rzeczywiste1.
Przykłady
- W badaniu na nature.com ponad połowa cytowań wygenerowanych przez GPT-3.5 okazała się sfabrykowana (55%), podczas gdy w przypadku GPT-4 odsetek ten wyniósł 18%1.
- Nawet cytowania uznane za niefabrykowane zawierały błędy merytoryczne: w 43% przypadków GPT-3.5 i w 24% przypadków GPT-41.
- Badanie GEO wykazało, że włączanie cytatów i statystyk do treści może zwiększać widoczność źródła o ponad 40% w silnikach generatywnych5, co tworzy środowisko, w którym referencje — w tym potencjalnie zmyślone — są silnie premiowane.
Częste błędy i mity
- Mit: mniejszy odsetek sfabrykowanych cytowań w GPT-4 oznacza brak problemu — w rzeczywistości badanie wykazało, że nawet wśród niefabrykowanych cytowań GPT-4 błędy merytoryczne wystąpiły w 24% przypadków1.
- Błąd: traktowanie stylistycznej poprawności cytatu jako dowodu jego istnienia — model przewiduje prawdopodobną sekwencję słów, a nie pobiera faktów, więc poprawna forma bibliograficzna nie świadczy o istnieniu publikacji2.
- Błąd: pomijanie weryfikacji cytowań w treściach AI przeznaczonych do publikacji — Google explicite wskazuje, że ręczne sprawdzenie dokładności i wiarygodności całej treści generatywnej jest krytyczne przed jej opublikowaniem2.
Powiązane hasła
Źródła i odwołania
-
Fabrication and errors in the bibliographic citations generated by ChatGPT | Scientific Reports
Within this set of documents, 55% of the GPT-3.5 citations but just 18% of the GPT-4 citations are fabricated. Likewise, 43% of the real GPT-3.5 citations but just 24% of the real GPT-4 citations include substantive citation errors.
-
Keep in mind that generative models don’t retrieve facts, but predict a likely sequence of words based on their training data. Because of this, generative AI outputs may contain inaccuracies (also known as hallucinations). It is critical to manually factcheck and review all AI-generated content for accuracy and trustworthiness before publishing.
-
Optimizing your website for generative AI features on Google Search
Retrieval-augmented generation (RAG): A technique (also known as grounding) used to improve the quality, accuracy, and freshness of AI responses by relying on our core Search ranking systems to retrieve relevant, up-to-date web pages from our Search index. Our systems then review the specific information from those retrieved pages to generate a more reliable and helpful response, showing prominent, clickable links to relevant web pages that support the information in the response.
-
As with Search overall, the AI features AI Overviews and AI Mode surface relevant links to help people find the information they’re looking for quickly and reliably, as well as to help them explore content they may not have discovered before.
-
GEO: Generative Engine Optimization
Through systematic evaluation, we demonstrate that our proposed Generative Engine Optimization methods can boost visibility by up to 40% on diverse queries, providing beneficial strategies for content creators. Among other things, we find that including citations, quotations from relevant sources, and statistics can significantly boost source visibility, with an increase of over 40% across various queries.
Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.
Źródła faktów
- LLMs can generate fabricated but plausible-sounding bibliographic citations that cannot be traced to real publications.
- LLMs used for academic writing and software engineering evidence synthesis often hallucinate bibliographic references that look legitimate.
- The tendency of LLMs like ChatGPT and Bard to generate unsupported, hallucinated content persists even in systematic review contexts.
- Citation hallucination rates in LLM-generated references range from about 18% in GPT-4 to over 70% in other frontier models, reaching as high as 88% in domain-specific legal contexts.
- Citation hallucinations are fabricated bibliographic citations generated by chatbots like ChatGPT that do not represent actual scholarly works.
- SEO/references/geo/REFS-GEO-R9-Topical-Cues-LLM-Citation.md
- SEO/references/geo/REFS-GEO-R21-Fabricated-Citations-LLM.md