1. Wiedza
  2. Pojęcia
  3. Recency bias w retrieval LLM

Artykuł pomocniczy · pojęcie · Pojęcia · GEO / AI Search

Recency bias w retrieval LLM

także: LLM date bias · temporal bias in AI search · freshness preference · Recency Bias in LLM Retrieval · bias świeżości

Tendencja systemów retrieval/LLM do faworyzowania nowszych dokumentów kosztem starszych, nawet gdy starsze źródło jest kanoniczne lub dokładniejsze.

Stos zwojów z rubinowym najnowszym na górze – metafora recency bias w retrieval LLM.

Znaczenie dla wydawców

Aktualizacje dat i refresh treści pomagają w cytowaniach, ale nie zastępują jakości. Jednocześnie warto utrzymywać kanoniczne definicje, by model nie „przeskakiwał” wyłącznie na świeże, słabsze teksty.

Rozszerzona definicja

Badania na kolekcjach TREC Deep Learning (DL21, DL22) wykazały, że po dodaniu sztucznych dat publikacji do fragmentów tekstów siedem testowanych modeli konsekwentnie promowało „świeższe” fragmenty, przesuwając średni rok publikacji Top-10 nawet o 4,78 roku do przodu1. Efekt był systematyczny i obejmował modele z rodzin GPT-3.5-turbo, GPT-4o, GPT-4, LLaMA-3 8B/70B oraz Qwen-2.5 7B/72B2.

Jak to działa

W eksperymentach każdy fragment poprzedzano etykietą „Published on: {Date}” w formacie YYYY/MM/DD, co pozwalało modelowi odczytać datę publikacji przed oceną trafności3. Na tej podstawie modele stosowane jako rerankerzy listwise przesuwały poszczególne elementy nawet o 95 pozycji w rankingu na korzyść nowszych dat2.

Dodatkowym mechanizmem sprzyjającym temu zjawisku w modelach open source jest schemat osadzania pozycyjnego rotary positional embedding (RoPE), który wykazuje indukcyjny bias w stronę mniejszej uwagi dla dużych odległości — jak wskazują autorzy badania, może to ułatwiać modelom uczenie się preferowania nowszych tokenów4.

Na poziomie wyszukiwarek Google stosuje odrębne systemy „query deserves freshness” (QDF), zaprojektowane do pokazywania świeższych treści dla zapytań, w których jest to oczekiwane5; recency bias w LLM jest jednak zjawiskiem odrębnym — dotyczy etapu rerankingu przez model językowy, a nie algorytmu indeksowania.

Dlaczego to ważne

Badanie Ahrefs wykazało, że ChatGPT najczęściej cytuje nowsze strony, podczas gdy Google AI Overviews i organiczne wyniki Google najczęściej cytują starsze strony6.

Przykłady

  • Średni rok publikacji dokumentów w Top-10 przesunął się o maksymalnie 4,78 roku do przodu po dodaniu etykiet dat do fragmentów — efekt zaobserwowano we wszystkich siedmiu badanych modelach1.
  • Badanie Ahrefs odnotowało, że ChatGPT jest najbardziej skłonny do cytowania nowszych stron, a Google AI Overviews i organiczne wyniki Google — do cytowania starszych stron6.
  • Schemat RoPE stosowany w badanych modelach open source wykazuje indukcyjny bias w stronę mniejszej uwagi dla dużych odległości, co — jak wskazują autorzy — może sprzyjać uczeniu się preferowania nowszych tokenów4.

Częste błędy i mity

  • Mit: wszystkie systemy AI search jednakowo faworyzują nowe treści — w rzeczywistości Google AI Overviews i organiczne wyniki Google najczęściej cytują starsze strony, a ChatGPT najczęściej cytuje nowsze6.
  • Mit: efekt dotyczy tylko jednego modelu lub rodziny modeli — w rzeczywistości systematyczne promowanie świeższych fragmentów zaobserwowano we wszystkich siedmiu testowanych modelach, w tym GPT-3.5-turbo, GPT-4o, GPT-4, LLaMA-3 8B/70B i Qwen-2.5 7B/72B2.
  • Mit: data publikacji musi być prawdziwa, by wpłynąć na ranking — w rzeczywistości w badaniu użyto sztucznych, prepend-owanych etykiet dat, a efekt rerankingowy był mimo to systematyczny i silny31.

Powiązane hasła

Źródła i odwołania

  1. [2509.11353] Do Large Language Models Favor Recent Content? A Study on Recency Bias in LLM-Based Reranking

    arxiv.org ·

    We investigate whether LLMs implicitly favour newer documents by prepending artificial publication dates to passages in the TREC Deep Learning passage retrieval collections in 2021 (DL21) and 2022 (DL22). Across seven models, GPT-3.5-turbo, GPT-4o, GPT-4, LLaMA-3 8B/70B, and Qwen-2.5 7B/72B, "fresh" passages are consistently promoted, shifting the Top-10's mean publication year forward by up to 4.78 years and moving individual items by as many as 95 ranks in our listwise reranking experiments.

  2. Do Large Language Models Favor Recent Content? A Study on Recency Bias in LLM-Based Reranking

    arxiv.org ·

    Across seven models, GPT-3.5-turbo, GPT-4o, GPT-4, LLaMA-3 8B/70B, and Qwen-2.5 7B/72B, “fresh” passages are consistently promoted, shifting the Top-10’s mean publication year forward by up to 4.78 years and moving individual items by as many as 95 ranks in our listwise reranking experiments.

  3. Do Large Language Models Favor Recent Content? A Study on Recency Bias in LLM-Based Reranking

    arxiv.org ·

    We then prefix every passage in the resulting SERP with ‘‘Published on: {Date}.'' where {Date} is in the format of ‘‘YYYY/MM/DD’’.

  4. Attention Sorting Combats Recency Bias In Long Context Language Models

    arxiv.org ·

    In addition, the rotary positional embedding (RoPE) scheme used in the open source models we investigate has an inductive bias towards reduced attention at long distances [27] that may make it even easier for these models to learn to attend preferentially to recent tokens.

  5. A Guide to Google Search Ranking Systems | Google Search Central | Documentation | Google for Developers

    developers.google.com ·

    We have various "query deserves freshness" systems designed to show fresher content for queries where it would be expected.

  6. New Study: AI Assistants Prefer to Cite “Fresher” Content (17 Million Citations Analyzed)

    ahrefs.com ·

    Google’s AI Overviews and organic search results are the most likely to cite older pages. ChatGPT is most likely to cite newer pages.

Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.

Źródła faktów

  • SEO/research/geo/EVIDENCE-GEO-R5-Citation-Velocity-Freshness.md