1. Wiedza
  2. Pojęcia
  3. A/B test PIXAR w wyszukiwarce komercyjnej

Artykuł pomocniczy · pojęcie · Pojęcia · Pozostałe

A/B test PIXAR w wyszukiwarce komercyjnej

PIXAR (Phrase-Indexed eXtreme vocabulary for non-Autoregressive Retrieval) to metoda generatywnego wyszukiwania na modelu nieautoregresyjnym, która rozszerza słownik docelowy o wielowyrazowe frazy i encje (do 5 milionów tokenów). W testach online A/B w dużej komercyjnej wyszukiwarce zwiększyła kliknięcia w reklamy o 5,08% i przychody o 4,02%.

Grawerunek symboliczny hasła wiedzy AION

Co to jest

PIXAR to podejście do generatywnego retrievalu na modelu nieautoregresyjnym (NAR). Zamiast ograniczać słownik docelowy do słów i podsłów, dodaje wielowyrazowe encje i popularne frazy — nawet do 5 milionów tokenów — żeby zmniejszyć zależności między tokenami, których standardowy NAR nie modeluje.

Jak działa

Modele autoregresyjne w generatywnym wyszukiwaniu mają wysoką latencję wnioskowania względem wyszukiwania gęstego. NAR generuje wszystkie tokeny identyfikatora dokumentu równolegle, ale traci jakość. PIXAR łączy większy słownik fraz z optymalizacjami wnioskowania (shortlista klastrów słownika, ponowne rankowanie na każdej pozycji i ograniczony beam search), żeby zachować niską latencję.

Wyniki testu A/B i benchmarki

W eksperymencie online A/B w dużej komercyjnej wyszukiwarce PIXAR zwiększył kliknięcia w reklamy o 5,08% i przychody o 4,02%, a także CTR o 0,64% i pokrycie zapytań o 4,35% wobec ensemblu własnościowych algorytmów gęstego i generatywnego wyszukiwania. Offline: względnie +31,0% MRR@10 na MS MARCO i +23,2% Hits@5 na Natural Questions wobec standardowego NAR o podobnej latencji; na SponsoredSearch-1B P@100 wzrosło z 23,5% do 29,1% (+23,7% względnie wobec CLOVERv2).

Rozszerzona definicja

PIXAR (Phrase-Indexed eXtreme vocabulary for non-Autoregressive Retrieval) to metoda generatywnego wyszukiwania oparta na modelu nieautoregresyjnym1. Zamiast ograniczać słownik docelowy wyłącznie do słów i podsłów, PIXAR rozszerza go o wielowyrazowe encje i popularne frazy — nawet do 5 milionów tokenów — i w ten sposób zmniejsza zależności między tokenami, które standardowy model NAR pomija2.

Jak to działa

Generatywne wyszukiwanie oparte na modelach autoregresyjnych ma wysoką latencję wnioskowania i wyższy koszt względem klasycznego wyszukiwania gęstego, co ogranicza zastosowania praktyczne, zwłaszcza w wyszukiwaniu sponsorowanym3.

Modele nieautoregresyjne przyspieszają wnioskowanie, bo generują wszystkie tokeny identyfikatora dokumentu jednocześnie, ale tracą jakość retrievalu, ponieważ nie modelują zależności między tokenami docelowymi4.

PIXAR odpowiada na to dwoma ruchami: rozszerza słownik o frazy z identyfikatorów dokumentów oraz stosuje optymalizacje wnioskowania, żeby utrzymać niską latencję mimo znacznie większego słownika2. W potoku najpierw embedding shortlisty wybiera klastry słownika, potem tokeny z ich sumy są ponownie rankowane na każdej pozycji wyjścia, a identyfikatory dokumentów powstają przez ograniczony beam search na trie5.

Dlaczego to ważne

W eksperymentach online A/B w dużej komercyjnej wyszukiwarce PIXAR zwiększył liczbę kliknięć w reklamy o 5,08% i przychody o 4,02%6.

W tym samym wdrożeniu w wyszukiwaniu sponsorowanym — przy porównaniu z ensemblem wiodących własnościowych algorytmów gęstego i generatywnego wyszukiwania — odnotowano też wzrost współczynnika klikalności o 0,64% i pokrycia zapytań o 4,35%7.

Wyniki offline i skala słownika

  • Na zbiorze MS MARCO PIXAR uzyskał względną poprawę MRR@10 o 31,0%, a na Natural Questions względną poprawę Hits@5 o 23,2% wobec standardowych modeli NAR o podobnej latencji i koszcie8.
  • Na zbiorze SponsoredSearch-1B — około 1,7 miliarda par zapytanie–słowo kluczowe, 70 milionów unikalnych zapytań i 56 milionów unikalnych słów kluczowych — PIXAR podniósł P@100 z 23,5% do 29,1% wobec CLOVERv2, czyli o 23,7% względnie9.
  • Skala słownika nadal pomaga po przekroczeniu miliona tokenów: przy przejściu z 1 miliona do 5 milionów tokenów Recall@5 na MS MARCO rośnie o 7,7% (z 35,7 do 38,5)10.

Powiązane hasła

Źródła i odwołania

  1. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    We present PIXAR (Phrase-Indexed eXtreme vocabulary for non-Autoregressive Retrieval), a novel approach to NAR-based GR.

  2. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    We propose PIXAR, a novel approach that expands the target vocabulary of NAR models to include multi-word entities and common phrases (up to 5 million tokens), thereby reducing token dependencies.

  3. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    However, AR-based Generative Retrieval methods suffer from high inference latency and cost compared to traditional dense retrieval techniques, limiting their practical applicability.

  4. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    While standard NAR models alleviate latency and cost concerns, they exhibit a significant drop in retrieval performance (compared to AR models) due to their inability to capture dependencies between target tokens.

  5. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    The query is first encoded by a Transformer to produce shortlist embedding x0 and token embeddings {x1,⋯,xs}. The shortlist embedding x0 is used to identify k vocabulary clusters. The union of these clusters, W0, is then re-ranked at each position using the corresponding token embeddings, producing a set of ranked candidate tokens with their probability scores. The docids are predicted from these tokens via constrained beam search.

  6. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    Furthermore, online A/B experiments on a large commercial search engine show that PIXAR increases ad clicks by 5.08% and revenue by 4.02%.

  7. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    Further, we deployed PIXAR on a large-scale commercial search engine and conducted A/B testing against an ensemble of leading proprietary dense retrieval and generative retrieval algorithms. PIXAR improved revenue by 4.02% with 5.08% increase in clicks, 0.64% increase in click-through rate, and 4.35% increase in query coverage, underscoring its effectiveness in a real-world setting.

  8. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    Our results demonstrate that PIXAR achieves a relative improvement of 31.0% in MRR@10 on MS MARCO and 23.2% in Hits@5 on Natural Questions compared to standard NAR models with similar latency and cost.

  9. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    This dataset includes approximately 1.7 billion query-keyword pairs, with 70 million unique queries and 56 million unique keywords. We first evaluated PIXAR on the SponsoredSearch-1B dataset, where it significantly outperformed CLOVERv2, increasing P@100 from 23.5% to 29.1% (relative improvement of 23.7%).

  10. Scaling the Vocabulary of Non-autoregressive Models for Efficient Generative Retrieval

    arxiv.org ·

    For instance, when increasing the vocabulary size from 1 million to 5 million tokens, Recall@5 on the MS MARCO dataset improves by 7.7% (from 35.7 to 38.5).

Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.

Źródła faktów

  • A/B test PIXAR w wyszukiwarce komercyjnej — scholar
  • Online A/B experiments on a large commercial search engine show that PIXAR increases ad clicks by 5.08% and revenue by 4.02%. — arxiv
  • scholar