Porównanie · pojęcie · Pojęcia · Pozostałe
Eksploracja vs eksploatacja w crawlowaniu
także: exploration vs exploitation · exploration exploitation balancing · bandit approaches · Exploration-exploitation tradeoff in crawling · exploration exploitation
Dylemat algorytmiczny crawlera: ile zasobów przeznaczyć na odkrywanie nowych URL-i (exploration), a ile na ponowne odwiedziny znanych, ważnych stron (exploitation).
Przekład na crawl budget
Źle zaprojektowana architektura zmusza robota do eksploracji śmieciowych URL-i kosztem odświeżania stron revenue. Sitemap, canonical i wewnętrzne linki pomagają przesunąć balans w stronę wartościowych zasobów.
Rozszerzona definicja
Dylemat eksploracji vs eksploatacji w crawlowaniu opisuje napięcie w projektowaniu robotów indeksujących: jak rozdzielić ograniczone zasoby między odkrywanie nieznanych dotąd adresów URL a ponowne odwiedziny stron już znanych — sieć jest bowiem niemal nieskończona i przekracza możliwości Google w eksplorowaniu każdego publicznie dostępnego URL1. W efekcie istnieją ograniczenia co do czasu i zasobów, jakie Google może przeznaczyć na crawlowanie pojedynczej witryny1. Budżet crawlowania witryny składa się z dwóch głównych elementów: limitu przepustowości crawlera (crawl capacity limit) oraz popytu na crawlowanie (crawl demand)2.
Jak to działa
Robot indeksujący działa jako „dobry obywatel” sieci — crawlowanie jest jego głównym priorytetem, ale bez pogarszania doświadczenia użytkowników odwiedzających witrynę3.
Jednym z podejść do automatyzacji wyboru między eksploracją a eksploatacją jest zastosowanie algorytmów opartych na próbkowaniu Thompsona (Thompson sampling): w badaniu na zbiorze 4 070 stron źródłowych z 53 domen newsowych przez 7 tygodni crawler oparty na tej metodzie odkrywał średnio o 20% więcej nowych stron, znajdował je o 6 godzin wcześniej i używał o 14 mniej odświeżeń na 100 odkrytych stron niż dotychczasowy stan wiedzy (SOTA)4.
Dlaczego to ważne
Sieć przekracza możliwości eksploracyjne Google, co sprawia, że każda witryna konkuruje o ograniczoną pulę zasobów crawlera1.
Googlebot jest zaprojektowany tak, by nie degradować doświadczenia użytkowników witryny, co stanowi dodatkowe ograniczenie niezależne od samego budżetu3.
Przykłady
- W badaniu na 53 domenach newsowych crawler oparty na próbkowaniu Thompsona używał o 14 mniej odświeżeń na 100 odkrytych stron niż rozwiązanie SOTA, co ilustruje wymierny zysk z lepszego balansu między eksploracją a eksploatacją4.
Częste błędy i mity
- Mit: budżet crawlowania to jedna prosta liczba — w rzeczywistości składa się z dwóch odrębnych elementów: limitu przepustowości crawlera i popytu na crawlowanie2.
- Mit: robot może dowolnie zwiększać intensywność eksploracji — w rzeczywistości Googlebot jest zaprojektowany tak, by nie pogarszać doświadczenia użytkowników witryny, co stanowi twarde ograniczenie eksploracji3.
- Mit: eksploracja zawsze obniża efektywność crawlera — badania wykazały konsekwentnie, że eksploracja prowadzi do lepszego pokrycia stron o wysokiej trafności, mimo możliwej kary na wczesnym etapie5.
Powiązane hasła
Źródła i odwołania
-
The web is a nearly infinite space, exceeding Google's ability to explore every publicly accessible URL. As a result, there are limits to how much time and resources Google can devote to crawling any single site.
-
A site's crawl budget is determined by two main elements: crawl capacity limit and crawl demand.
-
What Crawl Budget Means for Googlebot | Google Search Central Blog | Google for Developers
Googlebot is designed to be a good citizen of the web. Crawling is its main priority, while making sure it doesn't degrade the experience of users visiting the site.
-
Improving the Exploration/Exploitation Trade-Off in Web Content Discovery
On a dataset of 4,070 source pages drawn from 53 news domains over a period of 7 weeks, we show that, on average, the Thompson crawler discovers 20% more new pages, finds pages 6 hours earlier, and uses 14 fewer refreshes per 100 pages discovered than the SOTA.
-
Exploration versus Exploitation in Topic Driven Crawlers Gautam Pant@
We found consistently that exploration leads to better coverage of highly relevant pages, in spite of a possible penalty during the early stage of the crawl.
Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.
Źródła faktów
- SEO/research/technical-seo/EVIDENCE-TS-R2-Crawl-Budget-Optimization.md