Artykuł pomocniczy · pojęcie · Pojęcia · GEO / AI Search
Naruszenia compliance przez boty LLM
także: LLM compliance violations · robots.txt violations by AI · bot non-compliance · Naruszenia compliance botów LLM · Naruszenia compliance przez boty LLM
Przypadki, gdy boty LLM ignorują reguły robots.txt i uzyskują dostęp do treści objętych ograniczeniami przez wydawców.
Charakterystyka naruszeń
Zidentyfikowane naruszenia obejmują: zapamiętywanie treści WWW z domen objętych ograniczeniami oraz ignorowanie reguł robots.txt przez ChatGPT-User w celu dostępu do treści Restricted.
Rozszerzona definicja
Protokół wykluczania robotów (Robots Exclusion Protocol) zakłada, że crawler pobiera i parsuje plik robots.txt przed odwiedzeniem witryny, aby ustalić, które jej sekcje mogą być indeksowane1. Naruszenie tego mechanizmu oznacza wejście bota poza granice wyznaczone przez operatora serwisu, wbrew wyrażonej woli wydawcy12.
Jak to działa
Standardowy przepływ zgodny z protokołem wygląda następująco: crawler pobiera plik robots.txt, parsuje zawarte w nim reguły i dopiero na tej podstawie decyduje, które zasoby może odwiedzić1. Boty Anthropic deklarują respektowanie sygnałów „do not crawl” poprzez honorowanie standardowych dyrektyw w robots.txt2, a PerplexityBot nie indeksuje pełnego ani częściowego tekstu strony, jeśli robots.txt tego zabrania3.
Odrębną warstwą kontroli — niezastępującą robots.txt — są dyrektywy takie jak nosnippet, data-nosnippet, max-snippet czy noindex, które ograniczają to, co pojawia się w wynikach wyszukiwania, a nie sam dostęp crawlera4.
Dlaczego to ważne
Robots.txt stanowi podstawowy instrument, za pomocą którego właściciele witryn zarządzają dostępem crawlerów do swoich zasobów41.
Skutki praktyczne są bezpośrednie: witryna, która wyłączyła OAI-SearchBot, nie pojawia się w odpowiedziach wyszukiwania ChatGPT, jednak nadal może być widoczna jako link nawigacyjny5 — co pokazuje, że granica między respektowaniem a naruszaniem reguł ma realne konsekwencje dla widoczności i dystrybucji treści.
Przykłady
- Przykład zgodności: PerplexityBot nie indeksuje pełnego ani częściowego tekstu strony, jeśli robots.txt tego zabrania, co stanowi wzorzec poprawnego zachowania crawlera LLM3.
- Przykład mechanizmu opt-out: witryna, która wyłączy OAI-SearchBot w robots.txt, nie będzie pokazywana w odpowiedziach wyszukiwania ChatGPT, choć może nadal pojawiać się jako link nawigacyjny5.
- Przykład deklaracji compliance: Anthropic informuje, że jej boty respektują sygnały „do not crawl” przez honorowanie standardowych dyrektyw robots.txt2.
- Przykład rozdzielności warstw kontroli: Google wskazuje, że robots.txt kontroluje dostęp crawlera, natomiast dyrektywy nosnippet, data-nosnippet, max-snippet i noindex kontrolują to, co pojawia się w wynikach — są to odrębne mechanizmy4.
Częste błędy i mity
- Mit: robots.txt wystarczy, by ograniczyć to, co pojawia się w wynikach wyszukiwania — w rzeczywistości do kontroli widoczności fragmentów treści w wynikach służą osobne dyrektywy: nosnippet, data-nosnippet, max-snippet lub noindex4.
- Mit: wszystkie boty LLM z definicji ignorują robots.txt — w rzeczywistości część dostawców, jak Anthropic i Perplexity, deklaruje respektowanie standardowych dyrektyw robots.txt32.
- Mit: wyłączenie bota wyszukiwania LLM w robots.txt usuwa witrynę z wszelkich odpowiedzi modelu — w rzeczywistości witryna wyłączona z OAI-SearchBot nadal może pojawiać się jako link nawigacyjny w ChatGPT5.
Powiązane hasła
Źródła i odwołania
-
How Google Interprets the robots.txt Specification
Google's automated crawlers support the Robots Exclusion Protocol (REP). This means that before crawling a site, Google's crawlers download and parse the site' s robots.txt file to extract information about which parts of the site may be crawled.
-
Does Anthropic crawl data from the web, and how can site owners block the crawler?
Anthropic's Bots respect “do not crawl” signals by honoring industry standard directives in robots.txt.
-
How does Perplexity follow robots.txt? - Perplexity Help Center
Our crawler, PerplexityBot, will not index the full or partial text content of any site that disallows it via robots.txt.
-
AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners to manage access to how their sites are crawled for Search. To limit the information shown from your pages in Search, use nosnippet, data-nosnippet, max-snippet, or noindex controls.
-
OAI-SearchBot is for search. OAI-SearchBot is used to surface websites in search results in ChatGPT's search features. Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.
Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.
Źródła faktów
- SEO/research/geo/EVIDENCE-GEO-R18-LLMs-Txt-Manifests.md