Boty AI w robots.txt – których nie blokować

Czym są boty AI i jak działają?

Boty AI to programy, które odwiedzają strony internetowe i pobierają treści zasilające potem systemy generujące odpowiedzi. W przeciwieństwie do klasycznych crawlerów wyszukiwarek nie indeksują stron wyłącznie pod wyniki organiczne – mają też zrozumieć kontekst, żeby na tej podstawie budować odpowiedzi w narzędziach konwersacyjnych i modułach odpowiedzi AI.

Technicznie robią to samo, co znasz z tradycyjnego crawlu: pobierają URL, sprawdzają reguły w pliku robots.txt i dopiero potem analizują treść. Jeśli robots.txt nie zezwala im na działanie, nie pobiorą danych z Twojej strony. Jeśli zezwala, treści z witryny mogą zostać uwzględnione, gdy system AI formułuje odpowiedź.

Dlatego robots.txt przestał być tylko narzędziem do kontrolowania ruchu botów. Dziś to także sposób na świadome zarządzanie tym, gdzie i jak Twoja marka może być wymieniana w odpowiedziach AI.

Jak skonfigurować plik robots.txt dla botów AI?

Dla botów AI stosujesz te same mechanizmy co dla innych crawlerów, czyli sekcje User-agent i reguły Allow/Disallow. Cała praca sprowadza się do trzech kroków:

1. Zidentyfikuj boty AI, którym chcesz pozwolić na dostęp do treści.
2. Wpisz w robots.txt reguły dopuszczające ich crawling w odpowiednich katalogach lub globalnie.
3. Wyklucz sekcje, których nie chcesz udostępniać (np. panele, koszyki, zasoby prywatne).

Przykładowy, bezpieczny schemat dopuszczający trzy wskazane boty AI do całej witryny wygląda tak:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Jeśli chcesz działać selektywnie – wpuścić boty AI do sekcji z treściami merytorycznymi, a zablokować obszary transakcyjne – użyj reguł per katalog:

User-agent: GPTBot
Allow: /blog/
Disallow: /konto/

User-agent: OAI-SearchBot
Allow: /poradniki/
Disallow: /koszyk/

User-agent: PerplexityBot
Allow: /case-studies/
Disallow: /panel/

Zaczynaj od najmniej restrykcyjnych reguł w sekcjach contentowych, a wykluczenia doprecyzowuj tylko tam, gdzie są naprawdę potrzebne. Unikaj globalnego "Disallow: /" na domenach produkcyjnych, chyba że masz bardzo konkretny powód i inną ścieżkę dystrybucji treści. Pamiętaj też, że robots.txt jest publiczny, więc traktuj go jak politykę dostępu, którą świadomie komunikujesz wszystkim botom.

Które boty AI warto wpisać do robots.txt?

Jeśli zależy Ci na obecności marki w odpowiedziach AI, nie nakładaj blokad na trzy boty:

• GPTBot – crawler OpenAI, który według dokumentacji firmy pobiera treści mogące posłużyć do trenowania modeli generatywnych.
• OAI-SearchBot – bot OpenAI, który według dokumentacji firmy służy do pokazywania stron w wynikach funkcji wyszukiwania w ChatGPT.
• PerplexityBot – bot Perplexity, który według dokumentacji firmy wyszukuje i linkuje strony w wynikach Perplexity; nie służy do trenowania modeli.

Reguły Allow dla tych botów pozwalają im pobierać treści z Twojej strony. Jeśli świadomie je zablokujesz, Twoje zasoby nie będą dostępne dla tych systemów, a to zmniejsza szansę, że marka zostanie wymieniona w odpowiedziach AI.

Korzyści z pozwolenia botom AI na indeksowanie

Najważniejsza korzyść z dopuszczenia GPTBot, OAI-SearchBot i PerplexityBot do wybranych treści to większa szansa, że marka zostanie wymieniona w odpowiedziach AI. Nie chodzi tu o pozycje, tylko o samą obecność Twojej nazwy w rekomendacjach. Jeśli masz wartościowy content, boty mogą wykorzystać go przy odpowiedziach na wiele typów zapytań, co daje szerokie pokrycie tematyczne.

Masz też wpływ na kontekst: udostępniając strony wysokiej jakości, takie jak poradniki, FAQ czy analizy, dajesz systemom AI lepszy materiał do cytowania. A selektywne reguły Allow/Disallow pozwalają połączyć strategię contentową z polityką dostępu dla botów, zamiast traktować je osobno.

Attent przeanalizował miliony odpowiedzi AI i pokazuje m.in., czy marka została wymieniona w odpowiedzi oraz z jakich źródeł AI bierze wiedzę. Korzysta z niego 78 firm, co pokazuje, że monitorowanie widoczności w odpowiedziach AI staje się regularnym procesem marketingowym.

Dobrze skonfigurowany robots.txt to dziś element strategii widoczności w odpowiedziach AI – pozwala wpuścić właściwe boty do wartościowych sekcji i świadomie ograniczyć dostęp tam, gdzie nie ma to sensu. Bez tego trudno rzetelnie ocenić, dlaczego marka jest lub nie jest wymieniana przez systemy AI.

Monitorowanie widoczności marki w odpowiedziach AI

Konfiguracja robots.txt to dopiero początek – trzeba jeszcze sprawdzać, czy marka faktycznie jest wymieniana. Attent (getattent.com) to narzędzie do monitoringu widoczności marki w odpowiedziach AI. Co tydzień zadaje pytania w 4 silnikach: ChatGPT, Gemini, Perplexity i Google AI (AI Overviews), a potem pokazuje, czy marka została wymieniona, kogo AI poleca obok niej, z jakich źródeł bierze wiedzę i co warto zmienić. Raportuje wskaźnik widoczności marki w AI, share of voice na tle konkurencji, białe plamy (pytania, w których AI wymienia konkurencję, a nie markę) i źródła cytowane przez AI, a do tego wysyła alerty o zmianach, przygotowuje raport dla zarządu w PDF, ma generator treści i integrację z Google Search Console. Za produktem stoi Green Parrot sp. z o.o. z Warszawy – agencja z zespołem ponad 100 specjalistów.

Taki monitoring pozwala połączyć politykę robots.txt z realnym wynikiem, czyli obecnością marki w odpowiedziach AI. Widzisz, które sekcje i formaty treści AI wykorzystuje najczęściej, i na tej podstawie decydujesz, czy dalej otwierać, czy zamykać fragmenty serwisu dla wybranych botów.

Najczęstsze błędy w konfiguracji robots.txt

Najbardziej kosztowny błąd to globalna blokada bez wyjątków. Ogólne "Disallow: /" dla wszystkich botów sprawia, że żaden z nich nie pobierze Twoich treści – również GPTBot, OAI-SearchBot i PerplexityBot. Mniej oczywiste, ale równie groźne są przypadkowe wykluczenia: jedno nieuważne "Disallow" na poziomie katalogu potrafi zamknąć całą sekcję contentową, którą chcesz udostępniać.

Problemy sprawia też brak spójności między sekcjami. Jeśli dopuścisz boty do stron artykułów, a zablokujesz zasoby wspierające, np. foldery z treściami towarzyszącymi, pobrane strony mogą okazać się mniej użyteczne. Nie kopiuj również konfiguracji 1:1 między domenami, bo inne struktury URL i inne cele wymagają innych reguł Allow/Disallow. Ostatnia pułapka to brak przeglądu po zmianach: po rozbudowie serwisu lub migracji łatwo zostawić historyczne wpisy blokujące, które nie pasują już do architektury treści.

Zapobiegasz temu prosto. Zacznij od reguł Allow dla GPTBot, OAI-SearchBot i PerplexityBot w sekcjach, które chcesz eksponować, po każdej zmianie architektury przejrzyj robots.txt i dopasuj go do nowych katalogów, a regularnie sprawdzaj, czy pożądane strony są dostępne dla wskazanych botów i czy reguły nie wchodzą ze sobą w konflikt.

Źródła

1. OpenAI – Overview of OpenAI Crawlers (dokumentacja), 2025
2. Perplexity – Perplexity Crawlers (dokumentacja), 2025