Czym jest plik Robots.txt?

Chociaż robots.txt wygląda jak zwykły plik tekstowy, to jednak jest stanowi niezbędny element strukturalnej części Twojej witryny. Umieszczony w katalogu głównym strony pozwala przyspieszyć indeksowanie zasobów, ułatwia wskazanie robotom wyszukiwarki gdzie powinny zaglądać, a gdzie raczej nie, a także usprawnia proces pozycjonowania całego serwisu i podstron. Przeczytaj artykuł i dowiedz się wszystkiego, co warto o pliku robots.txt.

Co musisz wiedzieć o robots.txt? Przede wszystkim standardowy plik tekstowy, który pozwala zarządzać indeksacją witryny. Z jednej strony umożliwia on sprawniejsze ewidencjonowanie witryny w Google (poprzez współpracę z robotami indeksującymi), z drugiej to element pozwalający wstrzymać podstronę w indeksowaniu w wynikach wyszukiwarki. Tutaj jednak pojawia się ograniczenie. Robots.txt działa dla robotów jako wskazówka, a nie nakaz. Zawsze mogą go ominąć.

Do czego służy plik robots.txt?

Zacznijmy od tego, że jeżeli chcesz pokazać swoją stronę internetową w wynikach wyszukiwania, a później pozycjonować, musisz ją zaindeksować, czyli „poinformować” wyszukiwarkę o istnieniu danej domeny. Istotnym elementem indeksacji jest crawlowanie.

To automatyczny proces, podczas których roboty Google przeszukują sieć w celu znalezienia nowych zasobów. Robotami indeksującymi można kierować za pomocą pliku robots.txt. Wskazane tam polecenia (np. noindex) są wskazówkami dla narzędzi Google, jak interpretować daną stronę, podstronę lub wskazane adresy URL.

Robots.txt jest niekiedy narzędziem niezbędnym. Wymaga się go przede wszystkim, gdy chcesz zablokować robotom Google dostęp do określonych zasobów strony internetowej (np. mały plik może zablokować panel logowania wp admin, adresy związane z danymi użytkowników. Plik ten pozwala też przykładowo na wskazanie lokalizacji mapy strony sitemap. Głównym zadaniem pliku jest ogólnie zarządzanie zasobami witryny w relacjach z robotami.

Co powinieneś wiedzieć o pliku Robots.txt?

Pamiętaj przede wszystkim, że plik robots.txt jest publiczną częścią witryny. Nie można ukryć go tak jak np. zgromadzone na serwerze pliki graficzne. Z tego względu musisz odpowiedzialnie podejść do jego zasobów, wydając instrukcje oparte o Twoje potrzeby, reguły SEO, a także w taki sposób, aby boty od Google były zainteresowane konkretnymi częściami strony.

Zdecydowanie uważaj na ukrywanie zasobów sieciowych za pomocą robots.txt. Otóż ten prosty plik tekstowy bywa zawodny. Wraz z poleceniem wdrożonym w pliku, stosuj też inne metody. Musisz użyć np. polecenia noindeks na konkretnych podstronach (w sekcji head) lub haseł i loginów do konkretnych, szyfrowanych podstron.

Zwróć też uwagę na fakt, że coraz częściej roboty wykorzystywane są również przez cyberprzestępców. Odpowiednio manewrując robotami indeksującymi, mogą oni chcieć pozyskać poufne informacje, ignorując to co wpisałeś w pliku txt.

Zastosowanie i części składowe pliku robots.txt

Wiesz już, że Twoją stronę internetową warto wzbogacić o plik robots.txt, aby ograniczyć jej pojawianie się w wynikach wyszukiwania (lub wręcz przeciwnie, wskazać jak roboty powinny indeksować Twoje strony). Poznaj też części pliku robots.txt oraz zasady jego działania (tzw. dyrektywy).

Najważniejsze dyrektywy to:

• User-agent – określa, do którego robota odnoszą się poniższe reguły.
• Disallow – wskazuje ścieżki, do których dostęp jest zabroniony dla danego user-agenta.
• Allow – pozwala na dostęp do określonych zasobów, nawet jeśli nadrzędny katalog jest zablokowany przez Disallow.
• Sitemap – podaje lokalizację mapy witryny (może być poza grupami).

Dyrektywy Allow i Disallow

Do czego służą dyrektywy Allow i Disallow? Dyrektywa Disallow to dyrektywa zabraniająca plikom robots.txt indeksowania określonej części witryny. Stosowanie jej powstrzymuje robota przed analizowaniem zawartości pliku z podstroną. Składa się z dyrektywy oraz ścieżki. Pamiętaj, że nie usunie ona strony z wyników wyszukiwania, a np. może zatrzymać jej ponowne indeksowanie (jeżeli chcesz zblokować np. nowy news w Google).

Dyrektywa Allow z kolei to reguła, która pozwala robotom Google na dostęp do wskazanych podstron, odblokowując zasoby wewnątrz katalogu zablokowanego wcześniej przez Disallow. To furtka, aby odblokować indeksowanie.

User agent i grupy reguł (user agent)

Co ciekawe, możesz przypisać konkretne dyrektywy do konkretnych botów (np. wskazując bota wyszukiwarki do dyrektywy Allow). Służy do tego User-agent.

Jaki jest schemat działania tej grupy? Określ nazwę bota w pliku robots.txt (np. Googlebot Allow lub wykorzystując bota innej wyszukiwarki np. Bing)), a następnie wskaż katalog, gdzie znajduje się określona podstrona. W ten sposób, stosując dowolny ciąg podstron możesz zdefiniować kierunek i reguły, jakimi mają podążać roboty.

Wskazanie mapy witryny w formacie xml (formacie xml)

Plik robots.txt umożliwia Ci również stworzenie sitemap, czyli mapy strony w formacie xml, składającej się wyłącznie z tych adresów URL, które mają być indeksowane przez roboty indeksujące. Dzięki podaniu w pliku robots.txt dokładnej lokalizacji pliku sitemapy, robot wyszukiwarki łatwiej odnajdzie i odpowiednio przetworzy zawarte w mapie informacje.

W jaki sposób dodać mapę strony do robots.txt, aby Google mogło z niej korzystać? Wystarczy, że wpiszesz polecenie Sitemap: https://adresstronyinternetowej.com/sitemap.xml. Zwróć uwagę na fakt, że możesz stworzyć jedną lub wiele takich sitemap.

Jak stworzyć plik robots.txt?

Jest parę sposobów na stworzenie pliku robots.txt. Wiele zależy od aktualnej sytuacji strony oraz Twoich potrzeb. Poniżej omawiamy instrukcje dotyczące trzech najbardziej popularnych rozwiązań.

Generator pliku robots

Jedną z możliwości jest skorzystania z generatorów pliku robots.txt. Dzięki ich istnieniu nie musisz znać składni pliku. Konieczne jest jedynie posiadanie wiedzy, jakie adresy chcesz zablokować.

Stworzenie pliku robots.txt ręcznie

Drugim wariantem jest tworzenie pliku ręcznie. To najpopularniejsza metoda, wymagająca jednak znajomości wszystkich elementów związanych z działaniem pliku robots.txt. Ręcznie plik możesz stworzyć np. w notatniku.

Utworzenie dynamicznego pliku robots.txt

Trzecim sposobem jest stworzenie dynamicznego pliku robots za pomocą aplikacji bądź też strony, której plik robots.txt dotyczy. Można go wygenerować chociażby z poziomu systemu zarządzania treścią, na przykład w CMS typu WordPress.

Pamiętaj na koniec, aby przesłać plik tekstowy robots.txt na serwer FTP. To istotne, żeby rozpoczęło się skanowanie i roboty Google mogły z niego skorzystać.

Przykład pliku robots (przykład pliku robots)

Jak powinien wyglądać jeden plik robots.txt, który możesz użyć na stronach www opartych o WordPress?

Zacznij od #, który zezwala robotom indeksującym na pełny dostęp do strony, poza niżej wskazanymi wyjątkami. Następnie plik robots.txt powinien mieć następującą strukturę

• User-agent: * (oznacza to, że wszystkie roboty indeksujące będą analizować Twoją witrynę).
• Disallow: /wp-admin/ (wyłącza z indeksu Google plik wp admin z WordPress)
• Disallow: /wp-includes/ (wyłącza pliki bazy danych WordPress)
• Disallow: /koszyk/ (wyłącza dane koszyka sklepu internetowego)
• Disallow: /checkout/ (wyłącza stronę płatności sklepu www)
• Allow: /wp-admin/admin-ajax.php (włącza skrypty zapytań AJAX)
• Sitemat: http://twojastrona.pl

Testowanie i wdrożenie — oto, co musisz wiedzieć

Pamiętaj, aby sprawdzić plik robots.txt przed użyciem. Przede wszystkim przetestuj, czy plik (jako wpisywany w przeglądarkę link) znajduje się w zasobach witryny. W tym celu wpisz adres http://twojastron.pl/robots.txt. Powinieneś wyświetlić plik. Jeżeli go nie ma, jego implementacja się nie powiodła.

Testy możesz wykonać za pomocą Google Search Console, wybierając „Ustawienia” i „Raport dotyczący pliku robots.txt”. Wyświetlisz w ten sposób informacje na temat pliku i sprawdzisz jego zgodność z wytycznymi Google.

Wszystko o pliku robots.txt – podsumowanie

Plik robots.txt to niezwykle istotny element każdej strony internetowej, pełniący rolę swoistego drogowskazu dla robotów wyszukiwarek. To właśnie w nim zawarte są instrukcje dotyczące tego, które elementy witryny mogą być indeksowane, a które powinny pozostać ukryte przed wzrokiem robotów. Dzięki niemu możesz precyzyjnie zarządzać tym, jakie informacje o stronie trafią do wyszukiwarek, co ma bezpośredni wpływ na jej widoczność w wynikach wyszukiwania.

Plik robots.txt pozwala na przykład zablokować indeksowanie wersji roboczych stron, ukryć wewnętrzne narzędzia administracyjne lub zabezpieczyć wrażliwe dane. Możesz również określić częstotliwość, z jaką roboty mają odwiedzać Twoją stronę, co jest szczególnie ważne w przypadku witryn o dużej dynamice. Dzięki temu nie tylko wpływasz na szybkość indeksowania, ale także na obciążenie na swoim serwerze.

Tworzenie i zarządzanie plikiem robots.txt jest stosunkowo proste, jednak wymaga podstawowej wiedzy na temat jego składni. Możesz stworzyć go samodzielnie, korzystając z dedykowanych generatorów lub zlecić to zadanie specjalistom SEO. Niezależnie od wybranej metody, warto pamiętać, że plik robots.txt to narzędzie, które należy stosować z rozwagą. Zbyt restrykcyjne ustawienia mogą negatywnie wpłynąć na widoczność strony w wynikach wyszukiwania.

Genialne firmy mnożą
swój potencjał z

Sprawdź nasze Case Studies

Ocena Clutch

5.0

Ocena Google

4.8

Bądź widoczny w Google i wyszukiwarkach przyszłości (ChatGPT, Gemini, Perplexity i inne)

Zostaw adres e-mail — porozmawiamy o widoczności Twojej strony w AI.

Dane przetwarzamy w celu kontaktu, zgodnie z naszą
polityką prywatności