Czy dodawać link do sitemapy w robots.txt?
3 min
3 min
Na skróty
Mapa witryny zawierająca szczegółowe informacje na temat strony internetowej to drogowskaz dla robotów indeksujących, pomagający w skutecznej optymalizacji strony. Wraz z plikiem robots.txt stanowi często podstawę realizacji efektywnego pozycjonowania. Chociaż nawet osoby zaczynające dopiero przygodę z SEO wiedzą, że obydwa elementy są istotne z punktu widzenia budowania pozycji strony w wyszukiwarce, to pojawia się pytanie – czy łączyć je przy pomocy linku do sitemapy w pliku robots.txt. Czas wyjaśnić tę kwestię.
Zdj 1. Roboty indeksujące Google analizują sitemapy, aby umieścić stronę w odpowiednim miejscu w wynikach wyszukiwania
Źródło: https://pixabay.com/pl/photos/laptop-chromebook-zeszyt-technika-5175029/
Sitemapy i plik robots.txt ułatwiają robotom indeksującym Google wyłapanie szczegółów wpływających na pozycjonowanie. Ich rolą jest m.in. informowanie o aktualizacjach strony, wskazanie na szczegóły kolejnych podstron funkcjonujących na danej witrynie czy wskazanie, na jakich słowach kluczowych oparte jest działanie SEO. Analizą sitemapy i pliku robots.txt zajmują się pracownicy agencji, którzy wykonują audyt SEO.
Czy sitemapy i robots.txt są obowiązkowe dla każdej strony internetowej? Elementy te znacznie przyspieszają proces optymalizacji witryny. Chociaż roboty indeksujące samodzielnie „dokopałyby” się do najważniejszych informacji, to drogowskaz jest dla nich idealnym punktem odniesienia i pomaga szybciej poprawić parametry strony wpływające na wyniki wyszukiwania w Google. Warto podkreślić, że elementy te są niezbędne szczególnie przy bardzo rozbudowanych stronach, działających na bazie kilkudziesięciu (i więcej) podstron.
Sitemapa to plik XML przekazujący robotom informację o adresach URL poszczególnych podstron. Z tego względu nosi miano „mapy”. Z kolei plik robots.txt wskazuje algorytmom czego nie powinny analizować pod kątem optymalizacji witryny i jakie elementy warto wziąć pod uwagę przy tworzeniu rankingów. Może np. wykluczać z pozycjonowania określone materiały graficzne lub nakierowywać algorytmy Google na sitemapę.
Roboty indeksujące Google wyłapują istnienie mapy strony na kilka sposobów.
Archiwalnym sposobem nakierowania algorytmów na mapę strony było jeszcze wykorzystanie funkcji Ping, czyli wysłanie zapytania o uwzględnienie mapy do Google.
W przypadku wysyłania mapy przez Google Search Console proces ten odbywa się automatycznie. Nie wymaga ingerencji ze strony użytkownika. Nie każdy jednak ma dostęp do GSC. Poza tym w niektórych przypadkach istotne jest, aby mapa strony była dostępna także dla zewnętrznych użytkowników (np. przy dokonaniu analizy strony pod kątem SXO).
Tutaj udostępnianie mapy bezpośrednio Google nie wchodzi w grę. Koniecznie należy użyć rozwiązania pośredniego, czyli wgrywania sitemapy do pliku robots.txt. Dzięki temu algorytmy szybko wychwycą spis adresów URL podstron, a osoby pracujące przy stronie (np. webdeveloperzy czy pozycjonerzy) będą mogli korzystać z jej zawartości.
Dodajmy, że wgrywanie mapy przez robots.txt nie wpływa diametralnie na efekt działań SEO. Może je jedynie trochę opóźnić, gdyż nie mamy gwarancji, kiedy roboty indeksujące zaczną analizować pliki indeksujące umieszczone na naszej witrynie.
Zdj 2. Mapa strony to istotny element pod względem skuteczności SEO
Źródło: https://pixabay.com/pl/photos/listy-seo-optymalizacja-wyszukiwarki-6276142/
Umieszczenie linku do sitemapy w pliku robots.txt nie jest wcale skomplikowane i nie wymaga szczególnych umiejętności. W jaki sposób się za to zabrać?
Jeżeli wgrasz mapę w system przy pomocy Google Search Console czy poprzez link w pliku robots.txt możesz mieć pewność, że algorytmy wyszukiwarki przeanalizują wskazane informacje i uwzględnią je przy pozycjonowaniu witryny. Pamiętaj, że niezależnie od sposobu zaimplementowania sitemapy – jest ona niezbędna w przypadku bardziej rozbudowanych witryn (np. sklepów internetowych). Zwróć też uwagę na fakt, że nie jest konieczne powielanie źródeł sitemapy. W przypadku, gdy ta została wysłana przy pomocy GSC, zrezygnuj z wklejania linku do robots.txt i odwrotnie.
Dziennikarz, copywriter i przedsiębiorca, który działa w branży od ponad 10 lat. Wykładowca Uniwersytetu Mikołaja Kopernika i licencjonowany konferansjer. Zajmuje się przygotowywaniem eksperckich treści związanych z marketingiem, a w szczególności pozycjonowaniem treści. Praca jest dla niego największą pasją.
