Noindex – czyli jak blokować indeksowanie?
4 min
4 min
Na skróty
Wielu osobom rozpoczynającym przygodę z pozycjonowaniem wydaje się, że większa liczba stron w indeksie oznacza większe korzyści. To mylny pogląd, co dość łatwo możemy udowodnić. Nie chcemy przecież udostępniać stron służących do administracji, tych w przebudowie oraz dostępnych wyłącznie po zalogowaniu. Poniższy artykuł rozjaśnia kwestię tego, jak i po co blokować strony w Google.
Tag noindex to element umieszczany na stronie internetowej, którego celem jest blokowanie indeksowania. Dzięki niemu roboty (np. wyszukiwarki Google) nie umieszczą wskazanego adresu URL w swoim indeksie – podstrona nie wyświetli się więc w wynikach wyszukiwania. W podobny sposób działa plik robots.txt, w którym umieszcza się adresu URL blokujące dostęp robotom wyszukiwarek.
Google radzi, aby blokować indeksację nie tylko w pliku robots.txt ale także poprzez wdrożenie tagu noindex. Wówczas strona nie będzie się wyświetlać w wynikach, nawet gdy prowadzą do niej linki.
Blokowanie indeksowania przy pomocy noindex jest bardzo proste. Otwórz kod źródłowy adresu URL w systemie CMS i dodaj do nagłówka (sekcja <head>) jedną z przedstawionych wartości:
W niektórych systemach CMS implementacja tagu noindex oraz blokowanie indeksowania odbywa się przy pomocy specjalnej wtyczki. Wówczas nie musisz ręcznie umieszczać wartości w kodzie źródłowym strony.
Pierwszym przypadkiem, kiedy będzie trzeba wykorzystać blokowanie indeksowania w Google, są początki jej tworzenia. Nie trzeba geniuszu, aby zrozumieć, że publikowanie podstron bez zawartości czy z zawartością testową (np. lorem ipsum) do niczego dobrego się nie przyczyni. Wyszukiwarka Google od czasów wdrożenia algorytmu Panda ceni sobie unikalną zawartość i to, co jest rzeczywiście przydatne dla użytkownika. Dlatego zachowaj cierpliwość i pozostaw indeksowanie strony wyłączone, dopóki na stronie nie będzie widnieć oficjalna zawartość, którą samemu chciałbyś zobaczyć.
Istnieje szansa, że po opublikowaniu właściwej wersji strony niektóre z podstron zwyczajnie nie będą potrzebne w wyszukiwarce Google. Najczęściej chodzi o stronę logowania do panelu administracyjnego, strony produktów, których nie ma w magazynie oraz zamkniętej części serwisu np. prywatne grupy dyskusyjne na portalach. Sens blokowania indeksacji leży w sposobie działania robotów Google. Mianowicie biorą one pod uwagę określoną liczbę adresów w określonym czasie. Każda domena ma osobisty budżet indeksowania. Jeśli zostanie przekroczony, to kolejne podstrony zostaną zaindeksowane dopiero za jakiś czas.
W kontekście SEO jednym z największych zagrożeń jest duplikowana treść. O ile jej powtarzalność w obrębie naszego serwisu nie stanowi ogromnego problemu, o tyle zapożyczona zawartość od innych będzie skutkowała pogorszeniem reputacji. Jeśli skopiowaliśmy cały artykuł, a chcemy go koniecznie zachować, to jednym z rozwiązań jest ponownie – wyłączenie danej podstrony z indeksu. Pamiętajmy, że gdy posiadamy dwie identyczne lub bardzo zbliżone wersje podstron to wszystkie kopie powinniśmy oznaczyć jako duplikaty za pośrednictwem tagu link w takiej postaci:
Takie rozwiązanie jest stosowane między innymi podczas pozycjonowania stron, gdy realizuje się czynności optymalizacyjne.
Sklepy internetowe rządzą się swoimi prawami. W odróżnieniu od zwykłego bloga, portfolio czy landing page’a, różnią się znacznie bogatszą funkcjonalnością. To generuje niepotrzebne w wynikach wyszukiwania podstrony. Warto sprawdzić, czy indeksujemy:
Jak widać, lista elementów jest dość długa. A to oznacza, że wykluczenie tych elementów z wyników wyszukiwania stwarza dużą przestrzeń na usprawnienie wędrówki googlebota.
Korzystanie z blokady indeksowania wymaga od nas zastosowania jednego z dwóch narzędzi: pliku .htaccess lub wbudowanego w system zarządzania treścią (CMS) pluginu. Kiedy rozpoczynamy tworzenie strony www, możemy postawić na globalne blokowanie indeksowania. Dopiero po zakończeniu prac będziemy mogli wrócić do pożądanego ustawienia. Taka opcja jest dostępna w większości CMS-ów z poziomu panelu administracyjnego. Jeśli jej tam nie ma, to częstokroć zapewni ją dodatkowe rozszerzenie lub plugin.
Sytuacja zmienia się, gdy chcemy zablokować pojedynczą podstronę. W tym celu możemy wykorzystać aż cztery różne metody.
Pierwszym sposobem jest wstawienie odpowiedniego kodu do sekcji <head> na wybranej podstronie. To wcześniej wspomniany tag noindex.
Podobnie zadziała dyrektywa wstawiona do pliku robots.txt, którego miejsce jest w głównym katalogu na naszym serwerze (tam, gdzie plik index.php). To jest drugi sposób. Do pliku możemy wstawić kilka linijek:
Trzecim sposobem jest wykorzystanie instrukcji w języku PHP. Oczywiście musimy z tej technologii korzystać, z czego coraz więcej twórców CMS rezygnuje. Niemniej, jednak jeśli jeszcze korzystamy z PHP, to możemy zablokować dostęp robotom do strony, dodając następujący kod:
Ostatnią metodą jest tymczasowe wykluczenie z indeksu. Swoją prośbę możemy przesłać za pośrednictwem Google Search Console. Wystarczy wejść do zakładki Indeks -> Usunięcia i zlecić swoją prośbę podając wybrany URL.
Blokowanie indeksowania może być wdrożone poprzez implementację tagu noindex lub dodanie odpowiednich wartości do pliku robots.txt.
Prawidłowo zaprojektowany tag noindex wygląda następująco: <meta name=”robots” content=”noindex”>.
Wiele systemów CMS pozwala blokować indeksowanie tagiem noindex przy pomocy wtyczki. W przypadku WordPressa, taki plugin to: „noindex SEO”.
