Nie zawsze indeksacja domen przez Google jest dla nas korzystna. Są sytuacje, w których nie chcemy, aby strona internetowa pojawiała się w wynikach wyszukiwania. Blokowanie indeksowania witryny w wyszukiwarce odbywa się poprzez plik robots.txt lub komendę noindex. Na czym polegają obydwie metody? Czy warto używać ich jednocześnie, aby wstrzymać pozycjonowanie witryny w wynikach wyszukiwania?
Zdj. 1 Blokowanie indeksacji strony odbywa się przez polecenia w kodzie strony lub określonych plikach
Źródło: https://kiwilab.pl/wp-content/uploads/2023/08/Noindex-768×509.png.webp
SEO jest najpopularniejszym dziś rozwiązaniem marketingowym. Odpowiednie pozycjonowanie strony internetowej pozwoli Ci dotrzeć do konkretnej grupy odbiorców, zainteresowanych tematyką Twojej witryny.
Optymalizacja pod kątem wyników wyszukiwarek odbywa się poprzez publikowanie merytorycznych tekstów ze słowami kluczowymi (spełniających kryteria SXO) czy przygotowanie techniczne witryny, oparte na wytycznych Google. Po pewnym czasie strona pojawi się w wynikach wyszukiwania, czyli zostanie zaindeksowana. Co ciekawe jednak nie zawsze indeksowanie jest wskazane. Dlaczego?
Dlaczego blokuje się strony przed indeksowaniem w Google?
Niekiedy pozycjonowanie strony internetowej wymaga blokowania całej witryny lub konkretnych podstron. Dlaczego specjaliści od SEO uniemożliwiają indeksowanie strony internetowej w Google?
- Budowanie strony internetowej od podstaw – niekompletna strona w trakcie budowy, zaindeksowana przez Google negatywnie wpływa na wizerunek firmy i późniejszą historię pozycjonowania. Pozycjoner blokuje indeksowanie witryny, póki ta nie zostanie ukończona.
- Naprawy błędów krytycznych na stronie www – jeżeli na stronie pojawiają się krytyczne błędy uniemożliwiające normalne funkcjonowanie, warto wyłączyć indeksację domeny w Google. W ten sposób użytkownicy nie trafią na nią i nie zrażą się ewentualnymi problemami z funkcjonowaniem strony.
- Realizacja diagnozy pozycjonerskiej (np. audyt SEO) – niekiedy specjaliści od SEO wyłączają indeksowanie domeny na czas realizacji przygotowania pod optymalizację. W ten sposób unikają konfliktów
- Wyłączenie podstron, które nie są przydatne dla użytkowników czy duplikatów – blokowanie indeksowania może dotyczyć nie tylko całej strony, ale też konkretnych podstron. Te usuwa się z wyników wyszukiwania np., gdy są to duplikaty lub gdy nie mają one wartości dla użytkowników (strona logowania do panelu CMS, podstrona techniczna itd.).
- Zbyt duża liczba podstron na jednej stronie – w przypadku witryn o bardzo rozbudowanej liczbie podstron, te blokuje się ze względu na ograniczone możliwości indeksacyjne Google. Stare podstrony są najczęściej blokowane, aby w ich miejsce mogły pojawić się nowe.
Czym jest robots.txt i noindex?
Blokada indeksowania witryny odbywa się poprzez robots.txt oraz komendę noindex. Co warto wiedzieć o tych sposobach? Robots.txt to plik do zarządzania robotami indeksującymi. To drogowskaz dla algorytmów Google, w jaki sposób skutecznie pozycjonować określoną stronę lub podstronę. W pliku znajduje się informacja, jakie elementy roboty powinny indeksować, jak interpretować treści opublikowane na podstronach oraz jaki jest katalog podstron do indeksacji.
Z kolei polecenie noindex to komenda, którą zamieszcza się w strukturze kodu strony lub podstrony, aby całkowicie uniemożliwić pełną identyfikację danej części domeny w wyszukiwarce Google. Robot indeksujący, który natrafi na ten element nie będzie brał jej pod uwagę, badając parametry witryny i pozycjonując ją w wynikach wyszukiwania. Podstrona nie będzie wtedy wpływać na wynik ani pozytywnie, ani też negatywnie. Polecenie noindex przekazuje się poprzez meta tag <meta name=”googlebot” content=”noindex”>.
Zdj 2. Niekiedy warto wstrzymać procesy SEO, aby nie utrudniać sobie później optymalizacji strony.
Źródło: https://pixabay.com/photos/search-engine-optimization-seo-4111000/
Czy warto blokować stronę w robots.thx i noindex jednocześnie?
Zacznijmy od tego, że blokada indeksacji przez robots.txt nie jest do końca skuteczna. Google wskazuje, że zablokowanie witryny w pliku dla robotów indeksujących sprawia, że strona może nadal pojawiać się w wynikach wyszukiwania. Witryna nie będzie miała w takim przypadku opisu, ale cały czas będzie oddziaływać na odbiór użytkowników. Polecenia uniemożliwiające indeksację poprzez robots.txt ułatwią z kolei blokadę pod materiały wideo, grafiki czy materiały dźwiękowe i linki.
Nie ma jednak możliwości zablokowania witryny przez robots.txt oraz noindex jednocześnie. Wynika to z faktu, że ewentualne uniemożliwienie indeksacji przez plik tekstowy, roboty nie znajdą polecenia noindex. W takiej sytuacji witryna nadal będzie wyświetlać się w Google. Jeżeli zależy Ci więc na zablokowaniu całej domeny albo konkretnej podstrony, zamiast modyfikować robots.txt, w kod strony zaimplementuj polecenie noindex. W przypadku chęci zablokowania konkretnych elementów możesz posłużyć się plikiem indeksującym.
