Czym jest plik Robots.txt?
Spis treści
Metatagi to wiersze kodu HTML na stronie internetowej, które nie wpływają na wygląd strony dla odwiedzających, ale zawierają dodatkowe informacje, które mogą być przydatne dla wyszukiwarek lub programistów.
Metatag Robots to tag zaprojektowany do bezpośredniego komunikowania się z programami wyszukiwarek („robotami”) podczas indeksowania strony internetowej. Wyszukiwarki nieustannie przeszukują sieć w poszukiwaniu nowych lub zaktualizowanych treści, dzięki czemu ich wyniki wyszukiwania są aktualne i dokładne.
Definicja Meta Robots – co to jest?
Meta Robots (Meta Tag Robots) to element kodu HTML w postaci metatagu (<meta name=”robots” content=”…” />), który instruuje roboty wyszukiwarek internetowych, jak mają indeksować i przetwarzać daną stronę.
Parametry tagu mogą określać m.in. czy strona ma być indeksowana (index/noindex), czy linki na konkretnej stronie mają być śledzone (follow/nofollow), a także inne wytyczne dotyczące archiwizacji i wyświetlania treści w wynikach wyszukiwania. Meta Robots jest kluczowym narzędziem w zarządzaniu widocznością strony w wyszukiwarkach i kontrolowaniu dostępu robotów indeksujących do określonych treści.
Jest to jeden z tych elementów, który ma wpływ na optymalizację strony pod kątem wyszukiwarek internetowych.
Działanie tagu Meta Robots
Metatag Meta Robots działa poprzez przekazywanie robotom wyszukiwarek (np. Googlebot) instrukcji dotyczących sposobu indeksowania i przetwarzania danej strony internetowej. Jest umieszczany w sekcji <head> dokumentu HTML w formie:
<meta name=”robots” content=”directive1, directive2″ />
Roboty wyszukiwarek odczytują jego zawartość podczas crawlowania strony i stosują się do dyrektyw określających, które mogą obejmować:
-
index/noindex – określa, czy strona ma być uwzględniona w indeksie wyszukiwarki;
-
follow/nofollow – definiuje, czy roboty mają śledzić i przekazywać wartość linkom znajdującym się na stronie’
-
noarchive – zapobiega przechowywaniu kopii strony w pamięci podręcznej wyszukiwarki;
-
nosnippet – uniemożliwia wyświetlanie fragmentów treści strony w wynikach wyszukiwania;
-
notranslate – blokuje możliwość automatycznego tłumaczenia strony przez wyszukiwarkę.
Jeśli metatag Meta Robots nie jest obecny, wyszukiwarki domyślnie zakładają, że strona może być indeksowana i linki powinny być śledzone (index, follow).
Należy również pamiętać, że dyrektywy Meta Robots są respektowane jedynie na poziomie danej strony. Aby zarządzać indeksowaniem całej witryny, zaleca się stosowanie pliku robots.txt.
Meta Robots kontra Robots.txt
Zanim zagłębimy się w temat, ważne jest, aby zrozumieć pewne terminy. W świecie web designu i SEO spotkasz się również z terminem robots.txt lub „plik tekstowy robots”. Chociaż nazwy są podobne, metatag robots różni się od pliku robots.txt.
Zarówno Meta Robots, jak i plik Robots.txt służą podobnemu celowi – informowania wyszukiwarek o specjalnej obsłudze, ale działają na różnych poziomach.
Robots.txt to plik wysokiego poziomu, który zawiera instrukcje dla całej witryny lub całego obszaru witryny. Na przykład plik robots.txt może informować wyszukiwarkę, aby nie indeksowała bloga Twojej firmy.
Metatag robots stosowany jest do zablokowania indeksacji strony o niskiej wartości np. stron logowania. Może on także przekazać informacje wyszukiwarkom, aby nie indeksowały wtorkowego wpisu na blogu. Tag robots zapewnia lepszy poziom kontroli niż plik robots.txt.
Przeczytaj także: Pozycjonowanie sklepu internetowego
Dlaczego powinienem używać metatagu Robots?
Zwykle nie musisz używać metatagu Robots. Jeśli chcesz zmaksymalizować ruch w sieci i pozycję strony, powinieneś pozwolić wyszukiwarkom wykonywać swoją pracę bez przeszkód. Mogą istnieć konkretne przypadki, w których sensowne jest ograniczenie dostępu robotów. Na przykład:
-
Ograniczona prywatność. Jeśli strona tak naprawdę nie jest przeznaczona dla ogółu społeczeństwa, Meta Robots zmniejszy szansę na znalezienie jej przez ludzi.
-
Strona nie jest gotowa dla publiczności. Załóżmy, że nowa funkcja witryny jest w wersji beta i chcesz, aby wielu pracowników lub wybranych klientów mogło ją wypróbować. Możesz uruchomić stronę i użyć metatagu robots, aby powstrzymać ruch związany z wyszukiwaniem, dopóki nie będzie gotowa. Pamiętaj, aby zaktualizować swój tag, gdy chcesz rozpocząć wyświetlanie strony!
-
Linki spamerskie. Istnieje kilka szybszych sposobów na obniżenie wartości strony niż umieszczanie linków do witryn spamerskich. Co jeśli taka witryna naprawdę ma świetne zasoby, którymi chcesz się podzielić z odwiedzającymi? Metatag Robots może poinformować wyszukiwarki, aby nie klikały linku, chroniąc pozycję Twojej strony.
-
Ochrona obrazów. W przypadku większości firm najlepiej jest pozwolić, aby Twoje zdjęcia (ze znakiem wodnym, z przypisanymi atrybutami) rozprzestrzeniały się szeroko w internecie. Jeśli chcesz wyróżnić zdjęcie, nie widząc go w innym miejscu, tag robots może powiedzieć wyszukiwarkom, aby nie indeksowały obrazów.
FAQ – najczęstsze pytania dotyczące Meta Robots
1. Czym jest Meta Robots?
Meta Robots to metatag HTML, który instruuje roboty wyszukiwarek, jak mają indeksować i przetwarzać stronę internetową.
2. Co to X-Robots-Tag?
X-Robots-Tag to nagłówek HTTP, który pełni funkcję podobną do metatagu Meta Robots, ale pozwala na bardziej elastyczne zarządzanie indeksowaniem i przetwarzaniem zasobów przez roboty wyszukiwarek. Może być stosowany nie tylko w dokumentach HTML, ale także w innych typach plików, takich jak pliki PDF, obrazy, pliki wideo czy arkusze CSS.
3. Gdzie umieszcza się tag Meta Robots?
Tag Meta Robots należy umieścić w sekcji <head> dokumentu HTML.
4. Jakie dyrektywy można stosować w Meta Robots?
Najczęściej używane dyrektywy to:
-
index/noindex – określa, czy strona ma być indeksowana.
-
follow/nofollow – decyduje, czy roboty Google mają śledzić linki na stronie.
-
noarchive – zapobiega przechowywaniu kopii strony w pamięci podręcznej wyszukiwarki.
-
nosnippet – blokuje wyświetlanie fragmentów treści w wynikach wyszukiwania.
5. Czy Meta Robots jest konieczny na każdej stronie?
Nie, jeśli Meta Robots nie jest ustawiony, wyszukiwarki domyślnie indeksują stronę i śledzą linki (index, follow).
6. Czy Meta Robots zastępuje plik robots.txt?
Nie, Meta Robots działa na poziomie pojedynczej strony, natomiast robots.txt kontroluje dostęp do całej witryny.
7. Jak sprawdzić, czy Meta Robots działa poprawnie?
Można użyć narzędzi dla webmasterów, takich jak Google Search Console, lub sprawdzić tag na stronach HTML.
