W ostatnich dniach Google przeprowadziło istotne zmiany w swojej dokumentacji dotyczącej crawlerów. Nowe podejście do organizacji treści ma na celu poprawienie ich użyteczności oraz zwiększenie tzw. gęstości informacji. Warto przyjrzeć się tym nowościom, ponieważ mogą one znacząco wpłynąć na strategię SEO oraz pozycjonowanie stron.
Źródło: https://img.freepik.com/free-photo/young-adult-organizing-documents_23-2149396633.jpg?t=st=1727159296~exp=1727162896~hmac=d77e1f22b13b1628672b77cc6ec9a0b8a7383ef3966b9f8ea5adb90a178e2ea7&w=740
Zmiany w dokumentacji
Google podzieliło główną stronę przeglądu crawlerów na trzy nowe, bardziej skoncentrowane sekcje. Pomimo że changelog wskazuje na niewielkie zmiany, w rzeczywistości zawiera on całkowicie nowy segment oraz rewizję oryginalnej strony przeglądowej.
Kluczowe nowości:
- dodano zaktualizowany ciąg użytkownika dla crawlera GoogleProducer;
- wprowadzono informacje dotyczące kodowania treści;
- powstała nowa sekcja dotycząca właściwości technicznych.
W sekcji dotyczącej właściwości technicznych zawarto zupełnie nowe informacje, które wcześniej nie były dostępne. Zmiany te mają na celu umożliwienie dodawania bardziej szczegółowych treści bez nadmiernego rozbudowywania głównej strony.
Zdj 1. Dokumentacja Google na temat robotów i modułów pobierania.
Źródło: www.developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=pl
Nowe informacje o kodowaniu treści
Google wyjaśnia, że crawlery i fetchery wspierają różne formy kodowania treści, np. gzip, deflate oraz Brotli. Każdy crawler informuje w nagłówku Accept-Encoding o wspieranych przez siebie formatach. Przykład: „Accept-Encoding: gzip, deflate, br”.
Dodatkowo, w dokumentacji uwzględniono nowe szczegóły dotyczące crawlowania przez HTTP/1.1 i HTTP/2. Google w tym przypadku dąży do maksymalizacji liczby crawlowanych stron, jednocześnie nie wpływając na wydajność serwera.
Cel nowej organizacji
Decyzja o reorganizacji dokumentacji została podjęta w odpowiedzi na rosnącą objętość treści, która utrudniała dalsze rozszerzanie informacji o crawlerach. Podział na trzy odrębne tematy pozwala lepiej zarządzać treściami i umożliwia dodawanie nowych informacji.
Zdj 2. Popularne crawlery Google.
Źródło: www.developers.google.com/search/docs/crawling-indexing/google-common-crawlers
Changelog opisuje te zmiany jako reorganizację, choć w rzeczywistości strona przeszła znaczne przekształcenia. Teraz strona przeglądowa jest bardziej funkcjonalna, a nowo stworzone sekcje koncentrują się na szczegółowych zagadnieniach związanych z działaniem różnych crawlerów.
Istotne sekcje dokumentacji
Nowa struktura dokumentacji obejmuje:
- Common Crawlers – zawiera popularne crawlery związane z GoogleBot, np. Googlebot, Googlebot Image, Googlebot Video;
- Special-Case Crawlers – obejmuje crawlery związane z konkretnymi produktami, które działają na podstawie umów z użytkownikami;
- User-Triggered Fetchers – skupia się na botach aktywowanych przez użytkowników, w tym Google Site Verifier.
Dzięki temu podziałowi łatwiej odnaleźć potrzebne informacje, a każda z sekcji jest bardziej przystępna dla użytkowników.
Zdj 3. Specjalne przypadki crawlerów w dokumentacji Google.
Źródło: www.developers.google.com/search/docs/crawling-indexing/google-special-case-crawlers
Znaczenie dla SEO
Dzięki uproszczeniu przeglądu crawlerów możesz lepiej zrozumieć, jak dostosować swoje podejście SEO. Skupiając się na konkretach, możesz efektywniej zarządzać treściami oraz zwiększać ich widoczność w wynikach wyszukiwania. Zastosowanie zmienionych zasad może również pomóc w zrozumieniu, jak powinno przebiegać pozycjonowanie witryny pod kątem działania crawlerów.
Zdj 4. Istotne informacje na temat triggerów w Google.
Źródło: www.developers.google.com/search/docs/crawling-indexing/google-user-triggered-fetchers
Podsumowanie
Rewitalizacja dokumentacji Google o crawlerach to krok w kierunku lepszej organizacji treści oraz ich przystępności. Dzięki nowym sekcjom masz możliwość szybszego dotarcia do interesujących Cię informacji. Co więcej, wprowadzone zmiany w dokumentacji to nie tylko estetyka, ale przede wszystkim praktyczne podejście do zarządzania informacjami, które mogą zrewolucjonizować Twoje działania w zakresie pozycjonowania stron.
