Czym jest crawl budget?
4 min
4 min
Na skróty
Opracowując indywidualną strategię pozycjonowania, należy odpowiednio przeanalizować wiele ważnych czynników, w tym możliwości w zakresie poprawnego, optymalnego indeksowania. Jeśli projektujesz rozbudowaną witrynę (np. stronę e-commerce), dodałeś ostatnio liczne, dodatkowe podstrony lub bazujesz na długim łańcuchu przekierowaniach, powinieneś zwrócić szczególną uwagę na crawl budget – co to takiego? Pod tym terminem kryje się liczba stron, które Googlebot przeszukuje, analizuje oraz indeksuje w obrębie witryny w określonym przedziale czasu. Twoim celem jest oczywiście jak największa efektywność w tym zakresie, aby odpowiednią o nią zadbać musisz skupić się na przemyślanym optymalizowaniu swojej witryny.
Jak wpłynąć na prawidłowe wykorzystanie budżetu indeksowania? Główna zasada opiera się na tym, że im Twoja strona będzie bardziej przyjazna Googlebotom, tym wszystkie elementy witryny będą szybciej i lepiej analizowane oraz dodawane do indeksu. Na crawl budget mogą wpływać:
Czy to wszystko na co powinieneś zwrócić uwagę? Nie, koncentrując się na kwestii crawl budget, musisz także przyjrzeć się wspomnianemu już we wstępie łańcuchowi przekierowań, który może doprowadzić do zatrzymania indeksacji Twojej strony. W monitoringu witryny liczy się także ograniczenie tzw. miękkich błędów na podstronach – błędów 404 (które polegają na tym, że użytkownik chce uzyskać dostęp do zasobu, który nie istnieje) – często pojawiają się one w przypadku stron e-commerce i są odpowiedzialne za marnowanie budżetu indeksowania. Dlatego tak ważne jest regularne kontrolowanie, wykrywanie potencjalnych nieprawidłowości w działaniu strony i badanie jej aktualnej skuteczności.
Na crawl budget składają się dwa główne parametry – jednym z nich jest crawl demand, czyli częstotliwość indeksowania witryny. Od czego jest zależna? Ujmując to ogólnie – od popularności Twojej witryny. Im bardziej zadbasz o jej jakość i rozpoznawalność w sieci, im więcej interesujących treści w niej zawrzesz, tym łatwiej zyskasz szansę na większe zaangażowanie Googlebotów. W związku z tym warto, abyś rozwijał swoją stronę z myślą o przyciągnięciu uwagi, bazując na aktualnym i atrakcyjnym contencie, podążają za najnowszymi trendami, dodając o nowe odnośniki, a nawet optymalizując już istniejące treści. Czy to się opłaca? Jak najbardziej. Pobyt na daną witrynę, to jak często jest odwiedzana i wyświetlana przez użytkowników, przekłada się na priorytet indeksowania i jego częstotliwość. Wniosek? Dbaj o to, aby być na topie i nie zakładaj, że raz zaprojektowana witryna nie wymaga rozwijania, nowego contentu i dostosowania do bieżących oczekiwań odbiorców.
Kolejny ważny czynnik, który należy wziąć pod uwagę w analizowaniu crawl budget, to crawl rate limit, czyli limit współczynnika indeksowania. To ograniczenie, które mają na celu powstrzymanie ewentualnych przeciążeń spowodowanych przez działania Googlebotów analizujących i indeksujących Twoją stronę w trakcie pojedynczej sesji. Crawl rate limit jest określany na podstawie możliwości serwera danej witryny, chodzi o to, aby nie spowolnić jej działania, a także nie pogorszyć user experience. Jak łatwo się domyślić, nie jest to łatwe zadanie, dlatego aby w miarę możliwości precyzyjnie określić crawl rate limit, uwzględnia się:
Wspomniane narzędzie Google Search Console pomaga w monitoringu crawl rate limit, dzięki takim statystykom, jak:
Korzystając z raportów Google Search Console, należy pamiętać o ryzyku wyciągania pochopnych wniosków na temat wydajności danej strony. Badając indeksowanie, powinno uwzględniać się wiele, różnorodnych czynników – dopiero wtedy, w szerokim kontekście uzyskujemy wymierne wyniki, które pozwalają na przeprowadzenie stosownych udoskonaleń. Oprócz głównych parametrów crawl budget, warto sprawdzić np. raport mapy witryny (szczególnie przydatny w rozbudowanych stronach – pozwala monitorować, które mapy zostały przesłane, czy wykryto jakiekolwiek błędy przy ich przetwarzaniu itp.), raport AMP – Accelerated Mobile Pages (podający dane na temat tego, które ze stron AMP można, a które ewentualnie nie można zaindeksować) czy raport problemów dotyczących bezpieczeństwa (dzięki któremu można wykryć różnorodne zagrożenia w obrębie witryny. Nie tylko otrzymujemy informację dotyczącą konkretnego problemu, ale również poradę na temat tego, jak się z nim uporać, w efekcie możemy uchronić się przed shakowaniem witryny i finalnie – obniżeniem budżetu indeksowania. Podsumowując – profesjonalna, wyczerpująca analityka, regularne sprawdzanie jakości i sprawności witryny, dbanie o jej ciągły, przemyślany rozwój w zgodzie z oczekiwaniami i potrzebami użytkowników oraz optymalizowanie jej pod względem technicznym według wskazówek Google to droga do uzyskania jak najlepszych, możliwych wskaźników indeksowania.
