Czym jest crawl budget?

Opracowując indywidualną strategię pozycjonowania, należy odpowiednio przeanalizować wiele ważnych czynników, w tym możliwości w zakresie poprawnego, optymalnego indeksowania. Jeśli projektujesz rozbudowaną witrynę (np. stronę e-commerce), dodałeś ostatnio liczne, dodatkowe podstrony lub bazujesz na długim łańcuchu przekierowaniach, powinieneś zwrócić szczególną uwagę na crawl budget – co to takiego? Pod tym terminem kryje się liczba stron, które Googlebot przeszukuje, analizuje oraz indeksuje w obrębie witryny w określonym przedziale czasu. Twoim celem jest oczywiście jak największa efektywność w tym zakresie, aby odpowiednią o nią zadbać musisz skupić się na przemyślanym optymalizowaniu swojej witryny. 

Co ma wpływ na crawl budget? 

Jak wpłynąć na prawidłowe wykorzystanie budżetu indeksowania? Główna zasada opiera się na tym, że im Twoja strona będzie bardziej przyjazna Googlebotom, tym wszystkie elementy witryny będą szybciej i lepiej analizowane oraz dodawane do indeksu. Na crawl budget mogą wpływać: 

• Szybkość witryny – szybka strona nie tylko ma znaczenie w kontekście user experience, zwiększa także możliwości w zakresie indeksowania, dlatego zadbaj o dobry hosting oraz system zarządzania treścią, zmniejszaj zużycie serwera, optymalizuj wykorzystywane obrazy i usuń wszelkie niepotrzebne elementy witryny. 
• Architektura strony – uprość ją w miarę możliwości, przejrzyj jej strukturę, uporządkuj wszystkie elementy – zaczynając od strony głównej, przechodząc do kolejnych podstron, kategorii, tagów etc. Użyj wewnętrznego linkowania do prawidłowego kierowania botami. 
• Parametry adresów URL – pamiętaj, że tworząc w nieskończoność osobne adres URL, powodujesz, że Googleboty uznają je za odmienne strony, przez co wyczerpujesz swój crawl budget. Warto szczególnie sprawdzić to w przypadku stosowania nawigacji fasetowej.
• Jakość contentu – dbaj o udostępniane wyłącznie wartościowych, profesjonalnych treści, które w żadnym stopniu nie będą duplikowane czy sztucznie tworzone, ma to znaczenie nie tylko dla użytkowników, ale i dla prawidłowego indeksowania.
• Linkowanie – pracuj nad naturalnym linkowanie zarówno wewnętrznym, jak i zewnętrznym. Używaj odnośników wyłącznie do aktualny, sprawdzonych stron, o wysokim autorytecie, w obrębie witryny linkuj do treści powiązanych tematycznie – strony głównej, kategorii, podstron, ułatwi to Googlebotom poruszanie się w obrębie witryny.

Czy to wszystko na co powinieneś zwrócić uwagę? Nie, koncentrując się na kwestii crawl budget, musisz także przyjrzeć się wspomnianemu już we wstępie łańcuchowi przekierowań, który może doprowadzić do zatrzymania indeksacji Twojej strony. W monitoringu witryny liczy się także ograniczenie tzw. miękkich błędów na podstronach – błędów 404 (które polegają na tym, że użytkownik chce uzyskać dostęp do zasobu, który nie istnieje) – często pojawiają się one w przypadku stron e-commerce i są odpowiedzialne za marnowanie budżetu indeksowania. Dlatego tak ważne jest regularne kontrolowanie, wykrywanie potencjalnych nieprawidłowości w działaniu strony i badanie jej aktualnej skuteczności. 

Przeczytaj także: reklama Google Ads oraz cennik pozycjonowania

Częstotliwość indeksowania witryny

Na crawl budget składają się dwa główne parametry – jednym z nich jest crawl demand, czyli częstotliwość indeksowania witryny. Od czego jest zależna? Ujmując to ogólnie – od popularności Twojej witryny. Im bardziej zadbasz o jej jakość i rozpoznawalność w sieci, im więcej interesujących treści w niej zawrzesz, tym łatwiej zyskasz szansę na większe zaangażowanie Googlebotów. W związku z tym warto, abyś rozwijał swoją stronę z myślą o przyciągnięciu uwagi, bazując na aktualnym i atrakcyjnym contencie, podążają za najnowszymi trendami, dodając o nowe odnośniki, a nawet optymalizując już istniejące treści. Czy to się opłaca? Jak najbardziej. Pobyt na daną witrynę, to jak często jest odwiedzana i wyświetlana przez użytkowników, przekłada się na priorytet indeksowania i jego częstotliwość. Wniosek? Dbaj o to, aby być na topie i nie zakładaj, że raz zaprojektowana witryna nie wymaga rozwijania, nowego contentu i dostosowania do bieżących oczekiwań odbiorców. 

Czym jest crawl rate i jak go sprawdzić?

Kolejny ważny czynnik, który należy wziąć pod uwagę w analizowaniu crawl budget, to crawl rate limit, czyli limit współczynnika indeksowania. To ograniczenie, które mają na celu powstrzymanie ewentualnych przeciążeń spowodowanych przez działania Googlebotów analizujących i indeksujących Twoją stronę w trakcie pojedynczej sesji. Crawl rate limit jest określany na podstawie możliwości serwera danej witryny, chodzi o to, aby nie spowolnić jej działania, a także nie pogorszyć user experience. Jak łatwo się domyślić, nie jest to łatwe zadanie, dlatego aby w miarę możliwości precyzyjnie określić crawl rate limit, uwzględnia się: 

• crawl health – czynnik określany na podstawie tego, w jakim tempie wczytuje się witryna, jak szybko reaguje czy zwraca jakiekolwiek błędy. Jeśli w oparciu o te aspekty strona jest mniej wydajna, limit spada, a Googlebot indeksuje mniej. 
• Limit indeksowania określony w Google Search Console – możemy go określić według indywidualnych preferencji, jeśli np. uważamy, że Googlebots zbytnio obciążają nasz serwer, należy jednak mieć na uwadze, że zwiększenie tego limitu nie musi wcale automatycznie przełożyć się na poprawę szybkości indeksowania. 

Wspomniane narzędzie Google Search Console pomaga w monitoringu crawl rate limit, dzięki takim statystykom, jak: 

• liczba stron indeksowanych dziennie (dane na temat tego, ile adresów URL w danej domenie zostało odwiedzonych przez Googlebota. Zmienność w przypadku tego parametru jest normalna, o ile jest ona regularna, warto przyjrzeć się nagłym, znaczącym spadkom. Liczba indeksowanych stron odzwierciedla, na ile dana witryna jest odpowiednio zoptymalizowana i przyjazna Googlebotom). 
• czas spędzony na pobieraniu strony (raport, który informuje o tym, jak szybko Googlebot zbiera informacje ze strony. Długie wczytywanie witryny nie tylko ma wpływ na zachowania użytkowników czy konwersję, ale także proces indeksowania. Monitorując ten wskaźnik, warto dbać o jego możliwie niską wartość). 
• liczba kilobajtów danych pobieranych dziennie (statystyki badające jak szybko zbierane są dane. Jeśli np. przetwarzane jest wiele kilobajtów, ale liczba indeksowanych stron jest niska, to jasny dowód na to, że elementy takie jak pliki graficzne czy multimedialne są zbyt duże). 

Inne ważne parametry 

Korzystając z raportów Google Search Console, należy pamiętać o ryzyku wyciągania pochopnych wniosków na temat wydajności danej strony. Badając indeksowanie, powinno uwzględniać się wiele, różnorodnych czynników – dopiero wtedy, w szerokim kontekście uzyskujemy wymierne wyniki, które pozwalają na przeprowadzenie stosownych udoskonaleń. Oprócz głównych parametrów crawl budget, warto sprawdzić np. raport mapy witryny (szczególnie przydatny w rozbudowanych stronach – pozwala monitorować, które mapy zostały przesłane, czy wykryto jakiekolwiek błędy przy ich przetwarzaniu itp.), raport AMP – Accelerated Mobile Pages (podający dane na temat tego, które ze stron AMP można, a które ewentualnie nie można zaindeksować) czy raport problemów dotyczących bezpieczeństwa (dzięki któremu można wykryć różnorodne zagrożenia w obrębie witryny. Nie tylko otrzymujemy informację dotyczącą konkretnego problemu, ale również poradę na temat tego, jak się z nim uporać, w efekcie możemy uchronić się przed shakowaniem witryny i finalnie – obniżeniem budżetu indeksowania. Podsumowując – profesjonalna, wyczerpująca analityka, regularne sprawdzanie jakości i sprawności witryny, dbanie o jej ciągły, przemyślany rozwój w zgodzie z oczekiwaniami i potrzebami użytkowników oraz optymalizowanie jej pod względem technicznym według wskazówek Google to droga do uzyskania jak najlepszych, możliwych wskaźników indeksowania. 

Semcore