Crawlery – jak działają?
4 min
4 min
Na skróty
Prawidłowo funkcjonująca strona internetowa to podstawowy element marketingu w XXI wieku. Każdemu przedsiębiorcy zależy na tym, aby wyświetlała się jak największej liczby internautów w organicznych wynikach wyszukiwania. Warto jednak pamiętać, że optymalizacja witryny pod SEO to również zadbanie o przejrzysty i przyjazny wygląd nie tylko dla użytkowników, ale również dla robotów Google’a regularnie weryfikujących jej zawartość. W dzisiejszym wpisie przedstawimy, jak działają crawlery, czym są i co warto o nich wiedzieć. Zaczynajmy!
Pojęcie web crawler to mało znana nazwa dla większości internautów, którzy na co dzień nie specjalizują się w pozycjonowaniu stron internetowych lub działaniach web developerskich. W Semcore uważamy jednak, że bez znaczenia na branżę, warto zapoznać się z tym zagadnieniem i wiedzieć, co ono dokładnie znaczy.
Web crawler (tzw. internetowy robot) kompleksowo sprawdza różne elementy znajdujące się na Twojej stronie internetowej. Bada „wnętrze” Twojej witryny i wyciąga wnioski, które następnie wykorzystuje w celu zwiększenia lub obniżenia jej pozycji w organicznych wynikach wyszukiwania, czyli SERP-ach. Jest to zazwyczaj content i dogłębna budowa danego serwisu.
Warto również wspomnieć, że z website crawlerów korzystają przede wszystkim agencje SEO do indeksacji stron www swoich klientów. Dzięki temu wdrożenie strategii pozycjonowania może okazać się skuteczne już po kilkunastu dniach od rozpoczęcia współpracy pomiędzy kontrahentami.
Web crawlery zbierają skrupulatne informacje o domenach w celu ich poprawnego zaindeksowania, a także regularnego monitorowania zmian. Googleboty badają „wnętrze” domeny bazując na trzech głównych rodzajach skanów – deep crawl, fresh crawl oraz main crawl. Pierwszy z nich oznacza dogłębne badanie witryny, drugi weryfikację stron, które są często uaktualniane (wykorzystujemy go najczęściej), a trzeci (main crawl) ma podobne zadanie, co deep crawl, z tą różnicą, że dotyczy wyłącznie priorytetowych z punktu widzenia użytkowników zakładek (np. „o mnie” lub „kontakt”). Szczegóły wyjaśniamy poniżej!
Jak już wcześniej wspomnieliśmy – istnieją 3 rodzaje skanów wykonywanych przez roboty giganta z Mont Blanc. Ich pełne nazwy to Google’s deep crawl, Google’s fresh crawl oraz Google’s main crawl. Przedstawiamy znaczenie wszystkich rodzajów skanów!
Google’s deep crawl to jeden z najdokładniejszych rodzajów skanów oferowanych przez giganta z Mont Blanc. Bada kompleksowo „wnętrze witryny” uwzględniając internal linking, odnośniki dofollow, kod HTML i CSS, a także inne priorytetowe zdaniem twórców Google’a elementy (np. wdrożone funkcjonalności). Występuje nawet kilka razy w miesiącu – zależy to od częstotliwości dokonywania zmian na konkretnej witrynie.
Google’s fresh crawl odpowiada za aktualizację najważniejszych fragmentów strony, które widzą użytkownicy. Pozwala to im być na bieżąco ze wszystkimi nowościami dodawanymi przez odwiedzaną domenę. Ten rodzaj skanu jest praktykowany minimum raz dziennie.
Google’s main crawl to rodzaj skanu wykonywany mniej więcej raz w tygodniu. Skanuje zakładki typu „o mnie” oraz podstrony kontaktowe, aby potencjalni klienci mogli regularnie dowiadywać się kluczowych informacji o Twojej domenie.
Skoro już dowiedzieliśmy się, co to jest, jak działają crawlery oraz jakie są ich rodzaje, warto zwrócić uwagę na kolejny priorytetowy aspekt – funkcje crawlerów.
Otóż główne zadanie Googlebotów to odwiedzanie witryn internetowych, rzetelna weryfikacja treści, a następnie wysyłanie kluczowych danych do specjalnego indeksu (czyli bazy, na podstawie której algorytmy układają kolejność wyszukiwania). W konsekwencji uzyskanie ruchu na naszej stronie pochodzącego z wyszukiwarki jest możliwe za sprawą indeksacji witryny przez pająki indeksujące.
Podczas indeksowania roboty Google’a biorą pod uwagę 3 główne elementy domeny, na podstawie których wartościują konkretne strony www – content, znaczniki meta i opisy alt w grafice.
Jeden z najważniejszych elementów każdej witryny. Od jakości oraz poprawności zamieszczonych treści zależy wartość Twojej domeny w oczach Googlebotów. Web crawlery na podstawie contentu weryfikują tematykę i kategoryzują strony www. Rekomendujemy zatem zadbać nie tylko o poprawność gramatyczną czy ortograficzną, ale również umiarkowane nasycenie słowami kluczowymi, jej przejrzystość, a także oryginalność.
Jeśli mówimy o znacznikach meta pod kątem pozycjonowania i web crawlerów, najważniejszy jest tag title. Odpowiada on za SEO, a w konsekwencji prawidłową indeksację witryny. Należy w nim zawrzeć słowo kluczowe oraz treść, która nakłoni internautę do wejścia na stronę (lub go zainteresuje).
Jeśli chodzi o tag description – roboty crawlujące nie biorą go pod uwagę. Meta description warto jednak opracować z uwagą na Call To Action (CTA) i inne elementy, które zwiększą prawdopodobieństwo odwiedzenia strony przez potencjalnego kupującego.
Opisy alt w grafice to konieczność. Web crawlery nie widzą obrazków, a co za tym idzie – podczas indeksacji biorą pod uwagę opisy alternatywne grafik lub fotografii.
Popularne crawlery w praktyce dostrzegają całkowicie surową formę Twojej domeny w postaci kodu źródłowego, CSS, treści witryny oraz fraz kluczowych rozmieszczonych w odpowiednich fragmentach tekstu. Podczas budowania strony pod SEO, polecamy skupić się przede wszystkim na contencie, ponieważ to on w głównej mierze decyduje o miejscu w wyszukiwarkach.
Jako doświadczona agencja SEO, stawiamy treści na pierwszym miejscu, jednak podczas współpracy z naszymi klientami wykonujemy regularne audyty strony, aby wytypować wady, których naprawa poskutkuje podwyższeniem pozycji w SERP-ach. W konsekwencji przedstawiamy także niedopatrzenia w kodzie źródłowym oraz CSS, aby kolejne prace Googlebotów przebiegały sprawniej..
Crawlery (inaczej roboty, pająki, pełzacze lub boty) to programy wykorzystywane przez wyszukiwarki do weryfikacji kodu, struktury oraz zawartości stron internetowych dostępnych w wyszukiwarkach. Wykonywana przez nie ocena jakościowa selekcjonuje domeny w SERP-ach – te, które są najbardziej wartościowe, zajmują najwyższe miejsca w Google.
Poniżej przedstawiamy odpowiedzi na najczęstsze pytania zadawane w tematyce web crawlerów.
Web crawlery sprawdzają status http podstron, weryfikują duplicate content oraz ilość nagłówków, liczą znaki w treści i kontrolują inne priorytetowe wskaźniki Twojej witryny.
Nie. Algorytmy Google to ciąg zdefiniowanych czynności koniecznych do osiągnięcia wysokich pozycji w organicznych wynikach wyszukiwania. Googleboty natomiast to programy zbierające najważniejsze dane o strukturze, stronach i treściach znajdujących się w internecie, które regularnie selekcjonują domeny w kontekście miejsc w organicznych wynikach wyszukiwania.
Zawodowy copywriter specjalizujący się̨ w tworzeniu artykułów eksperckich dotyczących najważniejszych zagadnień związanych z SEO. Twierdzi, że nieustanne zmiany w tej dziedzinie napędzają go do dalszej pracy, a edukowanie innych pozwala mu wzrastać.
