Spis treści

Crawl budget — co to jest?

Strony, które obecnie można zobaczyć w wynikach wyszukiwania Google musiały zostać wcześniej zaindeksowane przez roboty Google. Trzeba przy tym pamiętać, że niezależnie od tego, ile dana witryna ma podstron, każdy adres URL skanują one osobno. Z tą czynnością związane jest pojęcie „crawl budget”. Przez część specjalistów tłumaczy je jako liczbę stron, które w określonym czasie mogą odwiedzić i przeskanować Googleboty. Inna definicja, coraz częściej uznawana za tę lepiej wyjaśniającą opisywane pojęcie, mówi o tym, że crawl budget to czas, jaki roboty poświęcają na indeksowanie określonej witryny.

Crawl budget określa się w języku polskim jako budżet indeksowania. Jest on szczególnie ważny dla wszystkich stron, w przypadku których istotne jest szybkie dodawanie ich podstron do Google, a więc tych dostarczających najnowsze informacje. Szybkość indeksacji stanowi też bardzo ważne zagadnienie dla wszystkich dużych sklepów internetowych oraz innych serwisów łączących w sobie wiele adresów URL, które mają znajdować się w wyszukiwarce.

Co wpływa na crawl budget?

Żadne działania robotów Google nie są przypadkowe. Zależą one bowiem od określonych czynników. Choć właściciele strony nie mogą bezpośrednio decydować o tym, jak duży ma być crawl budget, odpowiednie działania pozwalają na jego optymalizację. Chcąc jak najlepiej wykorzystać budżet indeksowania, należy najpierw dowiedzieć się, co dokładnie na niego wpływa. Wśród najważniejszych czynników wyróżniane są:

crawl budget

  • Crawl rate limit, czyli limit współczynnika indeksacji

Pierwszy z czynników mający znaczny wpływ na budżet indeksowania to crawl rate limit, którym jest ograniczeniem dla zapytań, jakie roboty Google wysyłają podczas działań w obrębie witryny. Został on wprowadzony, aby nie obciążać witryny indeksowanej w danym momencie przez Googleboty. Trzeba zaznaczyć, że współczynnik crawl rate limit może zostać zmieniony w Google Search Console. Należy jednak pamiętać o tym, że jego ręczna zmiana zazwyczaj nie sprawia, że budżet indeksowania staje się wyższy.

Czy warto go zmniejszyć, jeśli jednak częstotliwość zapytań wysyłanych przez Googlebota będzie zbyt duża? Jest to możliwe we wcześniej wspomnianym narzędziu — Google Search Console. Trzeba jednak mieć na uwadze, że w ten sposób ogranicza się indeksowanie własnych podstron. Zamiast podejmować ten krok, warto dowiedzieć się, jak można zwiększyć wydajność strony poprzez jej optymalizację oraz sprawdzić serwery, na których się ona znajduje.

  • Crawl health — kondycja crawla

Czynnik crawl health jest ściśle związany z crawl rate limit, ponieważ dotyczy, jak sama jego nazwa mówi, kondycji crawla. Wpływają na niego przede wszystkim aspekty techniczne związane ze stroną internetową takie jak szybkość jej ładowania czy czas odpowiedzi serwera.

Jeśli witryna wyświetlana jest szybko, będzie odpowiednio indeksowana. Z kolei w sytuacji, gdy roboty Google zostaną zmuszone do długiego oczekiwania na odpowiedź, mogą podczas jednej wizyty zaindeksować mniej podstron. Co więcej, nierzadko uznają one, że ze względu na tak długi czas ładowania, dane witryny nie powinny być wyświetlane na wysokich pozycjach w wynikach wyszukiwania.

  • Crawl demand — częstotliwość indeksacji

Oprócz kwestii związanych z aspektami technicznymi strony, istotny jest również popyt na indeksację. W tym przypadku trzeba zadbać przede wszystkim o popularność danej strony internetowej, czyli o to, jak wielu użytkowników ją odwiedza. W tym przypadku trzeba sprawdzić liczbę linków prowadzących do danej witryny, które znajdują się w innych serwisach.

Googlebot znacznie chętniej wejdzie na stronę www, która jest często aktualizowana. W związku z tym, chcąc, aby dana witryna była odpowiednio indeksowana, należy zadbać również częstotliwość aktualizacji treści. Na taką stronę internetową roboty Google będą wchodzić zdecydowanie chętniej.

Jak sprawdzić crawl budget w Google Search Console?

Informacji na temat współczynnika crawl budget można szukać w darmowym narzędziu Google Search Console. Wystarczy wejść w zakładkę statystyki indeksowania i otworzyć dostępny tam raport obejmujący dane z ostatnich 90 dni. Dostępne są tam wykresy dotyczące:

  • łącznej liczby żądań robota indeksującego — w tym przypadku, im większe wskaźniki, tym lepiej,
  • łącznego rozmiaru plików do pobrania,
  • średniego czasu reakcji podanego w milisekundach, który tak jak zostało już wcześniej wspomniane, powinien być jak najkrótszy.

statystyki crawl budget google search console

Dane te umożliwiają ocenę, czy dana witryna jest często indeksowana oraz ile czasu spędzają na niej Googleboty, a co za tym idzie, pozwala spojrzeć na stronę z punktu widzenia robotów.

Optymalizacja crawl budget — o czym trzeba pamiętać?

Wiedząc, czym jest crawl budget, warto jeszcze zastanowić się nad tym, jak można go zoptymalizować. Do najważniejszych zadań związanych z tym zagadnieniem należą:

  • sprawdzenie poprawności działania nawigacji fasetowej, dotyczącej opcji filtrowania, a przez to — szczególnie często wykorzystywanej przez sklepy internetowe. Może ona generować wiele niepotrzebnych adresów URL, które będą mieć negatywny wpływ na budżet indeksowania witryny,
  • unikanie zjawiska duplicate content, czyli umieszczania tych samych treści na kilku podstronach, co może prowadzić do tego, że roboty Google ograniczą widoczność danej strony,
  • usunięcie miękkich błędów 404, polegających na tym, że serwer zwraca kod odpowiedzi 200 na stronie, która nie istnieje, co nierzadko negatywnie wpływa na crawl budget. Informacje na temat tego rodzaju błędów również można uzyskać z narzędzia Google Search Console,
  • brak publikacji treści, które nie mają wartości dla użytkowników, czyli unikanie tzw. thin contentu, ponieważ to również jest negatywnie oceniane przez roboty wyszukiwarki,
  • wyłączenie indeksowania stron, które mają mniejsze znaczenie przy użyciu pliku robots.txt lub meta tagów,
  • stworzenie i dodanie do Google Search Console pliku sitemap.xml, który może znacznie ułatwić robotom poruszanie się po danej stronie internetowej. Należy jednak przy tym pamiętać, że w mapie nie może być żadnych błędów, ponieważ te często przynoszą odwrotny skutek i mogą doprowadzić do obniżenia budżetu indeksowania witryny.

Należy również dbać o aktualizowanie treści, o czym zostało wspomniane we wcześniejszej części tekstu, ponieważ to zachęca roboty do wchodzenia na daną witrynę. Jeśli są podstrony, na które Googlebot powinien szczególnie zwrócić uwagę, warto wykorzystywać je do linkowania wewnętrznego. Chcąc zadbać o optymalizację budżetu indeksowania swojej strony, należy przede wszystkim zatroszczyć się o to, aby wszystkie adresy URL związane ze stroną były poprawne.

Jeśli chce się mieć pewność, że wszystkie czynności zostaną przeprowadzone poprawnie, można powierzyć swoją witrynę specjalistom SEO zatrudnionym w agencji SXO. Doświadczone osoby mogą stworzyć odpowiednią mapę strony i zadbać o to, aby indeksowane były wyłącznie ważne podstrony.

Dlaczego crawl budget jest ważny?

Planując pozycjonowanie strony internetowej nie można nie zwrócić uwagi na crawl budget. Bez indeksowania strony, nie będzie ona wyświetlana na wysokich pozycjach w wynikach wyszukiwania, ponieważ w ogóle nie znajdzie się w Google. Trzeba też pamiętać o tym, że roboty nie wchodzą na podstrony, aby sprawdzić tylko te dopiero powstałe, lecz także, skanują one witryny w poszukiwaniu wprowadzonych na nich zmian.

Należy uważać na błędy, które mogą mieć negatywny wpływ na budżet indeksowania witryny oraz zadbać zarówno o aspekty techniczne, jak i o częste publikowanie odpowiedniej jakości treści, które mogą zostać docenione przez Googleboty. Dzięki tym działaniom optymalizacja crawl budget będzie prawdopodobnie skuteczna. Ważne są również regularne analizy danych, które umożliwia Google Search Console.

wyceń pozycjonowanie strony internetowej

FAQ:

1. Co to jest crawl budget?

Crawl budget, czyli budżet indeksowania witryny to czas, jaki roboty Google spędzają na indeksowaniu danej witryny.

2. Dlaczego należy zadbać o wysoki crawl budget?

Od tego, czy roboty Google zaindeksują określone witryny zależy, czy te będą wyświetlane w wynikach wyszukiwania. W związku z tym wysoki crawl budget powinien być istotny dla każdego, komu zależy na tym, aby jego witryna była wyświetlana w Google.

3. Co to jest crawl demand?

Crawl demand to jeden z czynników wpływających na budżet indeksowania strony internetowej. Dotyczy on przede wszystkim jej popularności oraz tego, czy znajdują się na niej aktualne informacje.