Spis treści

Indeksowanie strony w Google – co to w ogóle znaczy?

Indeksowanie jest fundamentalne dla późniejszego wzrostu widoczności witryny i potencjalnej konwersji. No dobrze, ale czym w ogóle jest to indeksowanie stron internetowych? Nowe lub zmienione pod względem treści strony nie są natychmiastowo „zauważane” przez Google – ten proces, zwany właśnie indeksowaniem trwa zwykle kilka dni lub nawet tygodni. Jest on przy tym w pewnym stopniu automatyczny, chociaż indeksowanie witryny można także aktywnie przyśpieszyć.

Google indeksuje strony poprzez zapisywanie ich adresów oraz innych przydatnych informacji w swego rodzaju bazie danych, którą można także wyobrazić sobie jako bardzo dobrze uporządkowaną bibliotekę. Nie jest ona jednak do końca scentralizowana, a raczej rozproszona w różnych miejscach zwanych Google Data Center, które wyposażono w zasobne serwery.

W tak powstałym indeksie stron internetowych Google przypisuje Twojej witrynie szereg informacji związanych z jej treścią, dzięki czemu użytkownicy będą w przyszłości mogli łatwo ją odnaleźć na podstawie wpisywanych zapytań. Oczywiście nie można mylić indeksowania strony z jej pozycją w wyszukiwarce – to dwie zupełnie odrębne kwestie. :)

Roboty Google – czym są i jak działają?

Aby poszczególne podstrony witryny zostały zindeksowane i pojawiły się w wynikach wyszukiwania Google, najpierw muszą zostać znalezione i poddane analizie. Zadaniem tym zajmują się tzw. roboty Google, zwane też oficjalnie Googlebotami. Są to programy oparte o różnorodne algorytmy Google, które aktywnie przeszukują internet w poszukiwaniu stron internetowych, kierując się przy tym określonymi kryteriami. To sprawne poruszanie się po sieci sprawia, że boty te nazywa się też pająkami lub crawlerami.

Najczęściej odnajdują one linki do nowych stron w miejscach już zaindeksowanych, możliwe jest też ręczne przesłanie do Google listy stron dla danej witryny – są one zwane mapami witryn. Warto wspomnieć, że strony, które już zostały zindeksowane, powinny zostać poddane temu procesowi ponownie, gdy ich treść zostanie zaktualizowana. Istnieje kilka rodzajów Googlebotów, a podstawowy podział wyróżnia te działające na komputerach oraz te przeszukujące strony w wersjach mobilnych. Można także wyróżnić Googleboty indeksujące:

  • obrazy,
  • materiały filmowe,
  • inne zasoby strony, np. pliki,
  • reklamy (AdsBot),
  • produkty do zakupu (StoreBot).

Powyższa lista mogłaby być znacznie dłuższa, jednak warto znać te najważniejsze.

Istnieje także kilka niuansów. Googlebot nie widzi „gotowych” stron w formie graficznej tak jak my w przeglądarce, a jedynie ich „suchy” kod. W przypadku, gdy natrafi np. na aplikacje oparte na JavaScript, nie jest w stanie ich bezpośrednio zindeksować. Do tego potrzebne jest mu renderowanie, czyli odczytywanie treści aplikacji w sposób podobny do tego wyświetlanego użytkownikom. Dopiero tak Googlebot może uzyskać potrzebne dane do indeksowania. Jest to bardzo ważne zagadnienie, pod którego kątem także wprowadza się różnorodne optymalizacje.

google searchconsole ineksowanie

Proces indeksacji i jego wspomaganie

Tworzenie indeksu Google opiera się każdorazowo o kilka etapów. Na każdym z nich można wdrożyć pewne działania, które sprawią, że indeksowanie będzie przeprowadzane optymalnie dla potrzeb danej witryny. Przyjrzyjmy się zatem tym kolejnym krokom indeksowania i sposobom ich modyfikacji.

Poszukiwanie stron

Każdego dnia Googleboty analizują miliony stron internetowych, a zatem zrozumiałe jest, że proces ten może nieco potrwać. Każda z nich musi być znaleziona poprzez linki lub mapy stron, a dodatkowo na tym etapie selekcjonowane są konkretne podstrony do indeksowania oraz częstotliwość ich przyszłego sprawdzania w celu wykrycia kolejnych aktualizacji treści.

Indeksowanie strony zależy też do pewnego stopnia od odpowiedzi samej witryny na taką próbę podjętą przez roboty Google – napotykane błędy wydatnie spowalniają cały proces, dlatego jest to kolejny obszar, który warto nadzorować i usprawniać. Trzeba wreszcie nadmienić, że nie zawsze właściciele stron życzą sobie indeksowania poszczególnych podstron, możliwe jest zatem ich zablokowanie z użyciem odpowiedniej komendy. Zdarza się, że Googleboty nie mają także dostępu do stron ze względu na konieczność wcześniejszego zalogowania się.

Czasami zmiany na stronie zachodzą dynamicznie, a Ty chcesz, aby roboty indeksowały Twoją stronę częściej. Można wprowadzić kilka działań, aby przyspieszyć proces dodawania strony do indeksu Google. Krótko mówiąc, na tym etapie naszym celem jest sprawienie, że Googleboty w ogóle zauważą naszą stronę.

Google Search Console – indeksowanie na prośbę użytkownika

Google Search Console to platforma przeznaczona dla administratorów witryn. Wyposażona jest w szereg narzędzi umożliwiających analizę i modyfikowanie procesu indeksowania oraz pozycjonowania stron. Możliwe jest tutaj wysłanie do Google prośby o indeksowanie pojedynczej witryny, dzięki czemu efekt można uzyskać nawet w kilka minut.

Wystarczy wprowadzenie adresu URL w dedykowanym polu tekstowym i kliknięcie przycisku z prośbą o indeksowanie. To dobry sposób na szybkie zaindeksowanie pojedynczych podstron, na których wprowadzono niedawno zmiany, np. opublikowano artykuł blogowy. Niestety indeksowanie w ten sposób całej rozbudowanej witryny byłoby bardzo żmudnym zajęciem.

Zgłoszenie mapy witryny

Mapa witryny to nic innego niż zawarte w pliku (zazwyczaj o nazwie sitemap.xml) wyszczególnienie jej struktury adresów URL, wszystkich możliwych powiązań między nimi, a także godnych zaindeksowania zasobów. Co ciekawe niektóre witryny takie jak WordPress automatycznie tworzą i przekazują mapę witryny do Google i zwykle nie ma potrzeby podejmowania w tym kierunku dalszych działań.

Także przy tej metodzie pomocny okaże się Google Search Console – wystarczy wkleić w odpowiednim miejscu URL mapy witryny i przesłać je do Google. Mapa strony przydaje się zwłaszcza przy dużych, niezwykle rozbudowanych serwisach. Zdarza się, że może nawet zaistnieć konieczność stworzenia kilku map dla jednej witryny, np. osobne dla pogrupowanych w różny sposób linków, a osobne dla grafik.

Zdecydowanie warto zgłosić mapę witryny po wprowadzeniu licznych zmian w obrębie serwisu. Nowe strony, do których prowadzi niewiele linków, a także te bogate w treści audiowizualne, także skorzystają na mapie.

co zrobić żeby strona była widoczna w google

Indexing API

Pod nazwą Indexing API skrywa się kolejna platforma dająca sposobność modyfikowania szybkości i kolejności indeksowania. Pod tym względem stanowi ona dobre uzupełnienie dwóch powyższych metod. Podobnie jak przy Google Search Console także tutaj wysłać można powiadomienie o konieczności dodania strony do indeksu. W Indexing API jedno konto Google może zakolejkować każdego dnia 200 adresów URL. Z jego pomocą można:

  • dodawać i aktualizować indeksowanie danego URL,
  • informować o usunięciu strony i tym samym wnioskować o usunięciu jej z indeksu,
  • sprawdzać status indeksowania nowych lub zaktualizowanych stron i wszelkich zmian związanych z danym adresem URL.

Należy jednak pamiętać, że obecnie, interfejs Indexing API może być używany wyłącznie do indeksowania stron z JobPosting lub BroadcastEvent osadzonymi w obiekcie VideoObject. Używanie Indexing API może znacznie usprawnić proces indeksacji – także w przypadku dość rozbudowanych witryn i może nawet stanowić pod tym względem alternatywę dla map strony. Mimo wszystko przy nowych stronach najlepiej jest łączyć wszystkie metody – tak na wszelki wypadek. ;)

Linkowanie zewnętrzne

Strony internetowe, które zostały już zaindeksowane, mogą pełnić dla Google rolę swoistych przewodników do innych, jeszcze niezaindeksowanych witryn. Umieszczając dany adres URL w serwisie zewnętrznym, usprawniamy nie tylko pozycjonowanie, ale także szybkość indeksowania. Wynik można poprawić nawet o kilka dni, co przy dużej konkurencji w danej dziedzinie może okazać się bardzo przydatnym bonusem. Linkowanie zewnętrzne także można monitorować z pomocą Google Search Console.

Linkowanie wewnętrzne

Chociaż linkowaniom wewnętrznym przypisuje się często mniejszą wartość, niż zewnętrznym, także one mogą poprawić indeksowanie. Mogą się przydać zwłaszcza wtedy, gdy nasza strona jest regularnie aktualizowana pod kątem indeksacji. Wtedy linki wewnętrzne szybko nakierują roboty Google na nowe podstrony. Oczywiście także tutaj trzeba zadbać o uporządkowaną strukturę serwisu, dobre połączenie ze sobą podstron i nienaganne aspekty techniczne związane z ich wczytywaniem.

Skanowanie i indeksowanie stron

Gdy strona została już poprawnie zidentyfikowana przez Googleboty, do gry zaczyna wchodzić parametr nazywany „Crawl Budget”. Wskazuje on na częstotliwość i „skrupulatność” indeksowania przez roboty. Jest więc swego rodzaju portfelem zasobów, które roboty wydają na indeksowanie. Zasoby te są przydzielane na podstawie szeregu czynników, na które można aktywnie wpływać. Monitoruje się je poprzez Raport Statystyki indeksowania w Google Search Console. Najważniejsze z tych wyznaczników to:

  • status hosta – czyli prościej mówiąc to, czy roboty Google podczas próby indeksowania napotkały jakiekolwiek problemy techniczne dotyczące dostępności do danej strony. Na status hosta mogą wpływać problemy w 3 kategoriach:
    1. pobieranie pliku robots.txt – plik ten stanowi kolejną wskazówkę dla robotów indeksujących i chociaż nie jest obowiązkowym elementem, to serwer musi poinformować robota o jego braku. Oczywiście jeśli plik istnieje, to powinien być udostępniony, nawet jeśli jest to plik pusty;
    2. rozpoznawanie nazw DNS – brak rozpoznania nazwy hosta, czego przyczyną jest zwykle nieprawidłowa konfiguracja witryny;
    3. połączenie z serwerem – brak lub niepełna odpowiedź serwera podczas indeksowana wskazuje na problemy sieciowe hosta;
  • szybkość odpowiedzi – im wolniej odpowiada serwer, tym mniej zasobów roboty mu przydzielą. Dodatkowo długi czas ładowania niekorzystnie wpływa na doświadczenia użytkowników i konwersję;
  • jakość treści – gdy jest niska (tzw. thin content) lub jest jej niewiele w porównaniu z rozbudowanym kodem HTML danej strony, może to nawet doprowadzić do uznania jej za pustą (tzw. soft 404) i tym samym całkowicie uniemożliwić indeksowanie;
  • unikalność treści – zduplikowanie treści w dużym stopniu ogranicza indeksowanie;
  • obecność linkowania – oba rodzaje linkowania dobrze wpływają na budżet indeksowania.

Zakładając, że wszystkie powyższe wytyczne pozostają bez zarzutu i indeksowanie się powiodło, rzeczywiście można zacząć myśleć o walce naszej strony o lepsze wyniki w wyszukiwarce (a w zasadzie warto o tym pomyśleć już wcześniej, gdyż to długotrwały proces ;)). W końcu zaindeksowanie strony wcale nie oznacza, że użytkownicy ją odszukają. Nim jednak do tego przejdziemy, warto sprawdzić, czy indeksowanie na pewno przebiega zgodnie z naszymi oczekiwaniami.

indexing api

Sprawdzanie indeksowania strony w Google

Jeśli nie gonią nas terminy „na jutro” i jesteśmy pewni, że nasza strona nie boryka się z problemami technicznymi, to można zawsze poczekać na automatyczne indeksowanie strony, które jest zazwyczaj kwestią dni lub co najwyżej tygodni. Jeśli jednak liczy się czas i chcemy się upewnić co do indeksowania, to istnieje na to kilka sposobów.

Komenda site: i cache:

Jest to bardzo prosta metoda, którą każdy może błyskawicznie zastosować. Wystarczy wpisać w wyszukiwarkę komendę „site:” i adres interesującej nas witryny (np. site:empressia.pl). Można także wpisać konkretne podstrony, aby sprawdzić, czy i one się indeksują (np. site:www.empressia.pl/oferta/pozycjonowanie).

Jeśli wyszukiwana strona pojawia się w wynikach, to ewidentnie się indeksuje, jeśli nie, to cóż, nie nadszedł jeszcze na to czas lub trzeba zacząć szukać źródła problemu. Podobną funkcję pełni komenda „cache:”, którą można sprawdzić, czy strona zapisuje się w pamięci podręcznej. Jeśli nie, to z dużym prawdopodobieństwem mamy problemy z indeksowaniem. Są to oczywiście bardzo uproszczone metody, aby upewnić się co do indeksowania pojedynczych stron.

Kontrola adresu URL w Google Search Console

Zdecydowanie bardziej pewnym sposobem na sprawdzenie indeksowania strony jest wpisanie adresu URL w górnym panelu wielokrotnie już przywoływanego narzędzia Google Search Console. Dodatkowo korzystając z panelu użytkownika, można sprawdzić raporty z ostatnich 90 dni dotyczące udanych i nieudanych prób indeksowania konkretnych podstron danej witryny, wraz ze wskazaniem potencjalnych źródeł problemów i sposobami na ich rozwiązanie.

Warto dodać, że sprawdzanie indeksowania w ten sposób może podawać sprzeczne z poprzednią metodą wyniki. Jest tak dlatego, że Google Search Console uzyskuje dane z głównych Data Center znajdujących się w USA, natomiast dane z tych lokalnych Data Center, na których oparto wyniki w wyszukiwarce, nie zawsze są tak szybko aktualizowane.

okienko www

Narzędzia zewnętrzne

Jeśli nadal nie masz pewności co do tego, czy strona poprawnie się indeksuje, możesz skorzystać z narzędzi zewnętrznych. Warte polecenia są na przykład narzędzia od Ahrefs lub SEMrush, albo niezależny od Google robot Screaming Frog SEO Spider do sprawdzania i analizy indeksowania. Trzeba jednak pamiętać, że część narzędzi, zwłaszcza przy analizie rozbudowanych serwisów, może być płatna.

Najczęstsze problemy związane z indeksowaniem (oraz rozwiązania)

Wiemy już, czy strona się indeksuje, w Google Search Console możemy także z dużą dozą pewności zdiagnozować, gdzie leżą źródła ewentualnych problemów. Poniżej przedstawiamy najczęstsze z nich wraz z rozwiązaniami. Co ważne, należy regularnie monitorować występowanie tych błędów – szczególnie przy większych aktualizacjach witryn.

Niewłaściwy tag meta robots

Czasami indeksowanie strony w Google jest nieświadomie blokowane przez twórcę. Chodzi o meta tag robots, który nie jest usuwany z kodu HTML po opublikowaniu strony. Wygląda ona tak:

ramka czerwona bialy napis

...i po prostu blokuje indeksowanie. Tag ten wystarczy odpowiednio skonfigurować, by indeksowanie przebiegło tak, jak należy.

Błędy w URL

Warto przyglądać się wszystkim adresom URL na naszej witrynie. Powinny być możliwie krótkie, zawierać tylko niezbędne informacje i zachowywać spójną konstrukcję na całej witrynie. Zbyt rozbudowane kategorie i tym samym złożone adresy URL także nie sprzyjają indeksowaniu.

Wadliwy kod HTML

Niedomknięte tagi i inne błędy strukturalne kodu HTML to kolejny częsty problem, który wpływa negatywnie nie tylko na indeksowanie, ale też odbiór strony. Istnieją różnorodne narzędzia do audytów kodu HTML, więc warto regularnie z nich korzystać.

laptop stół

Błędna lub nieaktualna mapa witryny

Błędne linki, nieaktualne strony i problemy związane z mapą witryny mogą znacznie utrudnić indeksację. Rozwiązanie jest proste – częsta i regularna aktualizacja mapy.

Braki w responsywności strony i długie ładowanie

Pod tę kategorię można podpiąć zarówno niedostosowanie strony do urządzeń mobilnych, jak i jej długie wczytywanie. Ten drugi aspekt może mieć wiele przyczyn, dlatego warto tutaj skorzystać z narzędzia Google PageSpeed Insights.

Brak unikalnych i wartościowych treści oraz linkowania

Wyszukiwarka premiuje wysokiej jakości treść – zarówno pod względem indeksowania, jak i pozycjonowania. Ważna jest też oczywiście budowa bazy wartościowych linków zewnętrznych oraz wewnętrznych.

Dbałość o indeksowanie zadaniem długoplanowym

Prześledziliśmy kolejne etapy indeksowania strony w Google i jednocześnie omówiliśmy najważniejsze wyzwania i problemy związane z tymi etapami. Jak widać, dbanie o skuteczne indeksowanie witryny jest zajęciem rozłożonym w długim przedziale czasu – podobnie zresztą jak pozycjonowanie. Chociaż powyższe zagadnienia są jedynie skrótowym omówieniem kwestii indeksowania, pozbawionym niektórych szczegółów technicznych, artykuł ten daje wgląd w najważniejsze zasady skutecznego indeksowania witryny w Google.

wyceń pozycjonowanie strony internetowej

FAQ:

1. Ile trwa indeksowanie strony w Google?

To zależy od naprawdę wielu czynników, dlatego może wahać się od kilku dni do nawet kilku tygodni. Postępy w indeksowaniu można podejrzeć na wspominane w artykule sposoby.

2. Czy mapy witryny są konieczne do zaindeksowania stron?

Mapy stron na pewno bardzo pomagają w indeksowaniu rozbudowanych witryn. Jednocześnie nie są w żaden sposób „obowiązkowe”, zwłaszcza jeśli dana strona ma mało złożoną strukturę. Indeksowanie zachodzi także bez mapy, choć ta je ułatwia i przyśpiesza.

3. Kiedy warto zatrzymać indeksowanie strony?

Tagu noindex, który blokuje indeksowanie strony, warto na pewno użyć podczas jej tworzenia, ale także w przypadku np. strony produktów, które wycofano ze sprzedaży albo innych stron, takich jak polityka prywatności, których nie ma potrzeby indeksować.