Coraz częściej pojawiają się na forum Google dla webmasterów pytania dotyczące braku indeksowania nowo utworzonej strony. Nie pomaga zgłaszanie strony do ponownej indeksacji, pingowanie czy linki z innych zaindeksowanych stron. Przyczyn takiego stanu może być co najmniej kilka.
Blokada indeksowania
Na forum Google dla Webmasterów mieliśmy już nieodosobnione przypadki, kiedy opublikowana strona miała niezmienione polecenie dla robotów „noindex” w nagłówku.
Prawidłowy zapis:
<meta name="Robots" content="index, follow" />
Zablokowany dostęp:
<meta name="Robots" content="noindex, follow" />
Jeden z wielu takich wątków znajduje się tutaj.
Ten sam robot Google może mieć zablokowany dostęp do strony w pliku robots.txt:
User-agent:* disallow: /
Status błędu 404
Każdy serwer w momencie połączenia klienta z adresem wysyła kod z informacją o statusie adresu. Adres dostępny (strona działająca) wysyła status 200. Zdarza się, że w wyniku błędu programisty lub błędów w konfiguracji na serwerze opublikowana strona wysyła status 404, czyli błędu. Taka strona nie zostanie zaindeksowana.
Status strony możemy sprawdzić np na stronie: http://www.seoconsultants.com/tools/check-server-headers-tool/
Domena z negatywną historią
Kupując domenę dla swojej strony należy ją wcześniej sprawdzić, czy nie ma barwnej historii, czyli czy nie była używana przez spamera i nie posiada nałożonej kary w Google. Od zeszłego roku wiemy oficjalnie, że zmiana właściciela domeny nie kasuje sankcji na nią nałożonych. Domenę możemy sprawdzić w archiwum internetu, a jej podlinkowanie zewnętrzne w serwisach takich jak ahrefs.com czy majesticseo.com. Jeśli już mam domenę podpiętą pod serwis, interesujące nas informacje możemy znaleźć w Narzędziach Google dla Webmasterów.
Brak wartości dla użytkowników
Google może podjąć decyzję o nieindeksowaniu witryny, jeśli ta nie niesie ze sobą żadnej wartości. Jeśli zamiast wartościowej witryny stoi pusty WordPress, lub jedyną jego treścią są dwa (typowe dla precli) artykuły o niskiej jakości, Google może niezaindeksować strony.
Brak kanonicznych adresów
Na anglojęzycznym forum dla webmasterów mamy przykład, w którym mapa strony wskazuje na niekanoniczne adresy witryny. W swojej karierze mieliśmy jeszcze inny przykład witryny z ustawionym przekierowaniem 301 na adresy podstron „bez www”, a w nagłówkach podstron adres kanoniczny był „z www”. Ze względu na sprzeczne komendy, Google nie mogło zaindeksować witryny.