Tester pliku robots.txt w Narzędziach dla webmasterów Google

Google w swoich Narzędziach dla webmasterów rozbudowało dział dotyczący pliku robots.txt. Znacznie ułatwione zostało jego testowanie. W prosty sposób można sprawdzić czy plik nie zawiera błędów składniowych i czy działa w odpowiedni sposób. Google wyłapuje błędy w kodzie pliku i wypisuje je w dwóch kategoriach:
– błędy, które koniecznie trzeba poprawić
– ostrzeżenia, którym warto się przyjrzeć.
Dodatkowo przy każdym błędzie znajduje się jego opis np. „Nieznana składnia”.

Narzędzie umożliwia także wpisanie adresu URL i sprawdzenie czy jest blokowany. Jeżeli dany adres jest blokowany, podkreślony zostaje fragment kodu, który za to odpowiada. Ta funkcja ma pomóc przede wszystkim w sytuacji, gdy plik robots.txt jest bardzo rozbudowany.