Robots.txt Generator

Adres strony Robots.txt Generator
Stronę mogą indeksować: wszystkie boty
żaden
Z wyjątkiem:
Nie indeksuj:

Kod pliku Robots.txt
Wygenerowany kod należy skopiować do pliku i zapisać go pod nazwą robots.txt, a następnie umieścić w katalogu głównym Twojej strony internetowej.
Adres strony
Należy podać adres strony w postaci: http://www.webmaster.net.pl
Stronę mogą indeksować
Wybierz, czy chcesz aby Twoją stronę mogły indeksować wszystkie boty, czy też chcesz zablokować jakiekolwiek indeksowanie.
Z wyjątkiem
Należy wpisać jeden pod drugim, każdy w swojej linii, pełne nazwy botów, którym chcesz zablokować dostęp do całej strony. Najpopularniejsze boty są spisane poniżej. Inne możesz znaleźć na stronach wyszukiwarek oraz w Twoich logach serwera/statystykach.
- Bilbo/1.2+WAP
- Crawler V 0.2.1 admin@crawler.de
- DonQuichote/1.2a-unix Mode/Get
- Googlebot/2.0 beta (googlebot(at)googlebot.com)
- Gulliver/1.3
- Lycos_Spider_(T-Rex)
- Scooter/1.0
- Slurp/si (slurp@inktomi.com; http://www.inktomi.com/slurp.html)
- libwww-perl/5.47
Nie indeksuj
Tutaj można wpisać, jeden pod drugim i każdą w swojej linii (ważne) ścieżki katalogów i plików, do których chcesz zablokować dostęp wszystkim botom, np.:
- /cgi-bin/
- /katalog/forum/
- /dir/plik.html
 
XHTML CSS
Webmaster.net.pl      2016