Комментарии на: Приручаем поискового робота с помощью robots.txt

От: zdorovyal

zdorovyal — Fri, 11 Dec 2009 17:44:35 +0000

Вот и нашел на наглядном примере что и как! Спасибо большое.

От: робот

робот — Sat, 26 Sep 2009 02:10:12 +0000

Вообще, нужно отдельно читать список директив и правила использования robots.txt для роботов главных ПС, они там у них разные. К тому же новые добавляются время от времени.

От: Advent

Advent — Tue, 14 Jul 2009 16:00:17 +0000

Я сейчас рыскаю по всем описаниям, пытаясь понять почему сервис на валидность показывает кучу ошибок. Везде роботс практически одинаков, и никто ничего не может толком объяснить, одни говорят allow не нужен, вторые нужен. Ну закрыть директории это понятно, сделать исключения тоже, но вот если исходить из чекера, то нужно исправлять ошибки.
Привожу сервис попробуйте,жду ответа.
http://tool.motoricerca.info/robots-checker.phtml

От: revolt

revolt — Fri, 05 Jun 2009 07:04:31 +0000

Спасибо, разобрался.

От: TiamatInc

TiamatInc — Tue, 19 May 2009 17:11:47 +0000

Ну как это нет, а вот это http://kovbasahomemade.blogspot.com/robots.txt ???

От: revolt

revolt — Tue, 19 May 2009 16:59:36 +0000

Смотрел, blogger пишет, что нет его.

От: TiamatInc

TiamatInc — Tue, 19 May 2009 16:25:45 +0000

А он там уже есть, гляньте по адресу ваш_блог/robots.txt

От: revolt

revolt — Tue, 19 May 2009 16:18:28 +0000

Подскажите, куда конкретно надо вставить файл robot.txt в .blogspot.com

От: TiamatInc

TiamatInc — Sun, 29 Mar 2009 01:51:44 +0000

Думаю совпадение, просто на днях был ап тИЦ

От: Светлана

Светлана — Sat, 28 Mar 2009 18:23:52 +0000

Не знаю, что с чем связано, может быть просто совпадение, но после исправления файла robots.txt у меня ТИЦ поднялся. 20 это мало, но лучше чем 10!