Перейти к содержимому



Купить ссылку здесь
Фотография
- - - - -

Яндекс внес изменения в обработку файла robots.txt

Форум ZiSMO.biz
0
В этой теме нет ответов

OFFLINE Отправлено

vash-host
группа пользователя

    Пользователь

  • Cообщений: 424
  • Поинты: 192
  • Предупреждений: 10
  • Онлайн:26д 3ч 34м
27

Поисковые роботы Яндекса перестают учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

Часто индексирующий робот не может получить доступ к сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с использованием пустой директивы Allow:

User-agent: *
Allow:

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Когда же владельцы сайтов намеренно хотели запретить посещение сайтов, они обычно четко прописывали команду запрета.

Поэтому мы решили изменить обработку роботом такой директивы - сейчас она игнорируется при обнаружении в robots.txt. Если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

Disallow: *

Или

Disallow: /

Проверить, что разрешено, а что запрещено в robots.txt можно вЯндекс.Вебмастере. Рекомендуем обратить особое внимание на пустые значения для Allow - если нужно запретить индексирование, то их быть не должно.





    • 0
  • Наверх
  • Ответить



Напишите свое сообщение