» » Приручаем поисковых ботов

Приручаем поисковых ботов

Приручаем поисковых ботов


Все юзеры сети веб обожают поисковые машины. Они разрешают им ориентировать большущих местах сети, подсобляют отыскать конкретно то что им надо. Но для хозяев веб веб-сайтов они могут также встать и головной болью, т.к. поисковые боты заглядывая на веб-сайт, обладают одну единственную целься: проиндексировать ваш веб-сайт как можнож прытче и добавить в близкую основу принесенных. Зачем головной болью? Да так как поисковые боты сооружают близкую службу довольно прытко и старательно, скачивая странички вашего веб-сайта с большущий интенсивностью. Ежели на вашем 5 страничек, то нет вопросов, все проходит прытко и безболезненно. А ежели тыщи, 10-ки тыщ? На практике это смотрится так: внезапно в какое то определенное период суток, веб-сайт начинает генерировать большущую нагрузку, сервер держит эту нагрузку, до того времени пока ему разрешают лимиты либо потенциала, а позже или сервер падает, или легко перестает отдавать странички, а вы зарабатываете от хостинг компании суровые заявки прекратить нагружать сервер, переехать на наиболее высочайший тариф, и т.д. Что мастерить в принесенной ситуации? Заблокировать ботов? Не наш способ. Все очень просто, ботов можнож приручить и сделать их добросердечными и лохматыми и вынудить их рассчитываться с вами. Для этого необходимо обратиться к документации и протоколу управления роботами. Каждый почитающая себя поисковая машина почитает разработанные стандарты и идет им. При посещении веб-сайта поисковый бот в основную очередь обращается к файлу robots.txt, тот или другой соответствен находится в корне веб-сайта, этот файл и правит деяниями поискового бота. Итак создаем в корне вашего веб-сайта файл robots.txt и снутри него строчим:
User-agent: *
Crawl-delay: 10


Параметр Crawl-delay показывает поисковому боту чтоб он загружал странички вашего веб-сайта с промежутком более 10 секунд, вторыми словами легко выдерживал паузу во период индексации страничек вашего веб-сайта. И ваш веб-сайт безмятежно индексируется в рубежах возможной перегрузки. Вы сможете поменять интервал по свойскому усмотрению, мастеря его преимущественно либо младше. Но обладайте ввиду мастеря интервал очень огромным, вы замедляете темпы индексации веб-сайта, и индексация проходит еще подольше. Все как говорится обязано водиться в меру.

Создатель: celsoft

источник: dle-news.ru
Опубликовано: 9-05-2016, 14:30