Не шутите с роботами!
Проснулся я на днях и офигел. Почти 50% трафика с моего сайта, как корова языком слизнула. Первая мысль "попал под фильтр", вторая "А за что, собственно?". Действительно, ничего противозаконного не совершал, трафик чистый поисковый. Но статистика не врет. От Яндекса народ валит, а Гугл поставляет крохи. Проверяю по урлу в поиске - нету ни одной из топовых страниц. "Ну всё, думаю, доигрался, конкуренты или Вим-Авиа, про которую как раз намедни писал".
Лезу на сторонние ресурсы изучаю материал, но по всем понятиям нету у меня фильтра. Смотрю в аналитику Гугла и вижу, о чудо! Все статьи запрещены в robots.txt, рубрики остались, а статьи тю-тю. И тут пришло понимание, что зря я наверное правил этот файл. Кстати Гугл среагировал через три дня, вдруг кому интересно. Поправить проблему дело не хитрое, особенно если знать где искать. Что ж SSH, wim - погнали править файл.
Дальше хуже, сколько времени на одном крыле лететь. На Яндексе далеко не взлетишь, надо срочно все в индекс вернуть. Что делал:
- Скормил robots.txt гуглу через вебморду
- Обновил сайтмеп, чтоб файлы каждый день читались и туда же гуглу
- Список самых популярных статей за месяц в Гугл
- Список активных статей, одним файлов в подвал и гуглу
- Социальные сети, получили лучшие материалы за последние дни
Не прошло и 15 минут как Гугл начал всё спешно поедать, спустя час пошел возврат трафика. К вечеру Гугл почти догнал коллегу. На следующий день прирост 10% к показателям до правки - вот так чудеса! Видать давно непериндексировались старые, но сто раз исправленные статьи. Одним словом - счастье.
Но беда не приходит одна, через день картина повторилась. На этот раз меня порадовал Яндекс. Тоже падение в 47%. Оказывается он тоже схавал старый robots.txt, то ли он такой не торопливый, то ли где-то в древнем кеше отыскал. Ну вот лечу теперь опять подбитой птицей, только на этот раз уже третий день идет. Яндекс - существо не спешное, ему 1-2 обновления базы надо, котрые проходят 1-2 раза в неделю. Так, что сидеть мне и куковать.
Вот такая наука - не шутите с роботами!
А всего лишь хотел убрать старые и скучные статьи со своего сайта - доигрался.