Индексация информационного сайта в Яндексе
Получили бесценный опыт борьбы за полную индексацию информационного ресурса в Яндексе.
Немного о сайте, с которым пришлось работать. Крупный информационный ресурс, имеющий представительство в США и странах Европы (Франция, Италия) и расширяющий свое присутствие по сей день. Я работала с российским порталом. Естественно, что разработка сайта велась с учетом требований поисковой системы Google, они и представить себе не могли, сколько сложностей возникнет при выходе в российский сегмент интернет, где "балом" правит Яндекс.
Начиналось все не плохо, в индекс попали все страницы, имеющие актуальный и уникальный контент, но через две недели произошло падение проиндексированных страниц в 4-раза и "началось".
Естественно я стала искать причины проблемы с индексацией сайта и анализировать ситуацию в поиске проблемы.
Анализ структуры и наполнения сайта дал следующие результаты: все документы сайта имеют дубли за счет параметров, причем, при простановке ссылок в документах редакторы сайта используют ссылки с параметрами; одновременно все новости сайта дублируются публикацией на ресурсе, который давно присутствует в рунете и имеет приличную посещаемость и стабильную аудиторию, а рассматриваемый сайт был опубликован полтора месяца назад.
Проблемы индексации информационного сайта
Весь контент, размещаемый на сайте писался группой профессиональных журналистов, был абсолютно уникален и интересен целевой аудитории, но публикация на стороннем трастовом и старом ресурсе привела к тому, что новый сайт Яндекс счел новый сайт зеркалом и исключил все документы из индекса. Это произошло в мае этого года, когда я в ужасе обнаружила, что из известных поисковому роботу документов сайта в индексе присутствует менее 1%, это были старые новости, которые не публиковались на российском сайте "старичке".
Конечно, клиент был уведомлен о происходящем и очень удивлен, работая с разными странами и разными поисковыми системами, он никогда не сталкивался с проблемой "дублирующегося контента" и тем более с исключением документов своего сайта из поиска. Пришлось долго объяснять, что стало причиной проблем с индексацией и в чем логика.
Решили проблему установкой редиректов со старого на новый сайт со всех опубликованных новостей.
Завершился процесс к концу июня и лишь в сентябре документы вернулись в индекс.
Обработка тега canonical роботом Яндекса
Эмпирически было выяснено, что Яндекс не корректно отрабатывает тег canonical. В письме - ответе мне было сказано, что тег canonacal отрабатывает не корректно, но в последствии все неканонические документы будут удалены из индекса. Зачем делать двойную работу мне блондинке никогда не понять, но происходит это именно так, своими глазами видела. Постепенно из индекса вычищаются неканонические документы, но пока они в индексе они "портят карму" сайту и не дают попасть в индекс нормальному контенту.
Пришлось использовать clean-param, работа его тоже вызывает вопросы, но сильно ускорила процесс выведения дублей из индекса.
До сих пор дубли в индексе попадаются.
Необходимо и достаточно для корректной индексации информационного ресурса
- правильно оформить файл robots.txt. Не доверяйте автоматическим генераторам, все проверяйте сами. Все дубли надо закрывать, если это не получается - используйте clean param. Проверьте как отрабатывает файл в Вебмастере Яндекс, проверьте индексацию наиболее важных разделов. Google отрабатывает canonical корректно.
- обязательно создайте sitemap.xml. Проверьте как он воспринимается Яндексом и Гуглом, ошибки чреваты серьезными потерями. Используйте синтаксис известный поисковым системам.
- не публикуйте свой контент на сторонних ресурсах. В идеале, если вы купили сайт корректно настроить редирект с него в начале работы, иначе затем все обрастет сложностями, которые обернутся потерями.
- проверяйте индексацию регулярно, отслеживайте все колебания. При сильных всплесках выясняйте причину, вплоть до переписки со службой поддержки Яндекс.Вебмастер, специалисты отвечают полно и конкретно, очень серьезное подспорье в работе.
- отслеживайте всплески в появлении 404 ошибки (например, документ не найден). Информационные ресурсы находятся в постоянно развитии, прирост информации огромен и одной ошибки достаточно, чтобы раздел "отвалился", этого нельзя допустить, следовательно надо постоянно мониторить. Тем более, что прирост страниц отдающих 404 ошибку сильно снижает краулинговый бюджет и портит показатели сайта. В моей практике был случай, когда сайт потерял все топовые позиции из-за редактора, которому не понравился адрес страницы и он его "поправил", два раздела отвалились, количество 404-х превысило 50%. Два месяца понадобилось на восстановление.
Источник на материал: Индексация информационного сайта в Яндексе
Поделиться записью
