29 декабря 2011

Новый сайт «Сколково» попал под АГС

Поисковые технологии
Прекрасно понимая общую нелюбовь Хабравчан ко всему, где есть слово «SEO», отмечу, что правильная поисковая оптимизация является необходимой частью процесса создания и поддержания сайта, что отражено в соответствующих рекомендациях по созданию сайтов от Яндекса и Гугла.

Всем, кто хочет разрабатывать действительно качественные сайты и не краснеть перед заказчиками и коллегами, предлагаю эти рекомендации прочитать, а под катом расскажу про печальные последствия неосведомленности на примере многострадального сайта «Сколково».

Перенос сайта на другой домен


Руководство поставило задачу: перенести сайт с одного домена на другой.

Сделать это можно двумя путями:
  • Сайт будет доступен и по старому, и по новому домену
  • При заходе на старый домен, будет происходить редирект на новый домен
И в том, и в другом случае можно совершить ошибки, которые могут привести к значительному падению поискового трафика на сайт.

Сайт будет доступен и по старому, и по новому домену

При доступности одного сайта с разных доменов, первостепенной задачей является помочь поисковой системе определить главное зеркало сайта.

Директива Host для Яндекса

Если вы хотите совершить переезд безболезненно, и по адресу old-site.ru/robots.txt, и по адресу new-site.ru/robots.txt должен быть файл robots.txt с одинаковым содержимым, с указанием главного зеркала в директиве Host, например:

User-Agent: * # http://help.yandex.ru/webmaster/?id=996567#996568
Disallow: # http://help.yandex.ru/webmaster/?id=996567#996571
Host: new-site.ru # домен new-site.ru будет в поиске по запросам, домен old-site.ru - нет

Подробнее об этом можно почитать здесь.

Эта директива нужна только для Яндекса. Гугл директиву Host не учитывает, но с задачей определения главного зеркала справляется достаточно хорошо.

Вообще, наличие файла robots.txt необходимо для любого сайта, даже если домен один. Причина в том, что с точки зрения поисковика домен с www. и без www. — разные сайты. У Гугла, как я писал выше, с этим проблем меньше, а вот Яндекс может месяцы индексировать как домен с www. и без www., как отдельные сайты (со всеми вытекающими).

301 серверный редирект

В тоже время, иногда бывает, что и Гугл начинает индексировать сайт с www. и без www или один сайт, доступный по нескольким доменам. Решением в этом случае будет серверный 301 редирект с одного из вариантов на другой.

Инструменты вебмастера

Так же проблему с главным зеркалом можно решить с помощью панелей вебмастера и в Яндексе, и в Гугле.

Последствия индексации разных доменов одного сайта

Что будет, если не помочь поисковой системе определить главное зеркало?

В лучшем случае: поисковик сам определит главное зеркало, и проблем не будет.

Хуже, если главное зеркало поисковик не определит и начнет индексировать оба сайта параллельно. Молодой сайт (один из доменов) может легко попасть под фильтр Яндекса. У сайта постарше страницы будут то входить в индекс, то выпадать из него. И то, и другое приведет к падению поискового трафика.

Редирект на новый домен

На мой взгляд, это более «приятное» решение. Реализация проще, чем написанное выше, а путаницы с тем, какой из доменов «основной», мы избегаем. Кроме того, правильно настроенный, постраничный редирект позволит избежать проблему, связанную со сменой движка сайта — падение трафика из-за переиндексации сайта, связанной с разными урлами одних и тех же страниц старого/нового сайтов.

По этому пути пошли разработчики сайта «Сколково» — i-gorod.com, чтобы переехать на более красивый домен sk.ru и, заодно, сменить UMI CMS на ASP.

К сожалению, в такой достаточно простой операции, как настройка корректного редиректа, они совершили две серьезные ошибки.

Код редиректа

Если вы хотите корректно сменить домен, код редиректа должен быть 301. Напомню, что 301 код означает, что страница перемещена окончательно, в отличие от 302 кода, который означает, что страница перемещена временно.

Ровно так же воспринимают эти два кода и поисковые системы:

301 — новый документ (урл) попадает в индекс, «замещая» старый.
302 — новый документ в индекс не попадает, в индексе остается старый документ.


В качестве редиректа с i-gorod.com на www.sk.ru установлен 302 редирект. В результате в индексе остался i-gorod.com, а на sk.ru проиндексированна одна страница:

image

image

Постраничный редирект

Не все бы было так печально, если бы редирект был постраничным, как это должно быть. Т.е. старая страница old-site.ru/some-page/ должна редиректить на соответствующую ей страницу new-site.ru/some-page.aspx. Если этого не сделать, то мы столкнемся с ситуацией, когда старые страницы из индекса выпадают, а новые не еще не проиндексированны, что ведет к падению трафика (и, к слову, к ухудшению позиций сайта в выдаче).

Итог

«Замечательное» сочетание этих ошибок привело в попаданию sk.ru под фильтр АГС Яндекса (1 страница в индексе, соответственно, отсутствие трафика в Яндексе) и снижению количества страниц сайта i-gorod.com до 2 270 в индексе Яндекса и до 21 в индексе Гугла (для сравнения, страниц нового sk.ru в индексе Гугла 11 900, в Яндексе 1 штука).

Изменение трафика мы можем посмотреть по Alexa.com.

Падение трафика на i-gorod.com:
image

Мизерный трафик на www.sk.ru:
image

Чем больше значение Alexa Traffic Rank, тем меньше трафик на сайте. Например, у Хабра он равен 798. Увеличение значения ранга для i-gorod.com говорит о падении трафика.

Почему так?

Разберем ситуацию подробнее.

Что видит Яндекс, смотря на i-gorod.com?

Яндекс видит, что i-gorod.com временно (302 редирект) переехал на домен sk.ru, поэтому страницы домена i-gorod.com из индекса не выпадают, не смотря на их фактическое отсутствие. В то же время, редирект на новые страницы на сайте sk.ru заканчивается 404 ошибкой (не правильный постраничный редирект), поэтому медленно, но верно количество страниц в индексе i-gorod.com снижается.

Что видит Яндекс, смотря на sk.ru?

Яндекс видит молодой сайт sk.ru, не являющийся зеркалом i-gorod.com, но весь контент которого состоит из контента с сайта i-gorod.com (его-то контент еще в индексе!) и многочисленных СМИ, цитирующих новости с сайта i-gorod.com. Такое положение дел трактуется, как воровство контента, а сайт sk.ru признается не представляющим уникальной полезной информации ГС'ом и попадает под фильтр. Занавес.

минибонус: судя по тегам noindex в коде sk.ru, кто-то получил денег за его «поисковую оптимизацию»

Upd: В комментариях подсказывают, что sk.ru начал индексироваться. Возможно, это реакция поисковиков на активность хабравчан, перешедших на сайт: при определении качества сайта и необходимости применения фильтра, значительную роль играет анализ поведения пользователей. Если проект действительно сделан «для людей» и люди сайт посещают и на сайт ходят, то сайт наполненный «неуником» проблем с индексацией может не испытывать вообще.

Верно, кстати, и обратное: сайт наполненный уникальным текстом, бывает, часто попадает под АГС, если совсем не интересен посетителям (но как правило одного этого все же не достаточно, вместе с этим должны быть технические косяки на сайте, плохая история домена и т.п.).
Теги:301 редиректперенос сайтаперенос сайта на другой доменвторой доменсайт сколковосколково
Хабы: Поисковые технологии
+39
3,9k 190
Комментарии 38
Лучшие публикации за сутки