Комментарии 9
Проверьте, нет ли в robots.txt запрета на индексацию страниц.
robots.txt запрещает сканирование а не индексирование, это совершенно разные вещи.
спасибо за уточнение, вы правы. В robots.txt устанавливаются правила посещения разделов сайта роботами. Не просканируют — не проиндексируют. Это в идеале. Хотя на практике robots.txt отрабатывает не на 100%
Выдержка из Яндекса «Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Если при последнем обращении к файлу, страница или раздел сайта запрещены, робот не проиндексирует их.».
Да, и попробуйте на своем сайте прописать «Disallow: /» и через недельку проверьте число в индексе яндекса и гула )
Тут не все так однозначно. Если посмотреть справку Гугла, то там сказано: "Этот файл (это про роботс — прим.) не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, применяйте директивы noindex". Тем не менее ваш совет прописать «Disallow: /» применять не хотим). Но то, что в индекс "просачиваются" некоторые страницы, запрещенные в роботс, то это бывает. В контексте этого, скорее всего, корректней говорить именно о правилах сканирования, нежели индексации. Хотя для реальной практики это не столь важно)
А в целом, скорее это и то и то — правила сканирования и индексирования.
Ну, и общепринято, если вебмастер хочет выкинуть из индекса определенные страницы и разделы сайта, он закрывает их в Роботс.txt, т.к. это просто напросто проще и быстрее, чем просить программиста прописать по определенным правилам мета NOINDEX.
Все остальное тоже верно, нюансов индексации тут достаточно )
Для отдельных типов контента есть свои требования:
Логотип: минимальный размер изображения – 112×112 px.
Фильмы: соотношение сторон — 6:9.
Внедрили микроразметку, а расширенных сниппетов нет: 10 возможных причин