Я полагаю, каждый из нас просматривая результаты поиска натыкался на форумы, которые были доступны только для авторизованных участников. Возникал вопрос — а как же Google/Yahoo/etc… смог их проиндексировать? Типичный ответ на этот вопрос был: «Нет никакой мистики, он сначала проиндексировал, а потом они уже ограничили просмотр».
Но сегодня, копаясь в недрах IPB я нашел нечто иное. А именно: Настройку «Treat spider/bot as part of which group?», которая по умолчанию стоит как «Member». Смотрим ниже, и видим «Spider Bot User-Agent», что однозначно указывает на идентификацию ботов по заголовку User-Agent.
Проводим эксперимент. Заходим на IPB, будучи не авторизованными, и получаем статус guest. Логично. Теперь (я использую LiveHeaders для FF) дописываем ключевое слово googlebot в свой User-Agent. И вуаля, получаем статус member!
Note: проверено только для Invision Power Board.
Но сегодня, копаясь в недрах IPB я нашел нечто иное. А именно: Настройку «Treat spider/bot as part of which group?», которая по умолчанию стоит как «Member». Смотрим ниже, и видим «Spider Bot User-Agent», что однозначно указывает на идентификацию ботов по заголовку User-Agent.
Проводим эксперимент. Заходим на IPB, будучи не авторизованными, и получаем статус guest. Логично. Теперь (я использую LiveHeaders для FF) дописываем ключевое слово googlebot в свой User-Agent. И вуаля, получаем статус member!
Note: проверено только для Invision Power Board.