Просмотр закрытых постов на форуме IPB

Lumber room
Я полагаю, каждый из нас просматривая результаты поиска натыкался на форумы, которые были доступны только для авторизованных участников. Возникал вопрос — а как же Google/Yahoo/etc… смог их проиндексировать? Типичный ответ на этот вопрос был: «Нет никакой мистики, он сначала проиндексировал, а потом они уже ограничили просмотр».
Но сегодня, копаясь в недрах IPB я нашел нечто иное. А именно: Настройку «Treat spider/bot as part of which group?», которая по умолчанию стоит как «Member». Смотрим ниже, и видим «Spider Bot User-Agent», что однозначно указывает на идентификацию ботов по заголовку User-Agent.
Проводим эксперимент. Заходим на IPB, будучи не авторизованными, и получаем статус guest. Логично. Теперь (я использую LiveHeaders для FF) дописываем ключевое слово googlebot в свой User-Agent. И вуаля, получаем статус member!
Note: проверено только для Invision Power Board.
Tags:ipbphorumbots
Hubs: Lumber room
+21
421 10
Comments 16

Popular right now

Android разработчик (Kotlin) Middle+/Senior
from 130,000 to 300,000 ₽МТСМоскваRemote job
Android разработчик (Kotlin)
to 175,000 ₽МТСМоскваRemote job
Senior Android Developer
from 200,000 ₽FunCorpМосква
Android-разработчик (kotlin)
to 150,000 ₽BlogmanСанкт-ПетербургRemote job
Android developer
to 180,000 ₽Improve DigitalНовосибирск