Google Analytics. Осторожно боты

[allexb]

Важно в фильтре указать "Exclude" для того что б трафик с данного IP не показывался.

[Georg]

А зачем бот заходил? Что-то парсить?
Может есть догадки

[temaHT]

Да, есть. Заходил на форму быстрой проверки сайта, и создавал проверки для нескольких сайтов.

[xpert13]

А зачем ходить на эту страницу через поиск?

[temaHT]

Не уверен что правильно понял вопрос. Вы имели в виду — зачем поисковому боту заходить на эту страницу?

[xpert13]

Прошу прощения, я почему-то подумал, что на страницу ходят с поисковых систем

[temaHT]

С поисковых систем ходят, это как бы ок. Проблема когда левые боты гуляют.

[antoxa_z]

А зачем он это делал?

[temaHT]

На 100% сказать сложно. Но скорей всего:
1) «Накрутка» счетчиков посещаемости.
2) Попытка устроить небольшой ДДОС нашими руками.

Каждая запущеная проверка, генерит 15-20 запросов к проверяемому сайту из разных точек.

Мы в свою очередь мониторим «нецелевое» использование сервиса, и пресекаем такие действия.

[antoxa_z]

Интересно. А эта продвинутость бота (использование java-скриптов) — скорее, исключение, или распространенное явление?

[temaHT]

Я думаю, что пока, исключение. Но сейчас, написание таких ботов особой проблемы не составляет. Куча открытых как браузерных, так и яваскриптовых движков. Собрать на их основе бота с кастомным функционалом — дело не сильно сложное.

[Weageoo]

В простых случаях — подключают V8 и выполняют части JavaScript'а. В случаях посложнее юзают «браузеры без гуи»: ать, два. Медленее (надо отводить некоторое время на выполнение JavaScript'ов), но работает.

[XAHOK]

3) Автоматическая валидация результатов проверки доступности сайта.
Сканер доступности сайта ловит ошибку на проверяемом сайте и устраивает валидацию через ваш сервис. Всплеск больше всего похож на отладку бота-валидатора.

[temaHT]

Тоже вариант, но тут не тот случай. Всплеском он выглядит потому что мы бота отстрерили. И для валидации городить огород с яваскриптом ообенно не нужно.

[XAHOK]

Для проверки отказа доступа из-за провайдера можно использовать. Выполнение JS тогда понадобится для парсинга результатов. Но если бота пришлось отстреливать, тогда да, предложенный мной вариант отпадает.

Если только не пытались нахаляву использовать ваш сервис для постоянного мониторинга сайтов. Хотя маловероятно, что такие наивные люди существуют.

[temaHT]

Ой прохнулся векой

[maverickcy]

А зачем нужно их блокировать? Пусть посещаемость учитывается, не? Уже не в моде?

[temaHT]

Так какая ж это посещаемость? Это фикция. Которая портит общую картину статистику. Роботов фильтровать надо, если хотите чего полезного от статистики получить.

[maverickcy]

А разве больше посещаемость — не равно лучше для оптимизации?

[pikok]

Вообще немного странно. На графике виден только рост трафика (без указания продолжительности и хотя бы вилки — сколько было посещений и сколько стало). При этом если было 50 посещений, а потом в день 200, то такую «ступеньку» вполне мог накликать какой-то инициативный сотрудник за один день, которому необходимо было проверить кучу страниц одного сайта либо пачку различных сайтов.

Такой небольшой всплеск скорее находится на уровне статистической погрешности, чем серьезной проблемы. При этом описывать пути его устранения тривиальными средствами Google Analytics, указанными в официальном центре поддержки и сотни раз растиражированными блоггерами в рунете и за его пределами — весьма сомнительная затея.

Создается впечатление, что пост написан для того, чтобы указать одну ссылку на сервис компании.

[temaHT]

На графике видны две полочки. Первая подлинней, это мы прощелкали, и не сразу отстрелили бота. Второй пик (о нем речь в посте) — когда бот был отстрелен быстрее. Про стат погрешность речи быть не может.

[pikok]

При этом мы видим активность только по дням. Если включить отображение по часам — какова интенсивность трафика? Он равномерно распределен в течении суток либо же имеет всплески в отдельные часы?

[temaHT]

Распределение равномерное.

[alPTR]

Похоже на работу через Selenium.