Белые начинают: так ли уж хороши “хорошие” боты?

[amarao]

А можно просто не выполнять javascript. Вы, конечно, баните пользователей, которые не хотят выполнять javascript. А в ответ они не посещают ваши ресурсы. win-win?

Я к тому, что любой бот может прикинуться браузером с отключенным js.

[rsh]

За отсутствие поддержки javascript в некоторых случаях можем пропускать, в некоторых можем банить, это зависит от пожеланий клиента и степени настройки режима «антибот». Обычно все же клиенты хотят видеть полноценные браузеры у себя на сайте, а бОльшая часть сайтов даже работать без js не сможет.

[amarao]

Ну, я обычно имею частично отключённый js, и при возможности отключаю так много, как могу (umatrix). Большинство сайтов устанавливает cookies для каких-то непонятных мне целей, так что это тоже отключается.

Хотя я нифига не бот и вполне себе человек.

[rsh]

Обратная сторона кастомных настроек в безопасности. Экстеншены типа Privacy Badger тоже ломают значительную часть интернета (без всяких защит).

[amarao]

я к тому, что банить человека только за то, что он отказывается исполнять ваш код (который ему не нужен) — это странно.

Ну как если бы вас из кафе выгоняли за то, что вы хотите только кофе выпить, а комплексный обед есть не хотите.

[rsh]

Это одна из степеней защиты, выбираемая клиентом. Есть варианты защиты и без js кода.

Некоторые клиенты нуждаются именно в посетителях с обычными полноценными браузерами, без их наличия корзины и другой функционал на сайтах не будет работать.

Есть вариант, что клиент просит не вмешиваться в трафик на L7 до того момента, пока посетитель не будет выглядеть подозрительным парсером, либо при L7 DDoS, и только тогда включать функционал фильтрации. В таком режиме сайт будет доступен и через curl.

[amarao]

в umatrix можно вполне себе оставить рабочую корзину, а вот всякий хлам, который не нужен, отключить. Делается это просто — запрещается загрузка скриптов с third party.

[rsh]

В нашем случае js код отдается по адресу самого сайта.

Есть режим работы, где это не так и отдается через редирект, но это скорее исключение типа legacy схемы.

[Stesh]

Можно ли из этого сделать вывод, что это какие-то неполноценные сайты?

[rsh]

Я бы не стал делать такой вывод :)

[Stesh]

Ну, допустим, у меня полноценный браузер, полноценный umatrix — без js хотя бы базовый функционал должен работать? Это скорее вопрос риторического плана, в нынешнем интернете иначе не выжить)

[Saturnych]

Пользователи, отключающие JS, должны пользоваться только википедией. Остальное им и не надо вовсе.

[Saturnych]

1. если кому-то нужны данные с вашего (конкретного) сайта, то защита, которая может помочь — это просто закрыть всем доступ. стоит ли сильно извращаться? может лучше подумать о том, как оптимизировать систему, а не пытаться ограничить доступ извне?
2. по поводу JS: если вы его отключаете, то это ваш выбор. современный веб без JS не полноценный.

[roma33rus]

Полезно!

[YuraPlusEV]

C появлением google recaptcha v3, будет расти число ботов с аппаратной эмуляцией и глубинной проработкой гугл-скора со всеми вытекающими (при хорошем написании такого модуля). Я не думаю, что это будет так уж просто.

Определить, бот или человек, при должном умении и наличии интеллектуальных технологий достаточно просто

[Hanabishi]

Отвратительная техника защиты. Принимает мой браузер за бота.

Глянул код данной защиты, и похоже она падает из-за того, что браузер настроен на усиленную приватность и сопротивляется сбору отпечатков. То есть защита пытается неправомерно собирать данные о пользователе и не имеет никакого уважения к приватности. То есть не хочешь включать JS или не хочешь раскрывать данные о себе = бот.

Желаю разработчикам подобных решений и их клиентам скорее найти свой котел.