Pull to refresh

Comments 285

Этот эксперимент возможно начат не сегодня, а длится уже несколько месяцев (с лета)?
Все бы хорошо, но таким образом получается, что владельцу сайта придется обязательно подключать Яндекс.Метрику, чтобы узнать с каких поисковых запросов приходят пользователи, независимо от потребности в сервисе метрики как таковом? Что особо важно для всяческих интернет магазинов. Или я что-то упустил и этот вопрос как-то решаем для владельцев сайтов иным образом?
Этот эксперимент начнется сегодня.
Статистику по запросам можно получать не только из Метрики, но и из Вебмастера, т.е. Метрику можно и не ставить, если она вам не нужна.
А те, то пользуется не метрикой, а LI например. Как им смотреть запросы?
К чему такие вопросы? Вы ждете от яндекса, что он опровергнет тезис «Яндекс — наше все» или приглашаете капитана очевидность в тред?
Кошу под дурака. Просто крик души. Суть всей авантюры понятна конечно же…
Они же написали, что этот вопрос решаем и возможно будут передавать не полный текст запроса, а только тематику запроса.
В любом случае, это их ресурс и сделать доступ к рефереру только с яндекс-метрики или вебмастера вполне логичный шаг.
Теперь от взора Яндекса вебмастеру не укрыться. Выдачу яши итак качает вечно, сейчас они еще и поведенческие фильтры тестить начнут.
интернет магазины и так в обязательном порядке подключают набор минимум Метрика + Аналитика. Честно говоря, единицы сайтов пишут что-то свое для аналитики (сравнимое по функциям и мощности с Метрикой и Аналитикой), а в основном пользуются API. Особенно, после того, как Яндекс сделал свой API конструктивно подходящим для Аналитики (такое же).

Да и какая разница? Реально решения такого же сильного и к то муже бесплатной, как связка Метрика+Аналитика сейчас нет.

Тут удар будет скорее по датамайнинг системам, которые на основе этих данных меняли выдачу сайта для увеличения конверсии.
Может у меня и устаревшие представления о конфидециальности, но я никогда не использовал сторонние сервисы на своих веб-проектах. Ведь кто знает, что подгрузит запрос счетчика при очередном GETе…
Честно говоря, единицы сайтов пишут что-то свое для аналитики


Все верно.
Честно говоря, единицы сайтов пишут что-то свое для аналитики

Зачем писать свое, если уже есть что-то готовое? Не сервис, а софт, обычный http сервер — apache или nginx и обычный софт для анализа логов, хоть Excel.
есть живой пример или сервис? Я бы с удовольствием почитал.
я такое осилю. Но с трудом представляю, как мой родственник для своего сайта «Вызвать сантехника на дом» такое делает. Он поставил метрику. И знаете, проблем нету. Ничего к запросам не дописывается, ничего не утекает. Просто нечему.

Все же собственные решения — это удел больших, технологичных проектов, но таких меньшинство. Это я вам из реального мира задач сайтостроениия сообщаю.

Это не значит, что не должно быть альтернатив, это значит, что большинство удовлетворится метрикой и аналитикой.

Я не вижу плюсов в установки своего решения для 99 процентов своих проектов.

Это все мое мнение, я могу ошибаться.
Это не свое решение, а довольно такие стандартизированное. Многие хостеры дают к нему доступ по умолчанию, иной раз мучаешься как его выпилить :)
черт, промахнулся стрелкой. в самом деле все так. в свое оправдание жамнул плюс тебе в куда не говорят. :)
Мы не можем точно знать, не навредят ли такие действия нашим пользователям, и это вызывает наше беспокойство. Потому мы и решили провести эксперимент — для части аудитории убрать текст поискового запроса из реферера.

Хорошая попытка, друзья, но на хабре не та аудитория, которая проглотит такое «объяснение».
UFO just landed and posted this here
Логичное объяснение нововведению есть ниже по комментариям. А почему всего на 2% — так любые технологии сначала тестируются, а потом уже внедряются массово.
UFO just landed and posted this here
Не нравится, когда людей держат за дураков.
Про тестирование на 2% аудитории вы хорошо вспомнили: 200Гб на Яндекс.Диске мне очень пригодились, спасибо!
А если серьезно, я бы еще вспомнил про платформу «Атом», которую как раз из Метрики предлагалось обучать, поэтому подобная «мотивация» для привлечения новых площадок вполне логична.
UFO just landed and posted this here
Поисковая система не хочет делиться правом следить за пользователями, из которого можно извлекать прибыль.
UFO just landed and posted this here
Яндекс зарабатывает гигантские деньги на поиске, это его основной источник дохода и грубо туда лезть нельзя в принципе. Эксперимент подразумевает сравнение некоторых показателей до и после. 2% — достаточное число для сравнения учитывая аудиторию Яндекса, и в то же время, в случае любого факапа доходы не просядут более чем на 2%.
UFO just landed and posted this here
После прочтения топика почувствовал что меня принимают за идиота, если честно
А API яндекс-метрики позволит получить текущего пользователя (сессию)?
Допустим, мы хотим зафиксировать текущего пользователя, узнать запрос, по которому он зашёл. Как из метрики получить именно его свойства из списка безликих посетителей?
Нет, не позволит. Какой смысл в одном месте данные защищать, а в другом — раздавать?
Чтобы на сайтах левые баннеры и рекламные площадки не рекламировали мне то, что я ищу, не?
Согласен! Я не очень хочу пользоваться метрикой, я хочу пользоваться системой анализа и CRM моего сайта, зная по каким запросам ко мне попали потенциальные клиенты.

ИМХО для магазинов (которые, например, выгружают товары на маркет) нужно предоставить некоторое API, чтобы интегрировать их в систему учета этих самых, магазинов.
Я думаю, что совсем не сложно сделать плагин к браузеру, который будет из реферера удалять поисковый запрос для всех популярных поисковиков.
Вполне вероятно даже что такой плагин уже существует.
Я плохо разбираюсь в веб-технологиях, но посыла не понял — сперва яндекс каким-то образом сообщал сайту по какому запросу он был найден, а теперь решил, что это несекурно для пользователей?
При переходе с урла URL1 на URL2 по ссылке, большинство браузеров по умолчанию передают в HTTP запросе к URL2 заголовок Referer: URL1.
Поскольку текст запроса присутствует в адресе, то раньше он передавался таким способом.
Суть этого эксперимента в том, что теперь для части пользователей заголовок будет, но текста запроса в нём уже не будет.
А перенастроить браузер против такого поведения можно?
Хотел бы для старой Оперы, пойду гуглить, но если кто-то напишет проверенные методы буду благодарен.
Там эта настройка нативно есть
To disable referrer logging, go to Settings > Preferences > Advanced > Network and uncheck “Send referrer information”
Оно?
Только что-то после снятия галочки кнопка «редактировать» и «написать» сообщения не работает…
Это бага или фича?
Фича. Referer по стандарту опционален, но куча сайтов отказываются общаться с пользователями, которые его отключают.
Это багофича хабрахабра, логин без referrer'а не работает.
UFO just landed and posted this here
Нужно. Совершенно отвратительная фича, которая тихонько прижилась и вовсю используется.
Для всех браузеров есть надстройки, найти легко.
Посыл в том, что все желающие послушать трафик пользователя (от местного админа и до спецслужб) как-бы не смогут узнать запросы пользователя. Т.е. они увидят, что пользователь пошел на ютюб, но пошел он туда по запросу «котики» или «жесткое порно» — не увидят.

Такая себе практика, как по мне. Предложение тотального HTTPS везде мне нравится больше.
Такая себе практика, как по мне. Предложение тотального HTTPS везде мне нравится больше.

Одно другое не исключает. HTTPS — тоже хорошая идея.
При тотальном HTTPS компании типа Яндекс или Twitter смогут беспрепятственно собирать наши персональные данные. Не будут же люди в домашних условиях собирать MitM-железо, чтобы проверить все протоколы передачи на протяжении всех их активностей.
Интересное мнение, можете пояснить?
В качестве предвестника — сбор информации о Geolocation в Twitter без какой-либо на то причины: habrahabr.ru/post/204106/

И так может поступить любое приложение. Одно дело подключить телефон по Wi-Fi к ноутбуку и запустить на нем Wireshark, другое дело, когда используется симметричный протокол шифрования. Для него уже надо будет собирать целый MitM, подменять сертификаты, чтобы проверить проприетарный протокол на вшивость.

Поэтому, когда Google уходит в тотальный SSL, у нас — у IT-сообщества практически исчезают методы контроля на тем, что реально передается внутри.
А, вот оно что. Понятно, спасибо.
Ай, да ладно, если это трафик твоего локального приложения — его всегда можно достать (дебаггеры никто не отменял — см. тот же топик о Твиттере). А чужой трафик слушать — ну да, не нужно.
Вы с телефоном на улицу выходите?
Поясните, мысль, пожалуйста. В своём телефоне я тоже могу продебажить что-угодно. В чужой я не залезу, но и не должен. Всё вроде бы ок?
На улице, когда вы подключены к сети оператора, вы не можете встать в разрыв канала и «продебажить» трафик facebook-клиента на своем iPhone.
Вообще-то могу. Вы читали статью о твиттере? Там так и делали.
Ок, там не MitM, это я пропустил. Но certificate pinning, необходимость джейла лишь подтверждают мои слова: контролировать трафик приложений больших корпораций — что там реально передается — становится все сложнее, и введение поголовного HTTPS — прекрасная для них возможность максимально все скрыть от глаз пользователей.

Когда они утверждают, что защищают нас от прослушки — они защищают от нее, в первую очередь, себя.
Я всё-равно не понимаю разницы. Обычный пользователь и так и так ничего не увидит. Для программиста просто добавляется какое-то время (ну пусть пару часов) на джейлбрейк, подключение отладчика, установку брейкпоинтов ну или патч этого самого certificate pinning. И всё снова на ладони. Вы к тому, что людям будет лень тратить это время?
За обычного пользователя это должен делать App Store, но ни Apple, ни Google доверия нет — они такие же игроки. Да, вы соглашаетесь передавать свои гео-данные, но соглашаетесь ли вы с тем, что передаваться они будут действительно всегда? Одно дело сообщить Инстаграму где сделана фотка или чекин в Foursquare, другое, когда это трекер ваших передвижений как Moves. Сообщество не занимается анализов всех активностей мобильных приложений — их слишком много, это слишком трудно и от этого можно спрятаться. Поэтому HTTPS реальный рубикон здесь.
Простите, а что они должны делать?
Как по мне — это вечная борьба — корпорации VS geek.
Отвечу по теме. Там ip-адрес 192.168.0.0, подключено все по Wi-Fi. Будь я на месте приложения — я бы, как минимум, проверял эти факторы, прежде чем передавать value data. А мог бы сначала посмотреть на src.ip со стороны сервера, проверить тип NAT, убедиться, что это доверенная зона партнёра, что человек сейчас идет по улице или едет на автомобиле.

И вот все это делать проще под покровом SSL.
Эти проверки придётся выключить. Провайдеры абонентам мобильного интернета почти всегда выдают серые IP в зонах 192.168 или 172.16, поэтому адрес совершенно обычный.

Проверить, что человек идёт по улице — как? Если GPS выключен, не собирать аналитику, что-ли. Это большая часть информации не будет собрана
Слушайте, ну это ведь то, что я сходу придумал. Вон, Skype на десктопе упорно не поддавался дизассемблированию много лет. Это ведь не вопрос конкретной техники, а наличия принципиальной возможности, которая, если будет бизнес-задача, непременно найдет своё конкретное применение, если уже не нашло.
Имея дело с софтом, я понял простую вещь — любая, хорошо скрытая фича или бага будет обнаружена юзерами, если их будет очень много. Просто по закону больших чисел что-то пойдёт не так, как предусматривал программист. А всё предусмотреть невозможно.
Сначала джейл IOS 7 — потом утверждение, что найдут. Кроме Скайпа есть прекрасный пример PS3, которую несколько лет не могли взломать. В этих условиях вы либо передаете все в открытом виде, либо ощущаете в себе безграничную власть.
джейлы типа есть, но в паблик пока не утекли

аналогичная ситуация была с S-OFF на HTC One DS на HBOOT версии 2.26, первое время фарцовщики за денежку делали процедуру, а потом софт утёк
Какой-то странный вывод. Что мешает спецслужбам увидеть сам поисковый запрос и скореллировать выдачу с переходом?

Причину выше уже озвучили: не дать возможность кому-либо кроме самого Яндекса размещать рекламу таргетированную по поисковым запросам. Хочешь рекламировать шубы тому, кто искал шубы — покупай директ.
Вы правы, конечно, на счёт мотивов Яндекса. Я просто пытаюсь додумать, как выглядит эта «защищённая» картина мира по Яндексу. Можно сказать, что сам запрос к яндексу может быть по https, а вот переход на внешний сайт — он уже будет по http. Поэтому раньше можно было из этого http выдрать инфу, а теперь нет.
Основные браузеры не передают Referer при переходе с https в http.
Тогда, конечно, суть теряется совсем :)
Еще одна причина для яндекса поступить подобным образом это помешать конкурентам на рынке рекламы получать ту самую желанную информацию о пользователе. Конечно, всегда можно подключиться к яндекс метрике и тем самым помочь самому яндексу со сбором все той же самой информации. Справедливости ради стоит отметить, что это относится не только к яндексу, уверен, что гугл уже давно так делает.
Про заботу о конфиденциальности пользователей, к сожалению, я не очень верю.
Подключение к Я.Метрике не одному рекламному сервису для оттачивания своих таргетов на пост-поисковых запросах нисколько не поможет. Это просто убийство одного из важных для таргетинга факторов (у конкурентов). Все потому, что многие тизерные и баннерные сети используют пост-поиск для более точного нахождения пользователей и увеличения конверсий. Про заботу о пользователях – бред, данные то обезличенные.

Но, в данном случае Яндекс можно только похвалить – давно пора было. Бизнес есть бизнес, с чего бы это ему делиться своими данными с конкурентами?

Единственное, как по мне, так надо было без всех этих соплей про заботу о пользователях, эксперименты и т.п., просто сразу отключить передачу пост-поиска и все.
Мы разрабатываем Online-консультант. Там есть возможность в качестве автоприветствия для пользователя использовать конструкции типа: «Здравствуйте! Вы ищите [searchKeyword]? Я готов вам помочь!»

Ну и, конечно, собираем попутно статистику по поисковым системам и поисковым запросам, по которым приходят люди, отображая ее в личном кабинете владельцев сайтов в виде графиков и таблиц.

Спасибо, Яндекс. Ты всегда думаешь о нас. В заботу о пользователях — не верю.
Плюс ко всему ломается фича под названием «Целевые посетители», особо помечающая пользователей, которые ввели в запросе, к примеру, слово «купить». Консультанты могли сразу же выделять интересного человека из общей массы и начинать горячую продажу. Теперь же — балалайка.
С одной стороны я вас отлично понимаю, но с другой стороны вы построили свой интерфейс на чужом бизнесе, с которым нет договора или оплаты ему. Хорошая новость — вы ничего не должны яндексу, плохая — яндекс вам то же ничего не должен.
То, что я описал — всего лишь маленькая фича из построенной системы. Её потеря — очень досадная мелочь, но это безусловно можно пережить.

То, что никто никому ничего не должен — это понятно. Но одобрить такое поведение яндекса я не могу.
Одобрить не можете. Из любопытства ради спрашиваю, а понять такое поведение можете?
Безусловно, ведь акулий капитализм и мне не чужд :)
про другой капитализм я не слышал.
Поисковые системы тоже построили свой интерфейс на чужих бизнесах, с которыми у них нет ни договора ни оплаты.
Вы и правы. Но если вы измените свой сайт и его API, Яндекс не обидеться. Меня скорее волнует, что у нас нефть всем принадлежит, а я с нее ничего не получаю.
Слово «купить» в поисковом запросе совершенно необязательно обозначает желание пользователя купить что-то. Я, например, часто его использую для отсекания из выдачи не-магазинов, когда мне надо выяснить среднюю цену по рынку. Хотеть купить при этом я могу вообще что-то другое и попытки «горячей» продажи в этом случае жутко бесят.

Честно говоря, уже основательно достали все эти технологии впаривания на каждом углу. Хотите, чтобы к вам тянулись клиенты? Сделайте удобный магазин, сделайте в нём нормальные цены и хороший ассортимент. И никому ничего не впаривайте. Потому что все эти технологии хоть и поднимают конверсию в краткосрочной перспективе, в долгосрочной они её убивают. Даже если мне очень сильно припрёт что-то единожды купить в магазине, где мне пытаются что-то впарить, в следующий раз я туда просто не вернусь.
Наше дело — просто предоставить инструмент. Как им распорядиться — навязчиво и грубо, или ласково и по-доброму — это уже дело интернет-магазина. Молотком тоже можно забивать гвозди, а можно — людей.
Вы ищите


Так прямо и написано? Хорош консультант.
Написано будет так, как задаст администратор сайта :) Мой пример быть может не особо удачен, но я хотел лишь донести суть. Умением красиво излагать мысли не обладаю, увы.
> Умением красиво излагать мысли не обладаю, увы.

Ну вы хоть орфографию подучите.
Кто ещё в очередь, чтобы потыкать носом в очепятку в комментарии? Подходи по одному, я сегодня добрый :) Пройти мимо невозможно, я согласный.
А фраза «Яндекс не обидеться» Вас нисколько не смутила?)
Странно, а зачем вы разрабатываете инструмент для исчезающего рынка? Без реферальных данных он работать не сможет, а реферальные данные Гугл начал скрывать 2 года назад. Тогда это было делом добровольным (руками нужно было вбивать encrypted.google.com), но постепенно становится принудительным. И ясно было с самого начала, что остальные поисковики последуют за Гуглом.

Что вы будете делать, скажем, через полгода, когда «эксперимент» Яндекса завершится успешно для «приватности», и процент визитов с реферальными данными от поисковиков снизится до 0,001?
Ничего трагичного в этом не вижу. Все же главная функция онлайн-консультанта — общение с посетителем. Статистика поисковых запросов — это просто приятная мелочь. Почему бы не подарить возможность использовать её своим клиентам, пока все не последовали примеру Гугла, сколько бы времени ни осталось. А выпилить фичу из интерфейса всегда успеть можно, дело не хитрое.
Если уж о пользователях заботитесь, то обнуляйте вообще реферер. А то на данный момент это выглядит как попытка нагадить конкурирующим системам статистики тем, что ваша Я.метрика эти запросы сможет обратно расшифровывать, а решения конкурентов не смогут.
Ждем иска в антимонопольный от ливинтернета?
И кстати Яндекс, если вы уберете всякие идентификаторы и начнете передавать инфу в обход, через сервера, сути это не изменит. Даже если вы удалите эту статью и удалите ее в своем кэше…
Даже если скриншотов не останется, и у гугла кэш тоже обнулится… Всё равно будут свидетели что вы господа озвучили свои планы — злоупотребляя монопольным положением оставить информацию о поисковых запросах только в своей системе, убив такую фичу у конкурентов. И то что таким образом будете бороться с контекстной рекламой конкурентов тоже…

Единственное честное решение будет сделать АПИ чтобы делиться с конкурентами. Пусть даже для пользователя нужно будет делать подтверждение что он согласен делиться этой службой, а счетчикам давать только обезличенный список запросов с колвом переходов за день.

ПЫСЫ: и да, я всё еще злой на вас за АПИ. Поиск копий им не понравился видите ли…
Стоп, а разве все данные, вводимые в Яндексе, должны передаваться конкурентам? Это с какого перепугу и при чем тут монополия? Есть еще Гугл, ряд некрупных поисковых систем – пользуйтесь на здоровье, что называется. Может тогда и любой интернет магазин обязан, в целях анти-монополии, передавать куки своих покупателей конкурентам?
Не вопрос конечно, но тогда списка поисковых запросов не должно быть в метрике. Только в вебмастере. появление в метрике это злоупотребление монопольным положением. В принципе вариант того что они выпилят его оттуда тоже нормальный.
Вы уж меня извините, но логики я не прослеживаю здесь нисколько. При чем тут монополия вообще? Яндекс, как частный бизнес, никому и ничего не должен. Действует исключительно в своих интересах. Если вы сделаете поиск по своему сайту, вы что, потом все данные с этого поиска будете обязаны, в целях анти-монополии, предоставлять всем желающим? И если скажите, устанавливайте наш код – и вы увидите доп.данные переходов – это будет нарушением анти-монопольного закона? Компания сделала шаг в сторону сохранения данных (своих, между прочим) внутри себя. Они же не единственные на рынке, и выбор есть, так что ни о какой монополии речи быть не может.
Майкрософт тоже частная компания, и если она решила что на ее операционке должен стоять ее браузер, то что может ей помешать? Какая монополия, о чем вы? Ведь есть же и другие операционки…
С МС — это скорее казусы европейского законодательства. Альтернативы есть, какая монополия?
Они нарушают целостность Сети, не следуя RFC.
Referer — опциональное поле заголовка. Более того, RFC предупреждает о потенциальной утечке приватной информации через Referer и прямо рекомендует в таких случаях резать его совсем.
UFO just landed and posted this here
www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.36

allows the client to specify, for the server's benefit, the address (URI) of the resource from which the Request-URI was obtained

Referer = «Referer» ":" ( absoluteURI | relativeURI )

Referer это зона ответственности клиента в интересах сервера на который происходит переход.
UFO just landed and posted this here
Это сводит на нет смысл заголовка, не противоречит букве, но противоречит духу. Заголовок введен в интересах сервера, на который происходит переход, а не в интересах сервера с которого происходит переход.
UFO just landed and posted this here
Надо, никто не спорит. Но если сервер-получатель может их расшифровать — иначе для кого шифровать?
UFO just landed and posted this here
Для сервера-получателя без разницы зашифрован реферер так, что он расшифровать не может, или отсутствует. Проблема одинакова — сервер не может определить по какому поисковому запросу пришел посетитель, потому что посетитель переходит на сервер не по ссылке на сервер, а через редирект, что само по себе нарушает дух гипертекста.
UFO just landed and posted this here
Как-то упустил подобный момент. Не думал, что w3c допустит подобное ещё когда тот же Яндекс вводил <noindex> или как там его. Расстроили вы меня на ночь глядя :(
А данные вводятся не в Яндексе, а в браузере. И передача этих данных обычный механизм работы Сети (RFC 2616).
На самом деле проблема не в referer (который в любом случае передаётся), а в том, как кодировать поисковый запрос в GET-параметрах. Нигде же не написано, что эти данные должны быть в определённой кодировке и человеко-читаемы.
Проблема в том, что переход по результату запроса происходит не напрямую, а через редирект. Когда это происходит прозрачно, то ещё полбеды, но теперь Яндекс хочет убрать прозрачность.
Это немного навредит веб-мастерам, анализирующим еще и самостоятельно реферальные ссылки приводящие на ресурс и соотв. поисковые фразы. Про Яндекс.Метрику в курсе, но она не панацея.
Не, я конечно понимаю, что Гугл это уже сделал, но признаться положительные эмоции это не вызывает.
Скрывать откуда пришел пользователь на ресурс для владельца ресурса как то в чем профит?
Не персональные же данные скрываются, а простые житейские запросы, которые ценны для анализа эффективности поисковой оптимизации к примеру.
Мы для того и проводим эксперимент, а не включаем сразу на 100%, чтобы понять, кого и как мы можем задеть и услышать какие-то конструктивные предложения, как мы можем помочь вебмастерам делать хорошие персонализированные сервисы, но не раскрывая непосредственно текст запроса каждого конкретного пользователя.
Ну вот уже слышите доводы, а тем временем 2% переходов уже стали темными лошадками с непонятными намерениями.
Вы ведь в курсе про все более и более популярный метод рассылки спама и рекламы через реферальные ссылки? Точнее заголовок REFERER. Вот надо как то отделять мух от котлет в т.ч.
Может предоставить пользователю самому решать, что куда передавать?
Сделать кнопочку в настройках яндекса и написать, что если у вас параноя — нажмите, но этим вы ограничите возможности сайта на который переходите, а именно…
К сожалению, пользователи задумываются о том, что не хотели бы, чтобы определенные их интересы известны третьей стороне, зачастую, уже после того, как это случилось. Opt-out настройка никак не решит эту проблему.
А чегож ваши коллеги её на софте который яндекс-бар ставит по умолчанию не выключают?
Там почему забота о пользователях не проявляется? :D
То, что вы написали, считаю бредом (извините за откровенность).

Я не знаю, какой вариант стоит сейчас у гугла по умолчанию, но, в любом случае, несколько десятков процентов посетителей приходят с гугла всё ещё с ключевыми фразами. И этого хватает, чтобы ухватить тренды. Если вы уберёте 100% рефереров, любой более-менее интеллектуальный анализ данных будет невозможен. Да, вы таким образом подсадите людей на свою аналитику, но всем понятно, что это чистой воды конкурентная борьба за данные и попытка насильно привязать пользователя к своим сервисам. Кармически это, наверное, очень хреново :-) И да, если хотя бы 20% посетителей по своему выбору оставили бы referrer-ы как сейчас, этого для какого-никакого анализа было бы вполне достаточно.

Это всё я вам пишу как разработчик довольно сложной аналитической системы, которая даёт мне информацию о поведении пользователей на моём сайте, которую я сейчас использую в дополнение к GA и YM.
С рефералом приходят те, кто не залогинен в гугл. У авторизованых гугло-пользователей все шифруется (если сам не выключил)
У вас устаревшая на пару месяцев информация. Гугл отправляет на https-версию независимо от залогиненности. На http оставляют всякие экзотические браузеры, всего около 15-20%.
Спасибо. Не обращал внимания, т.к. процент людей без запроса из гугла визуально вроде не поменялся.
У вас странная статистика. Либо у вас большая доля экзотических браузеров, либо в статистике фальшивые переходы. Визуально процент очень поменялся: www.notprovidedcount.com/
Меня интересовали именно запросы, которые я налету мог расшифровывать. И именно на глазок, статистику не строил. Вы, вероятно, более чем правы.

Кстати, раз вы в теме. Вебмастер-тулз показывают все запросы? Или в нём (not provided) просто не отображаются?
В данном случае не очень в теме.
Яндекс это сделает только по одной причине — не хочет отдавать данные гуглу. А в статье звучит какой то бред о защите пользователя.
Ну почему, еще на руку сыграет для раскрутки сервиса Яндекс.Метрики.
Мол хотите знать рефералы — только через нас узнаете…
Мне нравятся сайты, при переходе на которые из поисковых систем, они предлагают мне то, что я искал. Делать они могут это по разному, либо просто подсвечивать текст на странице, который я искал, либо подгружать релевантную информацию в виджетах. Теперь мне не нравится яндекс.
А мне приходится нажимать F5, только чтобы снять это дурацкое выделение. Невозможно читать текст, когда в нем половина слов раскрашена всеми цветами радуги…
Это зависит от конкретной реализации, а она зависит от разработчика\заказчика и может быть им изменена (пользователь тоже может повлиять на изменение). Но в данном виде, ни владелец сайта, ни пользователь, не могут повлиять на ситуацию, и это печально.
У меня интернет-магазин
Когда новый клиент делает заказ, я всегда вижу в админке по какому запросу он пришёл, и на основании этой информации менеджер уже уточняет или не уточняет у клиента как он узнал о нас.

Т.к. 90% процентов людей отвечают на этот вопрос «Из интернета», а информации о том, а как же конкретно он нас нашёл теперь не будет, то я посылаю «лучи добра» Яше!

И как уже сказали выше, какой смысл вначале шифровать поисковый запрос, а потом его же показывать в метрике?
И как уже сказали выше, какой смысл вначале шифровать поисковый запрос, а потом его же показывать в метрике?

В метрике запрос показывается среди множества других запросов без привязки к конкретному IP или куке.
Т.е вебвизор вы тоже закроете? Иначе в нем практически никакого смысла не будет. Разве что тестировать посадочные старницы. Но без доп инофрмации о запросе это малоценно
Объяснили выше, чтоб Гугл не узнал. Ну и монетизиовать как-то эту информацию, но это думаю вторично.
Мы готовы рассмотреть вопрос о передаче нужной для работы Analytics информации в Google, если они, в свою очередь, будут взаимодействовать с нами.
Вы понимаете, что это не реально, но зачем-то озвучиваете :)
+ как то даже не серьёзно со стороны яндекса токую чушь писать ;)

То островами у всех оттяпаем кусок, то чужие системы статистики прижмем. Всё в лучших традиция монопольной вертикали.
Все должны только на ладах калинах ездить, а кто против… отключим газ. Фу яндексу.
Моё личное и неофициальное мнение: не всегда стоит искать злой умысел или заговор в случаях, когда есть более очевидное объяснение, особенно, если оно уже было озвучено.
То, что было озвучено — чепуха, а не объяснение..;)
Как раз со стороны Яндекса логично почему он хочет это сделать, но вот ваше объяснение…
Возможно, лично вас просто не просветили в реальную причину?
А кроме GA, другим системам статистики, вы готовы передавать информацию?
А вы пытались с ними договариваться?
Или только с некоторыми провайдерами о предоставлении вам гугловского поискового трафика? :)
Если я вас правильно понял, то ваша проблема решаема Настройте Google Analytics Конверсия — Электронная Торговля. Будет примерно так (приложил). Проще говоря, сможете отслеживать суммы и источники, номера заказов, категория продукта и само название продукта то же передаются.

image
Что только не сделаешь, лишь бы не переходить на HTTPS…
А толку? Разве в HTTPS нет referer? Скажем, зашел я на Яндекс, сделал запрос «OpenMW Wikipedia», перешел на https-ссылку в Вики. Разве при этом Википедия не получит referer?

Disclamer: Извините, если вопрос глупый, я и правда на данный момент не знаю, есть ли в HTTPS referer. =)
1) зайдешь ты на Яндекс сразу по https и установится безопасный канал перед передачей какой-либо информации между тобой и Яндексов
2) При переходе на Википедию (например), неважно по какому протоколу http или https, у тебя будет пустой реферер — это особенность протокола
и тут придется делать обратную работу — восстанавливать реферер для таких поисков
Полуправда. rfc2616 повествует:
Clients SHOULD NOT include a Referer header field in a (non-secure) HTTP request if the referring page was transferred with a secure protocol.

Таким образом, referrer по умолчанию не работает только для перехода из https в http.
Яндекс не индексирует Википедию по HTTPS. Вы, конечно, можете поставить HTTPS Everywhere или RefControl, но это не поможет другим пользователям.
У Яндекса уже есть https-версия — yandex.ru. Жаль, что она не по умолчанию.
Offtopic
Вы, конечно, можете поставить HTTPS Everywhere

Давно поставил. И HTTPs finder, а заодно NoScript, FlashBlock, RequestPolicy… И другим советую. =)
Именно поэтому текст запросов не удаляется из реферера совсем, а передается в зашифрованном виде


Немного не понимаю, если я не смогу его расшифровать что бы узнать поисковый запрос, то тогда зачем вообще его передавать?

А если я смогу его расшифровать, то значит и всякие виджеты и т.д и т.п тоже смогут это сделать, а значит ничего не изменится?

Я не силен в шифровании, но как вариант:
Для каждого ресурса генерировать ключ, с помощью которого я смогу расшифровывать запрос. Таким образом, поисковый запрос будет зашифрован, я как владелец ресурса смогу его расшифровать, а сторонние виджеты (третье лица) ничего не будут знать о этом запросе.

Как я понимаю цель всего этого, что бы только владелець ресурса мог знать что за поисковый запрос был использован?
В шифрованном виде текс запроса передаётся для того, чтобы Метрика могла его учитывать и правильно отслеживать цели/конверсии и т.п.
А если я сам себе статистику собираю, не подключая метрики, аналитики и так далее?

Почему кому то можно видеть запрос, а мне как владельцу ресурса нельзя?

Да, вы уточняли про Яндекс.Вебмастер, но ведь часто бывает необходимость этот запрос обрабатывать на лету, как выше уже уточняли про выдачу дополнительной полезной информации, для онлайн-консультантов который смогут знать что ищет пользователь и посоветовать ему и так далее.
Допустим, что вместо поисковой фразы «телевизор Sony» будет передаваться какой-то обобщенный интерес, например «бытовая техника» или даже «телевизоры». Это решило бы вашу проблему с онлайн-консультантами и помощью пользователю в выборе?
Возможно, но это частный случай.

Но в запросе может быть и другая полезная информация, как город или возможно даже желаемая цена. По типу: «Купить телевизор в Рязани» или «Холодильники до 40000 руб»

Но опять же, это всего лишь частный случай с консультантами и магазинами. Бывают разные причины, по которым требуется обрабатывать запрос.

Мое мнение, что владелец ресурса должен знать о запросе.
А вот как огородить этот запрос от сторонних лиц (виджетов, чужих метрик и так далее), это уже другой вопрос.
Ну ведь определенно — нет!
Если клиент приходит за телевизором Сони, ладно ему еще можно предложить телевизор Самсунг, но вряд ли у клиента сложится хорошее впечатление о консультанте, если тот предложит клиенту телевизор Ролсен.

Если передаете рефер в зашифрованном виде, дайти владельцам сайтов возможность расшифровать эту информацию. Что бы она не попадала к левым сборщикам, виджетам, и пр. Но не страдал владелец сайта.
Кстати, Яндексу это легко реализовать. Например, каждому сайту, подключенному к метрике дать свой уникальный ключ шифрования. Тогда владелец сайта сможет этим ключом расшифровывать все рефереры, предназначенные только для его сайта. Никто другой эту информацию не увидит.
Пользователь в процессе поиска предоставил поисковой системе некую информацию — поисковый запрос. Он вправе ожидать, что поисковая не станет предоставлять эту информацию кому-то другому.

Да, так сложилось исторически, что а) поисковый запрос передаётся в виде GET запроса и б) браузер при переходе по ссылке передаёт адрес предыдущей страницы.

Я это к тому, что никто не делал специально, чтобы поисковый запрос передавался на сайт при переходе по ссылке, но так вышло само по себе и долгое время это никого не беспокоило. Но пользователи имеют право возмутиться и спросить Яндекс «а почему вы передаёте мой поисковый запрос всяким разным сайтам?» Мы убеждены, что пользователи ожидают, что мы эту информацию никому не отдаём и именно для того, чтобы защитить эту информацию и оправдать это ожидание, мы озаботились этой проблемой.

Сделать возможность расшифровки поискового запроса — с точки зрения пользователя тоже передача информации, которой они поделились с Яндексом.
Формально, пользователи сами и распространяют эту информацию. Если очень не хотелось бы, они поставили бы соответствующее расширение.
Он вправе ожидать, что поисковая не станет предоставлять эту информацию кому-то другому.

Он вправе ожидать, что браузеры и ресурсы следуют стандартам, в частности RFC 2616 14.36
Почему вы не хотите показывать другим системам статистики?
Да все скорее всего будет так: платный акк и ты получаешь ключи для расшифровки реферал, а если ты рекламная система то отдельный рекламный акк за отдельные деньги и расшифровка «на лету».

Только деньги, везде только они.
А по какому принципу отбираются эти 2% пользователей?
по принципу вселенской справедливости
Друзья, гугл уже сделал этот шаг. Яндекс делает сейчас.
Как следствие, открывается новая ниша для стартапов на ярд: «Определение интересов посетителя сайта по его поведению на сайте / в Интернете».
Как это должно работать:
1) Изучаем модель поведения тех людей, про которых мы что-то знаем.
2) Находим людей с похожими моделями поведения, про которых мы ничего еще не знаем.
3) С определенной статистической вероятностью переносим все имеющиеся знания на них.
Профит.
Кажется, проще дать денежку какому-нибудь AdBlock, чтобы на нужной странице дергал нужный скрипт.
На следующий день это случайно обнаружит кто-то и скандал будет мирового масштаба.
А это скрывается, да?
Уже сейчас могу сдать две подобных компании. Разве что охват пользователей у них поменьше.
Если бы я такое узнал про AdBlock Plus, я бы перестал ему доверять и перешёл на другой продукт. А какие расширения шпионят, не ставя в известность об этом пользователя?
Они, может, шпионят и с разрешения пользователя. Но такого маленького, светло-серого в нижнем правом углу. О котором Вы даже не догадались бы при установки того же AdBlock-а.
В-общем, я считаю, что если широко известные open-source программы шпионят, то это не преподносится под маленькой звёздочкой серым шрифтом. Об этом все хорошо знают (как с Google Chrome, хотя это не совсем open-source). Очень быстро сообщество узнаёт подробности и делает нормальный форк.
Даже больше — их видит не только владелец сайта, но и владельцы установленных рекламных систем, счетчиков, социальных виджетов и т.п. В результате третьи лица могут накапливать и использовать по своему усмотрению информацию, обработку которой пользователь доверил поисковой системе.

Так и скажите что вам нужно больше инфы (больше метрики), другие сервисы зачем очернять?
Поскольку переходы идут от нас, то у нас уже есть вся нужная информация. И мы не очерняем другие сервисы, мы говорим, что не знаем как эта информация будет дальше использоваться. Мы можем только строить предположения… А вы знаете, что делают с вашими поисковыми запросами все счетчики, социальные кнопочки и т.п.? Думаю, что нет.
А собираете ли вы метрикой другие рефереры?
На пример от mail.ru?

Может не будете собирать?
Это же не переходы с Яндекса!
В любом случае владелец сайта решает какой код размещать у себя, а какой нет. Зачем вам вмешиваться — (не) понятно. Ваша задача завершается с уходом человека по ссылке. зачем вы цепляетесь к нему после этого?
Их задача завершается с получением банковского перевода от того самого владельца сайта на оплату директа. Поиск для юзеров — это не более чем одна из вьюх все того же директа.
От Вас переходы идут в поиске контента, нету контента, нету и вас. Кто курица, а кто яйцо выяснять думаю не надо.
С метрики вы получаете много больше данных нежели, поисковой запрос. В равной степени можно сказать, что не известно что происходит с данными полученными Вами. Но мы же и так все всё понимаем =)
А если будете знать, то отдадите инфу? Наверно да, но ведь обработка и регистрация всех заинтересованных стоит денег, правда? А деньги будет платить интересант ))), признавайтесь в плане на следующий шаг.
Думаю что помимо зашифрованного запроса будут туда еще подбрасывать уникальную текстовую «черную метку». Если она всплывает в публичных страницах сайта — санкции (некоторые недобросовестные сеошники вешают перечень поисковых запросов как ссылки на контент, или другим подобным образом используют запросы).
Мы не можем точно знать, не навредят ли такие действия нашим пользователям, и это вызывает наше беспокойство.


Когда я хочу, что бы обо мне посещаемый сайт знал как можно меньше — я включаю режим "инкогнито". На ipad я знаю как это сделать в chrome. Но как это сделать в яндекс-браузере (который частенько глючит) — я так и не нашел!
UFO just landed and posted this here
Я не знаю как на ipad нажать Ctrl + Shift + N ;)

UFO just landed and posted this here
Судя по комментариям большинству данная идея Яндекса не нравится?
Лицемерная идея. Яндекс сам, без всякого разрешения собирает информацию, якобы «обработку которой пользователь доверил поисковой системе», а вот другим это запрещает. Делается это, конечно, не из-за заботы о пользователе, а чтобы привязать вебмастеров к своим сервисам.
Почему запрещает? Если на вашем сайте что-то ищут через ваш же поиск – собирайте данные на здоровье -)
Вот вы пишете про предоставление тематики вместо самого запроса. А в каком формате это может быть? Я и так на 90% понимаю тематику благодаря конечной странице, на которую пришёл пользователь. Насколько больше этого вы сможете мне рассказать? Приведите какой-нибудь пример, что ли. Интересно, скорее, как люди формулируют запросы.
Мы пока не знаем, я озвучил эту функцию как одно из возможных решений.
Какая детализация была бы достаточной?

Ну, допустим, мы отбираем все запросы за товарами/услугами и как-то их обобщаем.
Например: «бытовая техника» — очень мало, «телевизор» — чуть лучше, «телевизор Sony» — это уже хорошо или нужно ещё больше вроде «телевизор Sony 47 дюймов»? или даже до моделей хочется?
Это я только на одном примере рассуждаю, случаи бывают разные и обо всём этом надо думать, но мы хотим двигаться именно в этом направлении, т.к. на самом деле полная детализация не очень нужна, поскольку её приходится обобщать самим сайтам, чтобы как-то реагировать, а в этом случае часть этой работы мы бы взяли на себя.

В любом случае, все идеи/варианты/предложения приветствуются.
Отдавая подробный обобщенный запрос ситуация принципиально не меняется в плане приватности. А не подробный при анализе на лету бесполезен.
Вам выше всё сказали. Если вы действительно защищаете данные пользователя от посторонних счетчиков, которые действительно могут быть использованы во зло даже без ведома владельца сайта, например, размещением картинки в комментарии, — шифруйте текст запроса уникальным для каждого сайта ключом, который можно получить в вебмастере. Тогда владелец сайта сам решит, как этим ключом распорядиться.
Если же вы просто загоняете всех в метрику — ну так и скажите об этом честно, все поймут. Бизнес, все дела. Те, кто ориентируется на пользователей ваших сервисов — поставят метрику, остальные вас просто заблочат из вредности.
А если мы дадим ключи для расшифровки каждому сайту, а они начнут на ходу расшифровывать ключевые слова при заходе и точно также отдавать их всяким счетчикам, рекламным системам и т.п.?

Нам в этом случае придется снова искать какое-то объяснение для пользователей о том, почему их снова преследуют по их прошлым запросам?
А кто кроме вас (ну и гугла само-собой) преследует?

Вводил несколько дней запросы «1с-битрикс...»
Теперь на любом сайте, где есть рекламный блок яндекса имею

Я вам больше скажу. Условная лирушечка моментально добавит в настройки счётчика поле «введите ваш ключ от яндекса, который можно получить здесь».
Проблема-то не в лирушечке. Настоящая угроза моей приватности — это вы с гуглом, которые знают обо мне больше, чем я сам о себе знаю. У вас есть моё фио, номер телефона, паспортные данные (у яндекса), лог звонков (у гугла), содержимое моей почты и подробная поминутная детализация моего сёрфинга благодаря метрике/аналитиксу и/или директу/адвордсу на каждом втором сайте (а у большинства ещё и плагины в браузере стоят или даже сам браузер одной из ваших компаний). Даже если я посмотрел сайт А и потом вбил адрес сайта Б руками — вы всё равно узнаете об этом переходе.
Беда в том, что к вам может прийти запрос из органов, который вы не сможете проигнорировать.
И тогда, если я сначала ищу [ст. 199], затем захожу на сайт лоял банка, а потом вбиваю в поиск [авиабилеты лондон сегодня], до аэропорта я могу и не доехать.
Нам в этом случае придется снова искать какое-то объяснение для пользователей о том, почему их снова преследуют по их прошлым запросам?


может честно сказать, что всё дело в поведенческом таргетинге РСЯ? не?
Нам в этом случае придется снова искать какое-то объяснение для пользователей о том, почему их снова преследуют по их прошлым запросам?
*****
Т.е. я правильно понимаю, что РСЯ больше не будет учитывать мои поиски в яндексе и посещенные сайты? Хорошая новость, спасибо. А то действительно неактуальная реклама от Яндекса сильно утомляет, особенно учитывая что я на Яндекс почти никогда не захожу…
AdBlock — и никакой утомляющей рекламы
А смысл? Ведь яндекс же обещает, что они ее уберут. Я ведь не против рекламы как таковой, надо же сайтам на что-то жить. Предпочитаю не ходить на сайты где может понадобится фильтр на рекламу. Ну разве что некоторые видеохостинги раздражают рекламой. Я против того что контекст (в первую очередь РСЯ, гугл в этом плане более либеральный) преследует меня с моими старыми запросами.

Если яндекс сделает доступ к слежке за пользователем платным (ведь в этом идея данного обновления — рубить бабла), и предоставит пользователю право чистить историю контекстной агрессии в РСЯ, то было бы не плохо. Ну и черный список чувствительных запросов (регулярки) конечно тоже можно сделать. А так — брутально.
тип товара (телевизор), бренд (Sony) — нужен. модель(KXT-47) — желательно.
Из дурацких примеров — у меня на бложике в колонке висит вот такой блок:

image

Живые люди туда активно кликают, потому что интересно :) Клики считаю Метрикой.

Из серьезных способов применения данных о запросе стоит отметить:
— отображение более релевантных записей в блоке «См. также» (для товаров, новостей и т.д.)
— ранжирование списков с учетом запроса (если юзер попал на страницу категории, при этом искал конкретный товар — показать его сверху)
— кластеризация запросов и анализ эффективности по группам, возможно в сочетании с типами страниц (отказы, конверсии)
— адаптация страницы под уточняющие слова запроса (например, страница Мадонны на муз. портале содержит блоки «биография», «фото», «видео», если юзер искал «Мадонна видео», выводим соответствующий блок наверх).

Во всех этих случаях важно уметь сопоставить запрос и сессию. Во всех случаях юзеру, кажется, ничего не угрожает, при этом он видит более релевантный результат, что повышает лояльность к поисковику. Более того, во всех случаях юзеру совсем не обязательно явно сообщать, что его мы знаем его запрос (это как раз многих раздражает).

Таким образом, благопристойные причины отдавать реферер владельцу сайта, мне кажется, есть. Нежелание Яндекса делиться этими данными со вражескими счетчиками, социалками и чужими рекламными сетями — тоже понятно. Мне кажется, было бы разумным шагом давать вебмастеру ключ для расшифровки, опять же в качестве эксперимента. Или даже API с привязкой к IP, чтобы этот ключ не вбивали в настройки лирушного счетчика. Ну и посмотреть, будут ли пользоваться, а если будут — во благо ли, или во зло :)
1. Есть стандарт — передавать реферер. Ломать стандарты, идти против них — плохо. Почему какой-то сайт принимает за пользователя решение о том, чтобы нарушить стандарт?
2. Передавать или нет реферер — это дело браузера. Яндекс, не надо подменять браузер.
3. Пользователь сам решает когда передавать реферер. Может переводить браузер в конфиденциальный режим через настройки или плагинами. Почему Яндекс решает за пользователя?
4. Код узнают третьи лица! Вообще-то Яндекс такое же третье лицо, если его код висит на сайте и точно также собирает данные. Лицемерно как-то.
5. Решение о том, какой код разместить, принимает хозяин сайта. Это его мораль, его проблемы, его совесть, его дело.
6. Раз человек кликнул по ссылке и ушел с яндекса, то дело яндекса отпустить, а не проявлять некую мутную заботу о чем-то непонятном.
7. Какую проблему решает это нововведение кроме проблемы повышения выручки голландской компании Яндекс?
Мы не нарушаем никаких стандартов, реферер как передавался, так и передаётся, мы хотим убрать из него текст запроса. С тем же успехом, мы могли бы сделать передачу текста в виде POST-запроса и его вообще не было бы в URL.

И мы не вынуждаем никого использовать Метрику или какие-то другие продукты Яндекса. Мы рассказываем о том, что мы таким способом решаем важную проблему приватности в интернете и предлагаем обсудить как найти такое решение, которое бы удовлетворило вебмастеров, но не допустило бы утечки поисковых запросов в неизвестном направлении.
По-моему, проблема больше надуманная, чем важная.
> утечки поисковых запросов в неизвестном направлении.

Уточните пожалуйста, неизвестное направление — это владелец сайта, на который осуществляется переход и который не хочет использовать я.метрику?
Referrer без запроса — не referrer (и даже не referer).
Получается, если я использую счетчик Li.ru на своих сайтах, я больше не смогу в той системе статистики увидеть поисковые фразы, по которым ко мне пришли пользователи с Яндекса?

Мне, как вебмастеру, это, мягко говоря, неприятно. Я хотел бы предложить вам передавать ключ к расшифровке рефереров в какой-нибудь топ-5 сервисов статистки (где персонализировать информацию невозможно). В ином случае это будет больше похоже на выдаваливание конкурирующих аналитических систем; а в лучшем случае — на агрессивное продвижение «Я.Вебмастера».
На лицо совершенно логичный ход для популяризации собственных сервисов сбора статистики.

Очень неприятно читать лицемерную чушь про защиту частной информации от компании, которая первая сливает информацию о пользователях яндекс.денег. Причем читать это на ресурсе, аудитория которого прекрасно понимает коммерческие мотивы компании, важность охвата аудитории, причину выпуска собственного браузера…

Если бы Вы действительно боролись за приватность, Вы бы мыслили чуть шире referrer-ов: мне, как разработчику прокси-сервера, смешно читать про шифрование запросов, когда я их вижу в трафике, как на ладони.
HTTPS — логичный следующий шаг, но надо же было начать с чего-то.

Все крупные игроки делают (или планируют делать) одно и то же: HTTPS+шифрование поискового запроса.
Просто включить HTTPS — означает вообще убрать информацию об источнике перехода и это как раз всё всем сломало бы. Поэтому сначала надо подумать, как почистить реферер от того, что быть там не должно, а потом сделать так, чтобы информацию о поисковых запросах нельзя было перехватить «по дороге».
Про https согласен, в этом случае яндекс в силах, например, отправлять параллельный запрос на сервер целевого веб-сайта для информирования при выполнении механизма double-click по ссылке из результатов.

Но оба шага совершенно непонятны, ни мне, ни девелоперам выше: зачем так делать, если механизмы анонимизации, opt-out, сброса информации трекеров из браузера и т.д. уже существуют и встроены в браузеры, включая Ваш?

Другими словами, мой комментарий не о механике, а о целях:
— домохозяйкам, которые и так не особо наслышаны про referrer Вы погоды не делаете;
— девелоперам доставили бочку проблем;
— нокаутировали остальные сервисы статистики кроме своих.

Достаточно агрессивный шаг, о котором «побурчат и забудут», но осадочек остался)
Поэтому сначала надо подумать, как почистить реферер от того, что быть там не должно

Чего там быть не должно?
И ещё вопрос, можно ли будет делиться ссылками на результаты поиска?
Если можно, то приватность можно достаточно просто хакнуть:
1. Скачать страницу Яндекса по URL с зашифрованным запросом
2. Вытащить из полученного HTML текст запроса
3. PROFIT

Разумеется, это замедлит обработку запросов в реальном времени, но как вариант для дальнейшего сбора статистики вполне годится.
А если каждому поиску назначать новый id и сохранять соответствия в базе?
Ищешь «Котики» — дают ссылку ya.ru/search?seq_no=12345
Ищешь снова «Котики» — дают ссылку ya.ru/search?seq_no=12346
Но и первая ссылка работает.

уже не хакнешь ))
Если по любой из ссылок можно скачать (т.е. открыть в браузере) страницу с запросом и результатами поиска, то можно без проблем вытащить со страницы текст запроса. Задача же не в сопоставлении запроса и шифра, а в сборе статистики.
А, понял. По адресу из referer самому зайти да посмотреть
А почему нет? Яндекс же не перестаёт отвечать на нешифрованные GET-запросы, он просто шифрует их при передаче в Referer.

Вы как могли скопировать «yandex.ru/yandsearch?text=котики» другу в IM, так и сейчас можете.

Другое дело, что вам сложно будет определить, что какой-нибудь «yandex.ru/encoded-request/caa09acb809719d28f166336f0baf34211fca71cdc8b590507968c0e2a250fa424f442476ad3a38d19c6761e98db1d59131ecc817177666b4b4c1546fe4dc8ef» из Referer — это, скажем, котики, не зная ключа для расшифровки. А по самому такому url яндекс ничего не покажет, отдаст 404 и всё. =)

А «метрика» и прочие сервисы Яндекса ключ расшифровки знают, и смогут понять, что это «метка-начала котики метка-окончания» плюс рандомный шум с обеих сторон. =)
Т.е. сайт может менять referer хоть на совсем другой сайт?
Я просто не шарю, но такие возможности меня шокируют, я думал можно выставить флажок типа «обнулить реферальную ссылку» или отправить адрес из адресной строки если по умолчанию.
На странице поисковой выдачи можно размещать не прямые ссылки, а пропускать через редирект.

Например, со страницы yandex.ru/yandsearch?text=%D0%BA%D0%BE%D1%82%D0%B8%D0%BA%D0%B8 переходить на yandex.ru/link?id=123456, а оттуда сразу на сайт. Тогда сайт получит в referer link?id=123456 и не сможет восстановить, что пользователи искали.
Изящно, но тогда в выдаче не будет прямых ссылок на ресурсы и перед кликом не получится посмотреть куда кликаешь, хотя вцелом неудобств не вижу.
Спасибо за разъяснение.
В выдаче гугла я как-то замечал такой редирект, пока не поставил link fix

А посмотреть, куда переходишь, можно. javascript отрабатывает событие наведения мыши на ссылку и обновляет внизу окно статуса.
Можно без явного редиректа и лишнего запроса:

history.replaceState(null, null, "//yandex.ru/..encoded-request");
window.location.replace("http://habrahabr.ru/");

Можно ещё скрыть через схему POST-iframe.
Только вот хрена с два Яндекс так сделает, потому что жаба их съест не следить за переходами.
Раньше я мог различить трафик по брэндированным запросам в поисковиках (пользователь целенаправленно ищет наш сайт) и остальное поисковый трафик. Посмотреть для каждого из них конверсию, оценить насколько изменился каждый поток, как изменения на сайте влияют на конверсию для каждого потока. Теперь мне видимо ничего из этого сделать не получится.
Яндекс-метрика всё так же будет расшифровывать эти запросы. Вам тонко намекают, что если нужны рефереры от Яндекса — будтье добры поставить их «метрику.» Собственно, гугл это уже давно сделал, выше в комментариях описывают и дают ссылки на подробности.

>Собственно, гугл это уже давно сделал
Еще гугл сделал более хороший аналитический инструмент, из которого я вытащить могу больше. Например, как мне сегментировать в метрике достижения целей я не представляю.
Неожиданная тема для поста в блоге Яндекс сегодня, когда на IBCRussia господин Садовский предупредил об исключении ссылочных факторов в ранжировании с 2014 года [пока только в московском регионе и по коммерческим запросам.]
>Исторически сложилось так, что всё это может увидеть

Не не не, ребята
Давайте-ка без «исторически сложилось». Что на самом деле скрывается за этой фразой?
Что на самом деле скрывается за этой фразой?

«Кто-то когда-то так решил и с тех пор осталось»?
Большинство разработчиков браузеров и ресурсов следует RFC.
Дорогой яндекс, раз уж вы пишете на хабре, в стане так сказать разработчиков, то не могли бы вы объяснить какую конкретно область личной безопасности нарушает передача заголовка, определенного в стандарте? Давайте обсудим конкретные проблемы а не ваше «беспокойство» по их поводу? Пока это выглядит как попытка замаскировать свои маркетинговые интересы под некие абстракции в области безопасности.

Расскажите по порядку, что такого вредного может сделать рядовой сайт или вебмастер оного, увидев в реферере yandex.ru/yandsearch?lr=213&text=рядовой+сайт
Дорогой яндекс, раз уж вы пишете на хабре, в стане так сказать разработчиков, то не могли бы вы объяснить какую конкретно область личной безопасности нарушает передача заголовка, определенного в стандарте?


Пользователи не всегда хотят предоставлять свои поисковые запросы, которые представлены как параметры в url. Это дополнительная информация, которая может использоваться в связке с IP и данными о браузере.

Поэтому я предпочитаю всякие RefControl.
Хм… Мне всегда казалось, что когда пользователю хотят дать новую возможность, которая ему нужна ИНОГДА, то ее красиво выносят в интерфейс, а не рубят с плеча, чтобы у всех перестало работать то, что ИНОГДА может быть нужно кому-то отключить…

Ведь очевидно же, что если бы Яша хотел сделать возможность скрывать свои запросы, то он бы сделал такую ВОЗМОЖНОСТЬ. Так бы и написал — «Если вы хотите скрывать от сайтов зачем вы к ним пришли (что искали в поисковике), то поставьте эту галочку».

Ну и да, меня бы не смущало если бы они просто сказали — мужики, мы хотим больше бабла, так что запросы скрываем от конкурентов. Но вот ложь она не красит если честно, хотя у всех бывает…
Просто Яндекс не подумал что не та тут аудитория, не та…
Ну и да, меня бы не смущало если бы они просто сказали — мужики, мы хотим больше бабла, так что запросы скрываем от конкурентов. Но вот ложь она не красит если честно, хотя у всех бывает…


Они совместили приятное с полезным — и конкурентов потеснили, и приватность пользователей улучшили. Почему сразу ложь? =)
оффтопик
ИНОГДА


Я хожу с RefControl почти всегда, за ОЧЕНЬ редким исключением. И предпочитаю HTTPS.

Хотя бы потому, что *когда* мне понадобится пойти по запросу/со страницы, которые я бы не хотел афишировать, то это выглядело как обычная активность, а не выпадало из общей картины.

Вот вам и «иногда».
Расскажите поподробнее в каких случаях этого не хотят пользователи, по каким причинам, и как эту дополнительную информацию можно использовать во вред пользователю. Давайте больше конкретики и меньше воды
Например неотключаемая назойливая реклама или попытки «впарить» товар, который уже не нужен, но который пользователь искал недавно.
Например неотключаемая назойливая реклама
Неотключаемость и назойливость как то зависят от знания вебмастера о том, что искал пользователь в яндексе прежде чем перейти на сайт? Нет! Это политика сайта такая, реклама останется и неотключаемой и назойливой, просто теперь она будет нетематической, не соответствовать тому что пользователь хотел. Вывод? Посетителю станет только хуже, данное нововведение при прочих равных пользователю навредит.

Так же попытки впарить рекламу и товар который искался, будучи назойливыми — приведут к тому что пользователь закроет сайт и больше не придет (или поставит адблок). Это общий закон интернета.

Еще какие есть идеи конкретных проблем посетителя, которые решит это нововведение?
как скрывание рефереров будет соотноситься с Островами, которые, если я правильно понимаю, были призваны формировать заходы с поисковой выдачи на посадочные страницы с еще более релевантными аргументами — разве здесь нет нарушения конфиденциальности и еще большего расширения возможностей для навязчивой рекламы и впаривания товара, который уже не нужен?
И еще хочу присоединиться к хору голосов поющих про ваше лицемерие. Это как раз вы, крупные поисковые системы с кучей рекламных площадок занимаетесь внедерением этой самой назойливой рекламы. Стоит поискать у вас что то в поиске и потом не отвяжешься, на половине сайтов мне будут впаривать в рекламных блоках директа и адсенса то, что я у вас искал просто в поиске и что мне давным давно не нужно. заботливые вы наши
не похоже на правду :) не скажу за всех пользователей, но лично я, как пользователь, регулярно вижу попытки «впарить» товар, который уже не нужен в блоках РСЯ, если искал этот товар на Яндексе. Ну иногда в адсенсе проскакивает реклама посещенных магазинов, если на них включен ремаркетинг. Но она будет показываться и при сокрытии реферера.
Неплохая иллюстрация того, чем занимаются поисковые гиганты и какой информацией и как они ворочают. Решение также предложено верное — расширение для браузера, т.е. проблема решается и должна решаться на стороне клиента.

И это конечно не ответ на вопрос, что плохого может сделать разработчик самого сайта посетителю на основе запроса.
it is strongly recommended that the user be able to select whether or not the Referer field is sent.

В стандартах нет ни слова о том, что это должны решать сервисы, только юзер должен решать посылать ему запросы или нет.
А как это будет сочетаться с «Атом»-ом. Персонализация под пользователя?
Попробую описать ситуацию с позиций 3 сторон:
1. Для чего это по моему мнению Яндексу? Естественно садим всех на метрику и только ее — если я был бы Яндексом — вообще бы не гнушался чьим-то мнением по этому поводу. «Мне это выгодно и я тут диктую условия» — абсолютно верная на мой взгляд политика.
2. Что с этого клиенту? Ну, некая доля безопасности — хотя только от сайтов, которые пользуют собственные схемы и алгоритмы рекламы. Для CPA--сетей все ведь по-прежнему)
3. Что с этого магазину? Усложнение анализа в CRM и админках, даже, смотря по себе, если сейчас на мой сайт приходит клиент, регистрируется и тд, то мне дико удобно, что я могу реализовать доставку сообщения о нем прямо себе на айфон, где сразу указан ключевик, который искал позователь, за чем мгновенно следует мой звонок, и я уже знаю, что предлагать клиенту. Уж, если мне будет недоступна эта информация, не знаю — потеряю много. Другой вопрос, если ключевик будет маскироваться обобщенной фразой — если Яндекс построит такую систему генерации нормальных обобщенных фраз из ключевика, то цены ему не будет: можно будет легко подменять выдаваемое пользователю содержимое сайта, более корректно, чем в случае с ключом.
Всё же некогда традиционный путь клиента «вбил запрос в поисковик → перешёл на сайт → купил» всё дальше уходит в прошлое. И вскоре останется уделом только случайных или не очень образованных покупателей.
Я уже очень давно так не делаю вообще — использую агрегаторы, торговые площадки, рекомендательные сервисы и форумы и т.п. Мне совершенно неинтересно, какой там сайт по запросу сеошники прокачали на первую страницу, и тем более кто там ещё и доплачивает за рекламу.
Можете, пожалуйста, поделиться своим списком площадок?
Не знаю, с подвохом ли вопрос, и для Украины своя специфика, но примерно могу обрисовать…
Т.к. как и все айтишники часто беру электронику — у нас много лет лидер hotline.ua, он всё время расширяет ассортимент, ищу там всё от строительства до туризма. Сильно остаёт от него price.ua, или тот же яндекс. Для специфических промтоваров есть prom.ua. Дальше — китайские товары, dx, алиэкспресс, множество их. Конечно — ebay, кроме техники там бывает очень вкусная одежда-обувь. Амазон, куда же без него.
Из более локального — ебейный филиал slando.ua, или какой-нибудь aukro. Там множество ещё незажравшихся бизнесов размещают свои предложения.
Например, по автозапчастям — exist, autoprom, или база станций vse-sto. Ещё мельче — множество тематических форумов, всякие 0day, autoua и пр. и пр.

Конечно, ради интереса я периодически ищу что-то и в поисковиках, просто для сравнения. Но практически всегда вижу в выдаче только сеошный мусор или совсем неинтересные предложения.
Мне кажется, что если основной причиной шифрования является передача данных сторонним сервисам о пользовательских запросах и Яндекс принципиально не против передавать эту информацию владельцу сайта, то оптимально создать ключ в панели вебмастеров для расшифровки данной информации.

В качестве примеру как владелец сайта может использовать информацию о поисковом запросе налету:
1) таргетинг баннеров внутри сайта
2) ремаркетинг на сторонних сайтах (не на всех есть РСЯ)
3) подбор оптимального товара (поисковая система не всегда подбирает релевантную страницу)
4) персональные рекомендации на сайте

Точность запроса тут может иметь значение.
Если кто-то ищет в сети свои паспортные данные или другие запросы, которые содержат личную информацию эти запросы поисковая система может отлавливать самостоятельно и не передавать вообще.

Тут важно понять реально Яндекс не хочет, чтобы владелец сайта использовал данные о запросах налету или не против этого.
Форменное безобразие. Вообще-то кроме Метрики и Вебмастера есть и другие инструменты, в т.ч. встроенные в CMS. Зачем ломаете, да?
Теперь я понял, почему в startpage.com текст запроса передаётся в POST, а не GET. Вот что значит заботиться о безопасности пользователей.
круть. теперь не только пользователи осчастливлены пресонификацией поисковой выдачи, но и владельцы сайтов будут вынуждены уверовать в данные об интересах пользователей, отображаемые метрикой. пожалуй, это самое любопытное. ведь таким образом обе стороны, из субъектов, взаимодействовавших через яндексный поиск, становятся объектами одной модели.
А потом можно за расшифровку и деньги брать, ага.
Цензурных слов нет для комментариев такого нововведения.
Но пользователи имеют право возмутиться и спросить Яндекс «а почему вы передаёте мой поисковый запрос всяким разным сайтам?»

А как много пользователей уже возмутилось?
Вангую: через год-два Яндекс подумает-подумает и решит сделать доступ к статистике запросов в Метрике — платным. Ну а что? Нормальная такая «прибавка к пенсии» получится…
А в чем смысл эксперимента? Обычно выдвигается какаязто гипотеза, и эксперимент ее подтверждает или опровергает, а здесь я это не обнаружил. Создается ощущение что ее и нет, просто пиар активность очередного резвого менеджера.
Возможно, глупый вопрос, но реферер же передает браузер, как яндекс (обычный сайт) может это контролировать?
Заворачивать все ссылки на внутренние страницы.
Выводить не прямые ссылки, а на внутренние страницы с которых происходит редирект на внешние. Можно в редиректе указывать текст запроса, а можно нет, ссылаясь на его айдишник или хэш.
То есть, появляется еще один слой как бы, но внутри сайта. Тогда, все-таки, флаг им в руки: вряд ли стоит возмущаться тем, что кто-то модифицирует свой сайт. Я-то поначалу решил, что они в своем хроме, или что там у них, хотят выпилить передачу реферера.
Ну да, технически ничего не нарушают — нашли «дыру», чтобы не передавать информацию, которая имеет ценность.
В Яндекс Видео изначально в reffer не передавался.
На одном из моих проектов работает моя небольшая система контекстной рекламы. Она, в зависимости от запроса, по которому перешел пользователь, показывает ему в блоке «возможно, вас заинтересует», схожие товары.
Как быть в таком случае? Более возможности использовать её не будет, либо яндекс предусмотрит какое-то решение в подобных ситуациях?
А как же все разговоры про удобство пользователя, про хорошие сайты, про понятную навигацию???
В нескольких проектах мы используем реферер, чтобы сортировать товары на страницах каталога в соответствии с поисковым запросом пользователя. Например, вы ищите «белый чехол на iphone 5», при переходе на сайт вы увидите сначала белые чехлы, а потом остальные. Удобно? Мне кажется — да. И метрика подтверждает — снижается процент отказов по таким запросам, повышается конверсия.

Это один пример, но таких фильтров много, и это удобно. Тем более, когда по многим запросам в выдаче Яндекса показываются не совсем те страницы, которые должны показываться (показываются смежные товарные категории), это позволяет нам хоть немного исправить ситуацию своими силами. Пользователю не нужно искать блок с фильтрами товаров, искать нужные товарные категории в меню сайта, ему все выдается на блюдечке. Пользователь доволен, мы довольны.

Может быть стоит сделать раскрытие реферера опцией и включать по запросу, например? Не все вокруг плохие, не все торгуют персональными данными.
Насколько мне известно — для решения этой проблемы Яндекс готовить технологию Атом, которая позволит отсортировать выдачу на вашем сайта не раскрывая при этом личных данных пользователя.
Крутой подход, внедрение путем постановки в ЗКП.

Сначала, видимо, предлагаться будет Атом.
А затем Атом станет платным.

Нормальная бизнес-модель внедрения и слома рынка, где ты почти монополист.

Кстати, ждем публичного Атома, очень нужная штука. Метрика у вас крутая, делает Гугл в хвост и гриву, на мой взгляд.
это просто мотивация установить метрику. яндексу нужно, что бы метрика стояла на каждом сайте. что бы можно было отслеживать передвижения каждого конкретного пользователя с одного сайта на другой.
В вебвизоре не хватает поля «ip адрес»
А когда будут подробности о ходе эксперимента? Какие прогнозы?
А я вот не пойму, какая тут нафиг защита, если всё равно через метрику видны запросы?

Ответ — защита НОЛЬ, а вот заставить всех юзать свой сервис чтобы посмотреть по каким тебя вообще запросам ищут — настоящая причина.

Можете вообще уж не передавать, фиг ли там. А то «шифрование» какое-то… чего оно даст?
Яндексу следует опубликовать и при необходимости изменить алгоритм шифрования referrer'ов таким образом, чтобы вебмастер домена (через раздел для вебмастеров) мог генерировать\перегенерировать ключ для расшифровки данных переданного шифрованного referrer'а в его скриптах на сайте при анализе логов веб сервера, или в других системах\сайтах\счётчиках\whatever осведомлённых о такой особенности Яндекса и дающих возможность за'submit'ить им ключ для расшифровки referrer'ов Яндекса.
Проблема утечки данных третьим лицам будет решена, но и возможность анализа статистики останется.
По мнению Яндекса вебмастер и есть «третье» лицо. Первое и главное лицо это Яндекс, второе лицо это пользователь, а вебмастер тут непонятно каким боком))))
Каким образом зашифровано etext?
Есть ли теоретическая возможность расшифровать исходный запрос, или там криптоалгоритм, и без ключа это нереально?
UFO just landed and posted this here
Можно ли расшифровать и для чего шифруется?
UFO just landed and posted this here
Вот и настало время собственных каталогов и поисковых систем…
Для возвращения текста запроса в referrer нужно, чтобы пользователи перешли на новые поисковики, а для этого нужно предложить что-то, чего нет у Яндекса. Вопрос — что?
Вы сами же и ответили: возвращение текста запроса в referrer.
Иными словами: бесплатную аналитику внутри ref-ов.
А пользователям то это зачем?)
Sign up to leave a comment.