Как стать автором
Обновить

Комментарии 103

Спасибо, полезное расширение. Правда хотелось бы, что бы оно работало не только с московским Avito, но и с другими регионами. На данный момент с моим регионом оно почему-то не работает (вот так выглядит страница для московского Avito, так для барнаульского).
Попробуйте открыть пару объявлений (должен автоматом открыться телефон, и далее возле него появиться цветной кружочек). Далее открытые объявления должны подсветиться и в списке. Если все так — значит работает.

Плагин работает с любым регионом, просто пока я активно сканирую только аренду в Москве (сканить со скоростью, достаточной для покрытия всей России, файрволы Авито не позволяют). Я ищу способы нарастить скорость сканирования, и пока они, по большей части, упираются в железо, которое стоит денег.
Давно еще похожие вещи делал на java библиотеке htmlUnit/httpUnit. А номера распознавал нейросетью на joone framework.
Смотрели на phantomJS? Вполне неплохой подход к распределенному headless кравлингу, при том чтобы остались все удобства разработки кравлинга в браузере.
О! Вот спасибо! PhantomJS это то что надо, для централизованного краулера будет в самый раз. Мне даже в голову не пришло что такая штука существует.
Рад что пригодилось) Желаю удачи, нужное дело делаете!

Я не против посредников, только если они делают полезные вещи. А тут они просто лишние… Агенство или агент никакой ответственности не несут, в ЕРГП запрос не делают, да и договор по закону как бы двухсторонний. А чаще это лишние траты и дезинформация. Некоторые посредники нагоняют толпу народа и аукцион устраивают кто больше!
phantomjs --webdriver=PORT

А дальше можно использовать любой клиент для любого языка программирования, который поддерживает WebDriver Wire Protocol.

Поразительно, но webdriver в контексте phantomjs реализован на JavaScript!
Плагин я еще не смотрел (Москва и Россия мне сейчас не актуальны), но перечисленные вами критерии выявления агентов одним списком уже сами по себе полезны, спасибо.
Спасибо!

Сделать не проблема, вопрос — насколько оно нужно. Я не вникал в другие темы, но есть ощущение что там все не так печально. Скажем, вряд ли вы найдете перекупов авто которые будут предлагать вам заплатить деньги за телефон собственника. Хотя, если вам кажется что в конкретном направлении это нужно — можем обсудить в личке.
Перекупы любят выставить на продажу машину, которой по факту нет. И есть «почти такая», но дороже.
Все перекупы платят за оперативную информацию об авто и собственнике. И хорошо платят. Это я как краевед говорю :)
Я тут немножко окунулся в сферу авто и решил что собник должен обнаруживать и перекупов. Когда оно появится обещать не могу, но будет — точно.
Оно уже есть — akham.ru

Вы забыли указать, что оно платное. Отказывается работать без регистрации и оплаты кликов.
А что в этом плохого? Вы выбираете хорошую машину, экономите время и деньги. Разработчики затрачивают усилия и получают копеечку.
Я не хотел ничего сказать по поводу того, хорошо это или плохо. Ради общего развития решил воспользоваться этим расширением, а когда установил, понял, что зря потерял время. Если бы вы предупредили, что расширение платное я бы сразу прошел мимо.
Отличная идея. А себе жилье удалось подобрать без агента?
Спасибо!

Да. Супруга нашла собственника квартиры, которую публиковал агент (то было в далекую эру до собника).
Здорово! Скачаю, попробую.
Я ни сколько не против риэлторов

Вы добрый человек.
99% риэлторов наглые, бессовестные мудаковатые шакалы которые за 2 рубля мать собственную продадут.
Мне лишь один раз в жизни удалось попасть на того риэлтора, который в 1% нормальных попадает и теперь, когда я знаю, что нормальные существуют я ещё больше их не люблю.
Однажды получил телефон агента от знакомой. Вот же исключительно приятный был мужик. У него своя небольшая, но эксклюзивная база клиентов, и только в одном районе Москвы. Он лично знаком со всеми хозяевами, со многими работает многие годы. Я думаю, он не гребет деньги лопатой, но у него и затрат меньше. Не надо метаться по всей Москве, не надо конкурировать с другими агентами за одну и ту же квартиру. И его предложения вызывают доверие. А так с вашей характеристикой риэлторов согласен до последней буквы. Часто это вообще посредник посредника, которому вообще не понятно за что нужно платить.
Здесь лучше придерживаться правила работы с теми риэлторами, с которыми есть позитивный опыт у знакомых/родственников, тогда всё скорее всего будет ок.
Сарафанное радио, все дела.
PS: продажники более адекватные чем риэлторы, занимающиеся арендой.
Друг когда искал варианты покупки жилья просто материл продажников. Многие в то далекое время из-за 10млн. руб.(из которых они получают свой процент) даже задницу от стула не хотели оторвать, чтобы показать жилье. А другому другу делал java парсер для объявлений о продаже вторички на «из рук в руки»
Расскажу свою историю:
В прошлом году продавал квартиру. Нашел покупателя сам. Решили обратиться к риелтору, чтобы он провел сделку (составил документы, отдал на регистрацию и тд.).
Вспомнил что консьерж рассказывал про риелтора, соседа, который живет в нашем же подъезде. Взял у него телефон, встретились, сосед оказался этажом выше. Встретились, пообщались, приятный в общении. Запросил немного больше чем обычно (40т.р. против 25-30 т.р.), но покупателя это устроило, главное чтобы всё четко было.

В итоге встретились я, покупатель и риелтор для сделки и началось. Документы он заполнять не стал — заполняйте сами. То что заполнили, даже не проверил (как оказалось там было несколько технических ошибок).
Но, самое интересное началось дальше. Оказалось в моей собственности и в кадастровом паспорте стоял неправильный этаж. Видя что нам срочно, риелтор вызвался помочь за 50 тысяч, т.к. «у него много знакомых где надо», а сами мы это врядли сделаем, да ещё и в короткие сроки.
Ушли от него растроенные. Правда покупатель оказался довольно хорошим человеком (армянин), говорит — иди пробуй сам, он типа готов подождать. 50 тысяч что-то не хочется платить. Я пошел в и ближайшем МФЦ отдал на исправление технической ошибки в кадастре и собственности и дней через 10-12 получил исправленные документы! Более того, пока я ждал документы, этот гондон-риелтор (сори, но других слов нету) названивал моему покупателю с предложением продать ему свою квартиру, или найти квартиру лучше и дешевле. Говорил, что у меня с документами бардак, что это надолго, что квартиру продаю по завышенной цене и тд и тп.
У меня это просто в голове не укладывается. Сосед, к которому обращаешься, готов заплатить выше рыночной цены, ради того, чтобы не обманули — нагло пытается на тебе нажиться, а когда не получается — то пытается отбить твоего покупателя, которого ты сам нашел.

В итоге мы с покупателем оформили сделку через другого риелтора (посоветовали знакомые). Которая за 30 тысяч и документы заполнила и в банк носилась и рег палату и тд и тп.
Немного дополню, что квартира была в новостройке и наоборот все соседи стремились к общению и знакомству друг с другом. Внизу у консьержа люди оставляли свои координаты и предлагали помощь. Например, соседи с третьего этажа имели точку на строительном рынке и отдавали для своих соседей стройматериал по очень низким ценам (мы думаем, что по цене закупки, нам очень сильно сыкономили на стройматериале, когда ремонт делали).
А тут — оказалось среди соседей риелтор затесался :(
Надо было ему просветить под глазом то.
Ну или более гуманным способом — написать хороший отзыв про него.
причем, на двери написать )
Пару раз делал оформление купли-продажи через риэлтеров, один раз продавал, второй раз покупал. Я так и не понял за что они деньги берут. Заполняется стандартный набор бумажек, затем записываешься в очередь на регистрацию, затем получаешь документы. В чём функция риэлтера во всём этом не понял.
Спасибо огромное. Обязательно попробую т.к. сейчас какраз озадачен проблемой поиска жилья.

Вот вам еще один способ, который открыла моя супруга:
проверять фото через google/yandex картинки. Часто риэлторы используют одни и те же фотографии в разных объявлениях. Т.к., видимо, их база не большая, таким методом отсекается довольно много спама.
Да, спасибо, анализ фото есть в планах.
А в чем была проблема с Cross-Origin Policy? Расширения для хрома имеют ведь такую возможность.
Пока нет. То ли боюсь, что «идею украдут», то ли смущаюсь за свой ламерский Go-код, то ли боюсь что агентам будет легче обманывать мой детектор. Нечто среднее, или все вместе.
1. Идея фильтра агентов? Вы серьёзно?
2. Вы пока не заняли значимого процента рынка, чтобы агентам было до вас дело. Да и агентов, которые в состоянии разобраться в таком коде, вряд ли значимое количество.
3. Ламерского кода не стоит стесняться, если вы его планируете развивать — от опенсорса будет польза
Существует целый ряд похожих, но платных аналогов.
Знаю про локальный рынок, там стоимость софта начинается от 500р в месяц.
Агрегаторы нескольких сайтов недвижимости (в тои числе и Авито) + опциональная прозвонка + определение собственника + парсинг объявлений и возможность фильтрации по нужным параметрам, вплоть до наличия мебели в квартире и площади кухни.
В общем, если думаете про монетизацию, то зря)
Вы правы, таких проектов полно, но в основном они нацелены на риэлторов а не на конечного потребителя! один tanan чего стоит, вторичка жилья с анализом по всей России.

Плюсы данного парсера — так это FREE, других плюсов и не ожидается, велосипед собран и проехал лет так 10.
> но в основном они нацелены на риэлторов а не на конечного потребителя!
А в чём разница? Никаких специфичных навыков эти сервисы не требуют. Указываем интервал дат, параметры (район, количество комнат, стоимость, и т.д.) и получаем список квартир с телефонами.
Стоимость не демакратичная, а так же, покупка рассчитана на количество пользователей, или подписка на месяц. Хотелось бы подписку хотя бы на сутки!
Спасибо!
Будет время — обязательно портируйте свой плагин под Firefox!
А насчёт монетизации…
Ещё один возможный сценарий: Вы ведь из плагина можете выделить любое объявление ;) Дешевле чем это делает avito
Портирую, конечно же.
И спасибо за идею!
>>«Польза обществу», надеюсь, очевидна
Совершенно не очевидна.

Начнем с того, что avito — это грандиозная помойка фейковых объявлений (особенно в разделе «авто», но и в недвижимости тоже), и никто в здравом уме там жилье не ищет (речь про дефолт-сити, разумеется). Все пользуются cian.ru Так что ваш сервис — это попытка отыскать некий бриллиант в куче навоза. Причем наличие бриллианта не гарантируется.

Кстати, в «Из рук в руки» реальных объявлений вообще нет. Поверьте.

Во-вторых попытка снять квартиру «у собственника» в Москве почти всегда приводит к ситуации, когда эта квартира сдается одновременно пяти-десяти арендаторам, а «собственник» тихонечко испаряется в неизвестном направлении, после чего появляется настоящий, заявляет, что никому квартиру не сдавал и разгоняет всю кодлу безутешных арендаторов.

Ну и в-третьих. Ничуть не защищаю хамоватых и наглых риэлторов. Хватает и таких. Но если бы никто не был готов платить за их услуги — наверное бы их не было? Подумайте, почему же люди готовы платить комиссию? И чей же это рынок — арендатора или арендодателя?

Спасибо.
avito — это грандиозная помойка фейковых объявлений

Согласен.

Все пользуются cian.ru

Многие комментаторы здесь похоже не в курсе.

Кстати, в «Из рук в руки» реальных объявлений вообще нет. Поверьте.

На этой неделе приделаю irr и проверим.

Во-вторых попытка снять квартиру «у собственника» в Москве почти всегда...

Может быть у вас есть ссылка для подтверждения ваших слов? То, что эту страшилку риэлторы твердят без умолку — это очевидно, насколько часто встречаются такие мошенники знает, вероятно… тот, чью информацию вы приводите.

И еще, скажите, пожалуйста, как наличие риэлтора, который квартиру и хозяев видит первый раз вместе с клиентом, поможет защититься от мошенников? Большинство риэлторов, что косят под частников на авито, хотят только одного — комиссию, и умыть руки, и их уж точно не заботят ваши проблемы с хозяевами.

Но если бы никто не был готов платить за их услуги — наверное бы их не было?

Некоторые агенты спамят и обманывают. Это вред — для продавцов, для покупателей, для нормальных риэлторов. С этим можно и нужно бороться. А за что платить или не платить люди пусть сами решают, тут обсуждать нечего.

И вам спасибо.
Это вред — для продавцов, для покупателей, для нормальных риэлторов. С этим можно и нужно бороться.


Ну ОК. Вот вам реальный кейс, менее года назад.
Вот я нахожу вариант, мониторя cian.
Потом созваниваюсь, задаю ключевые вопросы, если всё устраивает — договариваюсь на просмотр, если нет — оставляю свой телефон на случай, если что-то появится.
Перед подъездом встречаемся, агент рассказывает мне краткий психологический профиль хозяев.
Просмотр. Фотографирую документы хозяев и квартиры. Отсылаю другу, который может их оперативно проверить (банально — действующий ли паспорт, нет ли обременений на жилье, соответствуют ли данные хозяев реальным собственникам)
Выходим вместе. Я ему сообщаю сумму, которую готов выложить прямо сейчас и проговариваю дополнительное условие — временная регистрация детям. Если он справится и в эту сумму сможет уложить первый месяц, взнос за депозит и свою комиссию — сниму прямо сейчас. Даю ему час, иду попить кофе.
Через 40 минут он звонит, сообщает, что уговорил хозяев, поднимаюсь, подписываем договор, получаю ключи.

1. Что я делаю не так?
2. В чем тут для меня вред от агента?
3. Заслуживает ли такой агент свою комиссию?
4. Как вы предлагаете мне действовать без агента? И сколько своего времени я должен буду потратить?
Вы забыли процитировать вот это:

Некоторые агенты спамят и обманывают. Это вред — ...
ОК. Уговорили. Ваш сервис может быть полезен.

Но Вы всё равно не понимаете, что этот рынок принадлежит арендодателям. Именно они являются заказчиками услуг агентов и именно им выгодно с агентами работать. Может в эту сторону подумаете и родится еще один сервис?
НЛО прилетело и опубликовало эту надпись здесь
«Кстати, в «Из рук в руки» реальных объявлений вообще нет. Поверьте.»
Полтора года живу в квартире, найденной в «Из рук в руки».
вы не живёте, у вас нет квартиры :)
Своей нет. Я про съёмную говорил.
У меня в Москве то показывает, то нет.
Gentoo Chromium 37.0.2062.94

В вы не пробовали в авито написать, раз они сами заинтересованы в поиске агентов?
В хромиуме и под линуксом особо не гонял. До сих пор есть проблемы? Если открыть панель разработчика, в консоли красные сообщения об ошибках есть?

Не пробовал в авито писать. На реализацию чисто детектора ушло от силы неделя, авито хотел бы — давно бы сделал. Представьте, что на авито будет не 10К предложений, а 500. Будут собственники платить авито за поднятие своих объяв? Думаю нет. Это единственное, приходящее мне в голову, объяснение их бездействия.
Мне кажется неверной сама постановка задачи. Человек, который столкнулся с необходимостью покупки/съема жилья интересуется прежде всего параметрами объекта (расположение, площадь, состояние, документы) и его стоимостью, если по этим критериям ему объект подходит, то он находит номер телефона и осуществляет звонок. Всё!
Дальше никакой автоматизации придумать нельзя, только общение с живыми людьми, уточнение деталей, осмотр, сбор пакета документов и т.д.
Для поиск объектов недвижимости уже есть удобный агрегатор. То, что происходит до осуществления звонка занимает ничтожное количество времени и практически не требует усилий, сложности начинаются уже после. Самое важное при сделках с недвижимостью, это чистота документов, все остальное ерунда.
Яндекс.Недвижимость действительно удобен. Честно сказать, не присматривался к нему, спасибо что подсказали.
Мне кажется постановка задачи всё же верная. Потому, что даже яндекс пропускает некоторое количество фейковых объявлений. Так что человека интересует в первую очередь действительное существование данной квартиры. Собственники жилья обычно указывают более правдивые данные, чем большинство риэлторов.
Это не так важно, в ходе поиска одного объекта человек просматривает и обзванивает несколько десятков вариантов, и по каждому из них критерий пригодности этого варианта определяется индивидуально, это надежнее, чем автоматизация. Нет беды, в том, если в исходный список объявлений попадет пять или десять ложных, они отсеяться после первого состоявшегося дозвона.
На авито у вас на сотню ложных будет десяток реальных. Так что автоматизация тут совсем не лишняя. Яндекс да, хороший вариант.
НЛО прилетело и опубликовало эту надпись здесь
На realty.yandex.ru/ (по крайней мере, в той области, куда я смотрел) очень много информационного мусора из-за неверно указанных координат объекта. «Погрешность» километров эдак в 10.
А в какой области вы смотрели?
Да хотя бы Пушкино и Реутов Московской области. Когда посёлок Заря называют районом Реутова — это за гранью добра и зла.
Думаю, это отличная идея! Тем более что как раз обременена поиском аренды квартиры. Скачала, установила, но почему-то не работает( Ищу в Екатеринбурге, но и для Москвы не работает.
Хотя для Москвы работает, видимо, рассчитывает долго, через какое-то время отображает кружки.
Могу помочь только с поиском для купли/продажи вторички, в Екб. )) (Я не риелтор, но есть база одной из компаний!, точнее уже двух). Бесплатно!
Спасибо конечно, но я заинтересовалась данной статьёй из-за самого плагина, а не базы квартир =)
В Екб нет кружочков потому что я его не сканирую — авито банит за слишком активный скан. Товарищ выше дал полезный совет, надеюсь скоро смогу их победить.

Если откроете какое-то объявление, кружочек должен появиться возле номера телефона.
Кружочек не всегда появляется, тормозит иногда расширение видимо, но я вам желаю дальше развиваться и совершенствовать продукт.)
Хорошее дело, к сожалению эти паразиты общества быстро адаптируются к новым средствам защиты. Хуже крыс и тараканов…
Я когда думал над таким решением пришел к выводу что эффективным будет только создание антиагентства, брать фиксированную плату с тех кто сдает/продает, и на эти средства содержать несколько человек которые будут проверять отобранные объявления, звонки, выезд на место. Кроме агентов есть еще и масса мошенников.
«Пришлось покумекать и родить простой алгоритм, определяющий, есть ли на фото какой-либо текст»
Можно ли немного подробнее описать этот простой алгоритм?
Один фильтр оставляет только границы контрастных областей, второй чистит шум, дальше «если что нибудь осталось» — значит есть надпись. Примерно так.
Подскажите, какой именно фильтр вы использовали для поиска контрасных областей? Чем именно чистили шум?
Самописный, и там и там. Исходник кину в личку.
Хм, а почему никто не говорит про базу циан? Было бы очень полезно там так же помечать объявления.
Обязательно.
Я вам предложил бы немного монетизировать плагин. Собрать деньги в сервисах краудфандинга или же сделать небольшую абонентскую плату на неделю (300 р. для крупных городов, а 100р. для все остальных). Так как за сокращение времени стоит платить.
что-то не работает.
image

Не залогинен на Авито, других расширений нет. Может, что-то с поисковым запросом?
Хром, Канарейка64.
Действительно. Поправлю — отпишусь.
работает только непосредственно в разделе «Квартиры» (категории), при появлении подменю и выбора «сдам». С простого поискового запроса по-умолчанию, нет.
Исправил, теперь работает во всех разделах (правда в разделах кроме «сдам в Москве» база может быть пуста). Как только гугл одобрит, у вас расширение обновится до версии 1.8, и можно пробовать.
Было бы еще хорошо дать возможность голосовать за правильно и неправильно распознанные объявления людям. То есть типа «это точно собственник — это точно агент» Пока там аудиторию хабровая, агентов, голосующих за себя, не будет, а алгоритм сильно улучшит.
Но вообще спасибо, да! Я в основном цианом пользовался, но через авито находил несколько квартир напрямую от собственников, просеивая весь спам агентский.
И кстати есть еще наблюдение. Если на циане появилось несколько одинаковых объявлений от разных агентов на одну квартиру, значит она есть от собственника на авито )
Спасибо за идеи!
НЛО прилетело и опубликовало эту надпись здесь
Там наверняка стоит такой же файрвол как и для веб-клиента, так что вряд ли оно поможет ускорить сканирование. А в остальном и с текущим подходом проблем нет.
Эх… Только около года назад пытались найти квартиру. И чего только не смотрели, и где только не смотрели, даже базу Инкома (вроде) покупали у какого-то мужика (которая в итоге помогла выйти на риэлтора, который продавал квартиру своего друга, с которым мы уже связывались лично т.е. — мегаудача: норм и квартира, и цена), и что только не делали. Искали чуть ли не год, живя по съёмным квартирам — был полный ад. Надеюсь, это расширение облегчит жизнь тем, кто занимается поисками сейчас.
Раз уж тут собрались знающие люди, можете порекомендовать, как лучше снять жилье без посредников в Москве (если это реально)? Альтернативы cian? Как проверить действительность документов собственника?
Хоть я и считаю, что моё время стоит дороже, чем комиссия агента, с которым всегда можно сторговаться, помогу.

Онлайн сервис, насколько я знаю, только один services.fms.gov.ru/info-service.htm?sid=2000
Выписку из ЕГРП нужно заказывать оффлайн. Но много и онлайн-сервисов, которые якобы сделают это за вас. Стоит ли им верить? Я не верю.

А чем Вас не устраивает ЦИАН? Он прекрасно отсеивает агентов-неадекватов, благодаря системе самомодерации.
Спасибо.
Мне кажется, если заказывать выписку, квартиру к моменту ее прихода уже сдадут. Сам я других онлайн-способов не нашел, поэтому и решил спросить.
Ну можно иметь друга в нужных органах власти, который быстро посмотрит — совпадают ли собственники у жилья и те люди, с которыми вы сейчас разговариваете.
Других хороших способов не знаю, к сожалению…
Попробуйте просто поискать вконтакте по записям. Часто бывают объявления от реальных людей (не репосты ссылок на сайты типа avito), дальше можно просто списываться с человеком. Есть еще пара групп вконтакте, которые называются что-то вроде «Без посредников»: они закрытые (доступ дают в течение дня-двух) и там банят агентов. Там каждый день появляются объявления. За 1-2 недели вполне можно найти несколько подходящих вариантов, ну и далее посмотреть их, выбрав один самый лучший для вас.

Действительность документов собственника проверить можно (и нужно) при личной встрече. Если сдают квартиру родственника, то можно спросить документы, подтверждающие родство (свидетельство о рождении, например, если дочь поменяла фамилию после свадьбы).
> Действительность документов собственника проверить можно (и нужно) при личной встрече.
В этом и проблема: если паспорт проверить не сложно, то со свидетельством на право собственности (и любым другим документом, подтверждающим право распоряжаться квартирой) сложнее как минимум из-за времени.
Интересная идея, она в некотором смысле дополнительно катализировала наше с коллегами обсуждение проблемы съема жилья.
FYI: Нашу концепцию можно посмотреть на rsdn: rsdn.ru/forum/life/5797776.1
Авито и многие другие доски публикуют номер телефона в виде изображения, соответственно — номер приходится распознавать.

В случае Авито это обходится элементарно: в URL объявления замените «www» на «m» — получите мобильную версию объявления, в которой телефонный номер прописан открытым текстом.
Да, мне уже подсказали, спасибо!
Что-то приложение начинает вести себя по-хамски. Периодически открывает мне Авиту с баннером:
image

Без моего разрешения!
Да. Именно так теперь работает приложение — сканирует объявления в отдельной вкладке. Очень жаль, что вас это расстроило, именно для этого был написан баннер, в котором рассказано — что делает приложение, и как это отключить. Спасибо за ваше терпение.
Понятно!
Однако, из текстового содержимого баннера не ясно, что приложение не просто будет что-то там делать в фоне, поэтому вызывает удивление его поведение.
Разве нельзя это делать не во вкладке?
Мне уже намекали, что можно загрузить в фоне ajax-ом и все такое. Однако, сейчас браузер все делает для меня — загружает все нужные ресурсы (картинки, js), выполняет все скрипты, формирующие страницу, и т.п., а я просто пользуюсь результатом. Делать это в фоне — значит делать все самому, а как выполнить скрипты вообще не понятно. Поэтому пока использую отдельную вкладку, это решение проще и более универсальное.
вот теперь стало лучше с настройками, когда может работать и в каком режиме!
Собник уже давненько работает с ЦИАН. Только вот частных объявлений там как раз минимум — это вообще исключительно агентский сайт.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Изменить настройки темы

Истории