Articles / Profile of DEADStop / Habr

How to become an author

Максим Пименов @DEADStop

Маркетинг и контент в IT

Profile Publications 19Comments 199Bookmarks 27

DEADStop Jun 28 2022 at 17:11

Есть ли кому-то дело до утечек персональных данных?

1 min

4.6K

HFLabs corporate blogInformation Security*Data storage*Legislation in IT

Мы в HFLabs с 2005 года обрабатываем персональные данные в промышленных масштабах. И решили провести опрос среди айти-специалистов по поводу крупных утечек.

Давайте все вместе выясним, есть ли кому-нибудь дело до недавних инцидентов. В последнее время данные массово утекли как минимум из «Яндекс.Еды», Delivery Club и Geekbrains. Пожалуйста, расскажите, насколько эти события затронули вашу компанию.

В форме всего 10 вопросов, на большинство достаточно ответить «Да» или «Нет» forms.gle/BtH19mhUpZ3CzBD17.

Опрос анонимный. Если оставите емейл, мы пришлем на него результаты. Но в любом случае выложим их в нашем телеграм-канале «HFLabs — о данных».

Пройти опрос

+3

DEADStop Apr 8 2020 at 14:23

Челленджи, лысые головы и вино. Как мы в HFLabs переживаем самоизоляцию

7 min

4.5K

HFLabs corporate blogProject management*Personnel Management*IT careerIT-companies

В HFLabs работают 82 человека — из них ≈70 [было] в московских офисах. Самоизолировались, конечно. Но дома скучно или, наоборот, чересчур суетно — например, когда ты заперт в однушке с детьми. Работать так днями напролет — тяжеловато.

Уже на вторую неделю карантина главные бодряки компании задумались, как разнообразить трудовые будни. И накидали решений. Расскажу, что нового появилось в корпоративной, не побоюсь этого слова, культуре HFLabs за последнее время.

Методы HFLabs подойдут не каждой компании. Если у вас принято застегиваться на все пуговицы, быть подчеркнуто серьезным и деловым, развлечения из этой статьи не зайдут.

Читать дальше →

+16

DEADStop Feb 20 2020 at 14:10

Как определить оператора и регион по номеру телефона

6 min

138K

HFLabs corporate blogOpen data*Development for e-commerce*Cellular communication

Полезно знать, какого телефонного оператора выбрал клиент и в каком регионе. Тогда можно разбить клиентскую базу географически и не звонить ночами. Или проводить промоакции вместе с операторами. А некоторые наши заказчики экономят: для каждого оператора выбирают самого дешевого СМС-агрегатора.

Поэтому «Дадата» с давних пор находит оператора по номеру телефона. Алгоритм простой — сделай и пользуйся. Разве что в 2013 году, когда отменили «мобильное рабство», пришлось чуть скорректировать процесс. В этой статье расскажу, как у нас все работает.

В процессе есть большая сложность — получить доступ к базе перенесенных номеров. Частным лицам его не выдают, да и компаниям придется тяжело. Об этом — в отдельном разделе.

Читать дальше →

+14

DEADStop Jan 15 2020 at 13:52

Как посчитать «похожесть» номеров в паспортах. И найти одинаковые даже с опечатками

5 min

10K

HFLabs corporate blogInformation Security*System Analysis and Design*Data Mining*Algorithms*

Продукты HFLabs ищут дублированных клиентов в базах федеральных компаний. Очевиднейший способ найти одинаковые клиентские карточки — сравнить паспорта или другие документы, удостоверяющие личность.

Раньше мы сравнивали номера документов строго: одинаковые — отлично, нет — извините. На ручной разбор из-за опечатки в номере уходили даже те карточки, у которых совпадали ФИО и адреса́ проживания. Такой подход излишне нагружал персонал заказчиков.

Поэтому мы с головой залезли в данные, изучили статистику и вывели критерии — когда разные номера действительно разные, а когда дело в опечатках. Рассказываю, как работает алгоритм.

Читать дальше →

+14

DEADStop Dec 5 2019 at 17:00

Как проверить паспорт на действительность

6 min

201K

HFLabs corporate blogInformation Security*Website development*Algorithms*CRM systems*

Реквизиты паспорта — не просто набор цифр, в них закодирован вагон информации. Если правильно расшифровывать и сопоставлять реквизиты, подозрительные документы мгновенно всплывут на поверхность. Продукты HFLabs уже 14 лет проверяют клиентские данные в банках, страховых, телекомах и другом крупном бизнесе. Расскажу, как мы распознаем ошибки в российских паспортах.

Читать дальше →

+130

DEADStop Sep 19 2019 at 15:29

Как наладить поиск адреса по координатам (и где взять нужный справочник)

10 min

39K

HFLabs corporate blogAPI*Geoinformation services*Open data*Development for e-commerce*

Весной мы добавили в API DaData.ru фичу «Обратное геокодирование», она же «Адрес по координатам». Название намекает: метод принимает геокоординаты и отдает данные об адресе.

Солидный продукт с той же функциональностью предлагает «Яндекс» — он называется «Геокодер». Но сервис «Яндекса» бесплатен только для открытых некоммерческих проектов. Стандартный же тариф — от 120 000 ₽ в год — подходит не всем.

Мы подумали — если сделать бесплатную или недорогую альтернативу «Геокодеру», разработчики наверняка скажут спасибо. И сделали. В статье расскажу, как устроен «Адрес по координатам»: как мы наладили поиск, собрали справочник и упаковали в готовый метод.

Читать дальше →

+31

DEADStop Apr 18 2019 at 14:02

Собрали всем «Хабром» справочник «Кем выдан…» для паспортов. Качайте на здоровье

5 min

52K

HFLabs corporate blogWebsite development*Client optimization*Open data*Crowdsourcing

С пару месяцев назад мы поэкспериментировали: получится ли на «Хабре» собрать годный справочник подразделений, выдавших российские паспорта. Дело полезное: эти данные нужны много кому, канонического источника нет, а существующие — очень так себе.

И знаете, все получилось. Пригодный к использованию справочник готов, можно качать и пользоваться. А еще мы сделали подсказки, которые ускоряют ввод подразделений в электронные формы.

Читать дальше →

+55

DEADStop Feb 28 2019 at 14:04

Эксперимент: собираем справочник подразделений, выдавших паспорт

2 min

23K

HFLabs corporate blogWebsite development*Open data*Development for e-commerce*Crowdsourcing

Самое утомительное поле при вводе паспорта — «Кем выдан». Вбивать в форму какое-нибудь «Отделом внутренних дел Медведевского района республики Марий Эл» муторно. Люди злятся, сокращают название как придется, ошибаются.

Было бы здо́рово подсказывать варианты по коду подразделения.

Читать дальше →

+42

DEADStop Dec 28 2018 at 14:17

Данные бывают смешными (и вот примеры)

4 min

23K

HFLabs corporate blogOpen data*Reading room

Мы в HFLabs перелопачиваем колоссальное количество данных: адреса, ФИО, реквизиты компаний, документы. Весь год писали о сложных и полезных штуках, но пора и честь знать. Перед праздниками — подборка смешных данных, что нам принес 2018-й.

Читать дальше →

+49

DEADStop Dec 13 2018 at 15:00

Редактируем CSV-файлы, чтобы не сломать данные

5 min

237K

HFLabs corporate blogInformation Security*IT Standards*Data storage*Software

Продукты HFLabs в промышленных объемах обрабатывают данные: адреса, ФИО, реквизиты компаний и еще вагон всего. Естественно, тестировщики ежедневно с этими данными имеют дело: обновляют тест-кейсы, изучают результаты очистки. Часто заказчики дают «живую» базу, чтобы тестировщик настроил сервис под нее.

Первое, чему мы учим новых QA — сохранять данные в первозданном виде. Все по заветам: «Не навреди». В статье я расскажу, как аккуратно работать с CSV-файлами в Excel и Open Office. Советы помогут ничего не испортить, сохранить информацию после редактирования и в целом чувствовать себя увереннее.

Материал базовый, профессионалы совершенно точно заскучают.

Читать дальше →

+29

DEADStop Jul 31 2018 at 15:06

Подсказки «Дадаты» помогают заполнить любые формы ввода. Теперь заживем

4 min

6.5K

HFLabs corporate blogWebsite development*Interfaces*Usability*Development for e-commerce*

«Подсказки» помогают быстро и без ошибок заполнить поля ввода на сайтах и в CRM.

Данные для подсказок мы берем из разных справочников, раньше их было всего пять: ФИО, емейлы, почтовые адреса, реквизиты компаний и банков. С самого первого релиза нас просили добавить в «Подсказки» то один справочник, то другой. Мы бы и рады были, да не могли. Зато теперь можем!

С июля «Подсказки» понимают любые датасеты в формате CSV: марки автомобилей, валюты, торговые точки, хоть имена близких.

Теперь пользователи быстро и без ошибок вводят что угодно.

Читать дальше →

+22

DEADStop Jul 17 2018 at 14:05

Как интернет-магазины теряют деньги из-за адреса в форме заказа

3 min

44K

HFLabs corporate blogWeb design*Website development*Interfaces*Usability*

Давненько мы не разбирали формы заказа. В этом выпуске — две ошибки, из-за которых интернет-магазины и службы доставки постоянно теряют деньги. А клиенты при этом вообще раскаляются.

Читать дальше →

+50

DEADStop Jun 22 2018 at 14:03

Боремся с ошибками и «костылями» в ЕГРЮЛ — госреестре юридических лиц

6 min

10K

HFLabs corporate blogSystem Analysis and Design*Open data*Development for e-commerce*

На прошлой неделе мы выпустили статью про устройство ЕГРЮЛ — госреестра с данными 10 миллионов компаний. Тот материал рассказывает о базовых вещах, поэтому начать лучше с него.

Здесь же мы раскроем богатую и благодатную тему — проблемы ЕГРЮЛа, которые не дают нашим разработчикам заскучать.

Продолжаем разговор

+21

DEADStop Jun 15 2018 at 16:27

Как устроен ЕГРЮЛ — единый госреестр юридических лиц

5 min

29K

HFLabs corporate blogSystem Analysis and Design*Open data*Development for e-commerce*

ЕГРЮЛ — это государственный реестр юридических лиц, в котором хранятся данные 10 миллионов российских компаний. Управляет справочником ФНС.

Из ЕГРЮЛ мы берем данные организаций для «Подсказок», «Единого клиента» и «Фактора». В статье расскажем, как мы жили до справочника, как получаем к нему доступ и как с ним работаем.

Читать дальше →

+31

DEADStop Feb 27 2018 at 14:14

Как устроены адресные подсказки «Дадаты»

6 min

16K

HFLabs corporate blogHigh performance*Website development*Search engines*System Analysis and Design*

«Дадата» с 2014 года пилит «Подсказки». Они помогают быстро и без ошибок вводить контактные данные: адреса, реквизиты банков и компаний, емейлы — вот это все.

Штука устроена затейливо, и мы решили о ней рассказать. Возьмем подсказки по адресам, потому что они самые сложные.

Справочники и индексация

«Подсказки» знают, что подсказывать, потому что у них есть гигантские справочники. Хоть статья эта о подсказках по адресам, для пользы дела перечислю и другие справочники «Дадаты».

Читать дальше →

+37

DEADStop Jan 31 2018 at 15:55

Пошел ты на три веселых слова! Новое геокодирование и what3words.com

4 min

22K

HFLabs corporate blogGlobal Positioning Systems*Maps API*Geoinformation services*

В 2013 году два айтишника и музыкант собрались и подумали: давайте разобьем всю Землю на квадраты, а потом пометим каждый квадрат тремя словами. И разбили. И пометили.

Получился бесплатный сервис what3words.com, который замахнулся на революцию в геокодировании. Ребята уверяют, что почтовые адреса и координаты не годятся для повседневной жизни. Пора от них отказываться там, где возможно.

Почтовый адрес	GPS-координаты	Адрес What3words
Россия, Москва, Турчанинов переулок, д 6 стр 2	55.737208, 37.597091	Именины.птичий.туннель

Казалось бы, таких революционеров пруд пруди, но у what3words.com есть важное отличие: сервис взлетел. Им пользуются автопроизводители вроде Land Rover, правительства африканских стран и даже ООН.

Читать дальше →

+37

DEADStop Dec 20 2017 at 12:27

Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР

8 min

16K

HFLabs corporate blogSystem Analysis and Design*Geoinformation services*Open data*Reverse engineering*

С 1 января ФНС перестанет обновлять адресный справочник КЛАДР. Он официально устареет, останется один ФИАС. Но многие промышленные системы до сих пор работают с КЛАДР. Поставщики не собираются их обновлять, а переделывать своими руками бизнесу выходит долго и дорого.

Мы послушали клиентов и придумали решение: взять ФИАС, который живее всех живых, и написать перекодировщик в КЛАДР.

Со стороны задача кажется легкой. Нам так и говорили: «То есть вы просто берете ФИАС и переделываете в КЛАДР?». На деле никакого «просто» нет. У справочников совсем разные структуры и непонятно, как из подкачанного ФИАС раскидать данные в неказистый КЛАДР. При этом общей документации для справочников нет.

Это было веселье, которым мы сейчас щедро поделимся.

Читать дальше →

+37

DEADStop Nov 28 2017 at 16:30

Как «Дадата» ищет дубли в списках торговых точек. Разбираем алгоритм

4 min

6.3K

HFLabs corporate blogSearch engines*Algorithms*

Наши клиенты хранят списки из тысяч компаний, и обычно там первозданный хаос.

Возьмем список торговых точек, через которые сельхозпроизводитель продает товары по всей стране. Названия магазинов пишут как хотят, поэтому типичный список выглядит так:

Евразия.
«САКУРА» Японская кухня.
Доминант.
Магазин-бутик «Евразия».
Милениум, ООО, продуктовый магазин.
Киви/ООО/Челябинск.
Супермаркет эко-продуктов «Доминант».

Точки № 1 и № 4 — дубли, № 3 и № 7 — тоже, но поди разберись.

А разобраться надо: когда в списке из 1000 торговых точек 300 дублей, у производителя начинаются проблемы.

Что за проблемы и как мы их решаем

+20

DEADStop Aug 21 2017 at 12:27

Что можно узнать о квартире из открытых справочников

6 min

59K

HFLabs corporate blogOpen data*Development for e-commerce*

Госструктуры выкладывают в интернет справочники с десятками гигабайтов информации. Если знать где искать, можно легально собрать данные о квартирах в промышленных масштабах.

Базы с индексами и районами городов тоже открыты. Бонусом я расскажу, как найти эти части адреса, если их не хватает.

Все справочники из этой статьи бесплатны и открыто лежат в интернете. Ни один не украли из ФСБ таинственные хакеры.

Шагнуть в мир открытых справочников

+60