Как «Дадата» ищет дубли в списках торговых точек. Разбираем алгоритм

[dabar347]

>город из начала: «КРЫМСК, ООО *БЕРЕЗКА*» → «ООО *БЕРЕЗКА*»;
А не приведет это к ложным срабатываниям? В разных городах могут быть разные магазины с одинаковым названием (если мне память не изменяет это должно быть легально).

[nalgeon]

В связке с адресом — не приведёт. А торговые точки всегда именно в паре с адресами идут.

[dabar347]

А ну тогда отлично. А вообще интересное решение кейса.

[AndreyMtv]

Расскажите клиентам, что у магазинов ИНН/КПП существуют. Ах, да, тогда вы им не нужны будете…
Производитель не знает с кем заключает договора, не в курсе инн, кпп клиентов их юридических и физических адресов, только названия (написанные на клочке помятой газеты).
И тут появляется Герой на белом коне и всех спасает.

[Ugrum]

Расскажите клиентам, что у магазинов ИНН/КПП существуют

Да вы чо? Правда что ли? У всех магазинов?
Вы немного не в теме, похоже.
Магазин (условно)-«Эльдорадо», у него есть только адрес и телефоны, возможно сайт, а вот юрлицо, фактически ведущее коммерческую деятельность в это магазине, (условно)-ООО «Эльтрейд», вот у него уже есть ИНН/КПП, которые будут регулярно меняться (в наших экономических реалиях), со сменой юрлица.

[mapatka]

Зря вы так.
Дадата крутой сервис.
Я, правда, использую как частное лицо) Когда письма отправляю — пробиваю индекс.

[AndreyMtv]

Ну вот. Есть же реальные клиенты у них, с реальными потребностями. Почему бы не описать несколько реальных задач вместо высосанной из пальца легенды.

[rmpl]

Just in case — ИНН у сетки филиалов будет общий, удачи в попытке их различить :)

[AndreyMtv]

Нереальный юзеркейс абсолютно. Какой то сферический агропроизводитель доставляет товары по всей стране, при этом не знает кому именно он их доставляет. При этом зачем то завел в базу 30% дублей.

[Akuma]

Вот вы сметесь, а оно примерно так и есть.

Связывать магазин и ИНН, как вы указывали выше, не получится, т.к. магазин может часто менять юрлиц, а может быть разное юрлицо у разных магазинов в пределах города и т.п.

[JosefDzeranov]

iodzeranov.ru/olympiad_tasks_backend2 также имел возможность решать такую задачу, реализовывал подобным образом.

[ckpunT]

А если две соседние буквы поменяны местами? Так же отработает?
адрес из хвоста: «ООО „Нордеск М“ г.Апатиты Мурманская область» → «ООО „Нордекс М“»;
Очень похоже на алгоритм Дамерау-Левенштейна с доп проверками, так что по 1 копейке/запись разумная цена.

[nalgeon]

Конкретно данный случай нет, но вообще расстояние Левенштейна в алгоритме задействовано, да ツ

[devidark]

Чистим пунктуацию:

1. добавляем пробелы после запятых;
2. меняем зачеркивания на пробелы;
3. удаляем из названия все, кроме букв, цифр и пробелов.

Не принципиально, но первые 2 пункта явно лишние.