zapimir 27 июн 2012 в 07:33

Sypex Geo — быстрое определение города по IP

3 мин

117K

Веб-разработка*PHP*

+66

Комментарии 84

saltovski 27 июн 2012 в 08:05

Город по IP вычислен правильно (Николаев, Украина), но…

Timezone: Europe/Zaporozhye

Это как? Что-то я не слышал про Запорожский часовой пояс :)

NikitaG 27 июн 2012 в 08:08

вот так en.wikipedia.org/wiki/Europe/Zaporozhye

zapimir 27 июн 2012 в 08:15

Тем не менее, такой есть, к примеру вот в доках по PHP. Вполне возможно, что когда-то запорожское время не совпадало с киевским временем.
У самого был соблазн поубирать к примеру для Украины все, кроме киевского времени, но потом решил оставить так, как пишут в различных справочниках.

saltovski 27 июн 2012 в 08:19

Крымское время как-то не совпадало. А запорожское — никогда :)

zapimir 27 июн 2012 в 08:33

Ну это уже больше вопрос к создателям этих самых timezone :)

Dementor 27 июн 2012 в 12:02

Это вы просто Ubuntu не ставили в украинскую временную зону.
Нужно хорошо пощелкать мышкой в районе Украины, что бы Запорожье сменилось на Киев.

naum 27 июн 2012 в 08:16

Город по IP вычислен неправильно. Это, пожалуй, классика жанра, что Сургут (static ip, через Уралсвязьинформ) в 90% баз определяется как Ханты-Мансийск или как Курган, но ни в коем случае не Сургут :) Встречал базы, где это разделение четкое и особенности УСИ предусмотрены.

zapimir 27 июн 2012 в 08:38

Если можно IP скиньте в личку поправим.

naum 27 июн 2012 в 08:40

Скинул, но мой IP такой не один. Проблема намного глобальнее.

nazarpc 27 июн 2012 в 14:48

Не знаю, реально ли поправить, но Украинский провайдер 3G интернета Intertelecom выдает динамические IP адреса, и все они определяются как в Одессе, хотя физически я нахожусь в Киевской области. Это можно поправить? Любые сервисы определяют так.

DaleMartinWatson 27 июн 2012 в 18:13

Никак это нельзя поправить. Сегодня этот IP в одном городе, а завтра в другом. Пишется место где он зарегистрирован.

Wott 27 июн 2012 в 10:16

да там таких примеров полно — несколько провайдеров работают по всей Сибири. Я думаю что в европейской части тоже должны быть неверные блоки от федералов

alcanoid 27 июн 2012 в 23:31

Да, у меня проводной Билайн одно время частенько определялся как московский, хотя пользовался я им в Питере.

powder96 27 июн 2012 в 08:25

Пока переходил с 2.0.0 на новую версию, обнаружил, что константа SXGEO_FILE не определена, а в документации написано «Второй параметр — режим работы: SXGEO_FILE (работа с файлом базы, режим по умолчанию)». И метода getCountry($ip) не существует, хотя в док. он есть: "$country = $SxGeo->getCountry($ip); (возвращает двухзначный ISO-код страны)". Кстати, я не нашел в классе ни одной функции, определяющей только страну (get_cc() в пред. версии). Документация тут: sypexgeo.net/ru/docs/

zapimir 27 июн 2012 в 08:37

Спасибо за замечание, почему-то API не последней редакции залито было, сейчас обновил файл, там SXGEO_FILE вернулось, да и его можно пропускать.
Страну возвращают $SxGeo->getCountry($ip) или просто $SxGeo->get($ip)

MaksVasilev 27 июн 2012 в 08:31

Промахнулось, примерно на 2500 км. Туннелей нет, если что.

zapimir 27 июн 2012 в 08:38

Если можно IP скиньте в личку поправим.

MaksVasilev 27 июн 2012 в 08:43

Сейчас пытаюсь выяснить, похоже что всё таки меня здесь развернули через прозрачный прокси, так что возможно и погорячился.

marazmiki 27 июн 2012 в 08:44

Зашёл из Томска:

Город определился почти верно, к нему претензий нет: в конце концов, такие записи почти во всех базах RIPE. Но почему на карте Украина? :-)

conturov 27 июн 2012 в 12:59

Там тоже Северск есть, тут скорее всего вопрос как ищется место на карте и как определяются координаты.

marazmiki 27 июн 2012 в 13:05

Да, похоже, Вы правы. Тут явно речь идёт о Северске донецкой области, даже координаты совпадают.

Что, однако, не отменяет моего подозрения об ошибке в базе, а наоборот, усиливает.

zapimir 27 июн 2012 в 21:41

Проверим, бывают просто ошибки, код страны один, а в адресе город и страна другие.

powder96 27 июн 2012 в 09:19

Кстати, к городам из США неплохо было бы прилепить двухбуквенный код штата, в котором они находятся. Иначе город Cambridge, например, в штате Massachusetts ничем не будет отличаться от одноименного города в шт. Maryland или Vermont. Поля lon-lat могут помочь только на карте.

zapimir 27 июн 2012 в 21:42

Так штат должен в регионе показываться. Код есть, так же как и FIPS коды областей.

sergpenza 27 июн 2012 в 09:48

Сейчас в проектах использую MaxMind, платно, но зато базы постоянно обновляются и вообще, находятся в достаточно актуальном состоянии.
Как правило, все открытые проекты грешат низкой скоростью обновления и постоянными огрехами. В свое время именно поэтому в свое время отказался от ipgeobase.
Как будет обстоять с этим вопросом в SypexGeo?

PhantomTLT 27 июн 2012 в 10:31

Все подобные проекты обречены на огрехи. Причина очень проста — БД строится по информации из RIR (RIPE, ARIN и т.д.). Т.е. по сети определяется владелец, по владельцу определяется местоположение. У самого же объекта network нету поля «город». Вот и получается, что если провайдер предоставляет услуги в нескольких городах/регионах, то все его сети числятся за «домашним городом».

Как-то так в первом приближении. Возможно автор меня поправит.

mtt 27 июн 2012 в 10:52

А бывает такое что в «домашнем городе» провайдер вообще не предоставляет услуги?

PhantomTLT 27 июн 2012 в 11:35

Я думаю чисто принципиально такое возможно, но вряд ли часто встречается.

sergpenza 27 июн 2012 в 11:25

Вопрос не в огрехах (понятно, что без этого обойтись не получится), а в скорости их исправления.

PhantomTLT 27 июн 2012 в 11:34

Скорость исправления, в данном случае, зависит не только от доброй воли автора проект (исправления ручные), но и от доброй воли провайдеров (только они знают в каком городе какие их сети). Провайдерам, как вы сами понимаете, глубоко чихать на подобные сервисы.

zapimir 27 июн 2012 в 21:47

В планах как раз обновляться с частотой MaxMind, для начала просто нужно подчистим базу. Ну и учитывая открытость самого формата в него можно будет конвертировать самостоятельно.

А сколько кстати размер бинарной базы у платного GeoIP, и как она обновляется полностью файл качается или только разница?

sergpenza 27 июн 2012 в 22:06

Вообще, если аккумулировать в единое целое информацию из нескольких баз, может получится и интересный вариант.

Насчет размера не знаю, я пользуюсь запросами к базе через API

НЛО прилетело и опубликовало эту надпись здесь

vvzvlad 27 июн 2012 в 11:00

не всегда разрешено, а если разрешено, не всегда отдает. не всегда на том конце современный браузер, да и браузер то не всегда. Да и другого конца может и не быть — просто список адресов, и все

Wott 27 июн 2012 в 10:38

Собственно так и не увидел сравнение с правильно настроенным запросом в базу mysql. В комментах к первой статье несколько раз писали что и сравнение надо делать по одному полю и индекс правильно настроить. Могу лишь добавить что если пошаманить с буферами, то скорость будет в миллионы запросов в секунду

Есть суровое подозрение что самописный поиск при прочих равных не сможет реально дать большую скорость чем поиск по хешированному индексу, весь вопрос в том сколько ему дали памяти

SailorMax 27 июн 2012 в 11:58

Прежде чем подозревать, проведите тесты сами. Это не так сложно.
Или, в крайнем случае, разберитесь в алгоритмах. Благо они не такие большие.

Wott 27 июн 2012 в 13:30

Во-во, хеш дает O(1) а поиск O(logn(n)) в лучшем случае :)

zapimir 27 июн 2012 в 21:52

Я как раз собираюсь написать еще одну статью с подробным тестированием, в том числе разных вариантов MySQL запросов. Можете прислать свой вариант правильного запроса к MySQL, я его протестирую.

zein 27 июн 2012 в 10:39

Может это уже слишком, и я не знаю есть ли это в других базах, но был бы полезным столбец с основными языками, используемыми в стране.

zapimir 27 июн 2012 в 21:55

Это в принципе легко добавить. Сейчас собирается подробная инфа по городам (индексы, телефонные коды, численность населения) можно и языки добавить

MechanisM 27 июн 2012 в 10:44

Жаль IPv6 нет.

zapimir 27 июн 2012 в 22:12

Ну не всё сразу, постепенно будем расширяться :)

tesin 27 июн 2012 в 11:17

85.15.175.10 Координаты: 56.8333, 60.6
Город: Екатеринбург,
Регион: Свердловская область,

Из Тюмени зашел через университетский wi-fi (канал предоставлен Екб-м провайдером, правильно)

зы: (через свой инет все правильно определяет)

xrays72 27 июн 2012 в 11:52

Видимо wifi в ТюмГУ ;)
У меня ip 85.15.175.253, тоже показывает, что г.Екатеринбург, но я так же зашел из г.Тюмень.

MonkAlbino 27 июн 2012 в 11:17

Как уже сказал MechanisM выше, хотелось бы IPv6, чтобы было инновационнее, чем у других. Правда туннельные брокеры «сломают» правильность определения местоположения.
Если верить местным (омским) представителям провайдера Билайн, то пул IP-адресов для домашнего интернета един на всю страну, поэтому сидя в одном и том же городе, разрывая сессию можно добиться местоположения и Смоленск, и Волгоград.

mtt 27 июн 2012 в 11:37

Благодаря туннельным брокерам наконец то будет искоренена проблема ip дискриминации

rvsob 27 июн 2012 в 11:36

Город определил правильно — Пенза, но часовой пояс почему-то Самары.

rvsob 27 июн 2012 в 11:37

А рабочий IP — 79.133.89.XXX определил в Москве. На самом деле опять же Пенза.

vabue 27 июн 2012 в 12:56

Украинское ОГО! (Укртелеком) похоже определяет как Киев.

Например, 95.135.190.8 — Здолбунов, ровенская область.

trolostasik 27 июн 2012 в 13:47

И это не удивительно, определяет так же как и все другие подобные сервисы определения города.
Вряд ли это возможно исправить без договорённости с Укртелекомом
(чтобы знать в каком городе из какого диапазона выделяются ip).

mtt 27 июн 2012 в 14:16

Вы хотите чтобы провайдер просто так, по запросу неизвестной частной фирмы, раскрыл адрес своего клиента?

-2

zapimir 27 июн 2012 в 21:57

Ну с крупными провайдерами, точности добиться сложно, так как они зачастую тасуют IP как угодно.

Kolegg 27 июн 2012 в 13:51

2.92.139.74 ростов билайн провод
определяет как москва

xaker1 27 июн 2012 в 16:03

С Билайном проблематично, еще ни разу у меня верно ip не был определен. Подозреваю, что у них общий пул на всю Россию, что было подтверждено комментарием выше.

lehha 27 июн 2012 в 14:09

Данные по России более свежие и актуальные у ipgeobase, причем делается на базе RIPN и обновляется ежедневно.

Ajex 27 июн 2012 в 14:09

Огромное спасибо за проект (и вообще, пользуясь случаем, за все sypex*), очень пригодится.
Одна маленькая идея, родилась после прочтения комментариев к топику — вы бы добавили кнопочку «Город определен неверно, правильный город ...», тогда бы после публикации имели список диапазонов, по которым определение идет неверно.

zapimir 27 июн 2012 в 22:06

Спасибо, обязательно добавим кнопочку.
Кстати под брендом Sypex готовится еще 2 проекта :)

LostSenSS 27 июн 2012 в 15:45

Нахожусь в Смоленске, но сервис утверждает, что в Перми.

kibizoidus 27 июн 2012 в 16:27

Никто еще в комментариях не запостил картинку «Как вычислить по IP… for dummies»? Я удивлен.

-4

volinrok 27 июн 2012 в 20:20

Для американского IP показывает русское название штата и города. Мне кажется это неправильный подход.

powder96 27 июн 2012 в 20:45

Если Вы используете базу Sypex Geo City которая должна быть на русском языке, то вполне логично, что названия иностранных городов в ней будут на русском.

Если Вам нужны названия мест на английском, то используте базу GeoLite City.

volinrok 27 июн 2012 в 22:07

Я использовал демо страничку. Наверное будет логично иметь версии на двух разных языках.

zapimir 27 июн 2012 в 22:05

Это пока в бете идет уточнение базы, нужно чтобы просто параллельно собиралась обратная связь, от потенциальных пользователей. Все данные сейчас собираются на русском и английском, в дальнейшем будут версии Sypex Geo City на двух языках.

Sorbing 30 июл 2012 в 17:11

Простите, я так и не нашел на сайте кнопочку «Город определен не верно»

powder96 27 июн 2012 в 20:53

> Для системы статистики нашей Sypex CMS…
Нагуглил вот это: sypex.net/ru/cms/, но там нет никакого описания. Не собираетесь ли рассказать об этой системе на хабре или у себя на сайте?

irsick 27 июн 2012 в 21:52

Нахожусь в Нью-Йорке, провайдер Time Warner Cable. Определило с точностью до континента)

zapimir 27 июн 2012 в 22:01

Данные по штатам по сути, такие же как в Geo Lite City, сейчас работаем в первую очередь над СНГ и Европой.

motomac 28 июн 2012 в 07:51

Документацию бы чуточку подробнее.

zapimir 28 июн 2012 в 18:57

Документации по использованию и о самом формате?

motomac 29 июн 2012 в 05:23

Например, чтобы узнать имена ключей выходного массива, пришлось его сперва целиком выводить)

Bonch 28 июн 2012 в 09:07

Недавно зашел на яндекс-карты, так они не просто мой город определили, а даже дом на карте указали. Вот как так они делают?

motomac 28 июн 2012 в 09:10

IP сотовых операторов определяет часто неверно. Для Восточной Сибири у МТС (да и у других операторов наверняка тоже) часто показывает как Хабаровск.
Еще есть отдельная проблема с Opera mini.

diseaz 28 июн 2012 в 13:15

Попробовал 2 адреса. Один — Центральный телеграф в Красногорске, определился как Москва, в общем-то ладно, довольно близко. Второй — ТВТ в Набережных Челнах, определился как Казань. Да еще и time zone Europe/Samara. Судя по описанию, Europe/Samara только в Самарской области и Удмуртии, а Казань — Татарстан, там Europe/Moscow.

eugenex15 28 июн 2012 в 17:32

178.137.20.* пишет Украина \ Киев
я в Украина \ Донецкая обл \ Макеевка

aivanov 31 авг 2012 в 02:33

2.92.91.xx — пишет, что Брянск, хотя на самом деле я из Саратова.
Но пользуюсь домашним интернетом от билайн, их IP очень редко правильно распознаются.