Комментарии 42
Ав таблицы?еслихотите сразу вжжжжух и данные
Например в простенький csv. Онлайн конверторы, что-то пасуют.
Зачем онлайн? Пишем простенький скрипт с перебором джейсона /хмл и выводом через принт с использованием форматирования. Перенаправляем stdout в файлик и вуаля, даже записывать файлики программно не пришлось. Хотя я обычно халтурю и копипасчу прямо из консоли pycharm
P.S. Проект сделан на скорую руку, вся логика на JS
- Видим, что в окне DevTools слева появились два запроса под названием getMainMapData
На картинках другой метод
- В начале статьи говорится, что данные в xml, а далее уже под json рассказ.
Т.к. статья подробная, и ориентированая на людей, в том числе не очень разбирающихся в вопросе, лучше поправить, чтобы не было путаницы.
Отличная статья!
А есть подобные парсеры телефонных справочников?
Самый последний ответ, официально полученный нами от Минфина пару недель назад, гласит о том, что «каждый человек или организация могут получить информацию об одной организации (в виде выписки pdf), а если вы хотите использовать эти данные в инф. системах, то Минфин России считает взимание платы обоснованным» (передаю простым языком и своими словами, но смысл такой). Мы, кстати, все еще продолжаем пытаться получить эти данные, а начали примерно в середине 2015 года :)
а когда нет веры исходным данным, то какая разница, что там напарсено?
К сожалению, проходит месяц, прежде чем ДТП в попадает в статистику (по крайней мере, в нашем регионе)… Кстати, стало вдруг интересно, в каком регионе этот промежуток времени минимальный и сколько дней/недель составляет.
PS:
При запуске скрипта вылезла ошибка об отсутствии модуля requests.
Питон свежескачанный и свежеустановленный.
Помогло следующее:
python\scripts\easy_install.exe requests
ГИБДД правда публикует ДТП с временнЫм лагом в 1 месяц и вроде бы всю статистику сразу (поэтому наличие данных за апрель меня сильно удивило — думала, ошибка в коде, когда результат не сошелся на 5 карточек ДТП)
Видимо это связано с тем, что часть аварий теперь не регистрируется в ГИБДД, а сразу идут в страховые компании. У меня есть как минимум одно ДТП, которое было оформлено без участия ГИБДД. Страховая само собой КБМ повысила, т.е. в базах страховых оно есть. Повреждения машины были существенные, т.е. не просто бампером притерлись.
Отчасти по этой причине сейчас будет плавно уменьшаться статистика ДТП.
Если общественности интересна эта тема тоже, то, может быть, возможно коллективно решить проблему с парсингом?
Если интересны именно эти темы и есть возможность и желание самому сначала потратить время на приведение данных в удобочитаемый вид, то стоит начать с официальных источников.
Статистику по пожарам и ЧС можно найти на сайте МЧС. Там есть данные с 2003 по 2017 годы, но, правда, в очень дружелюбном .doc формате.
Статистику по преступлениям можно поискать у Ген Прокуратуры или МВД. Вот, к примеру, ссылка на данные по количеству зарегистрированных преступлений на Портале правовой статистики и их даже сразу можно скачать в xml формате (технологии!)
любые данные на один километр нужно рассчитывать самостоятельно, а вообще по России полно самой разной статистики: www.gks.ru/free_doc/new_site/bd_munst/munst.htm (выбрать любой регион).
просто в интерфейсе выбираю даты, свой муниципалетет, получить данные в xml
крутится спиннер, но
stat.gibdd.ru/map/getDTPCardDataXML
Request Method: POST
Status Code: 504 Gateway Time-out
Как заставить государство открываться, ч.1: Качаем статистику ДТП своими руками