Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Открытые данные как основа основ

Открытые данные
Я занимаюсь таким явлением в России как открытые данные и веду проект OpenGovData.ru (http://www.opengovdata.ru/). Это некоммерческий проект в виде каталога ссылок на опубликованные в Интернете массивы государственных данных, а также инициатива по переводу этих данных в машиночитаемую форму.

Что такое открытые данные?

Открытые данные — это способ представления общедоступной информации в машиночитаемой форме. В виде в котором разработчики могут загрузить их в базы данных, проанализировать и представить в куда более наглядной и понятной форме чем то как это делается в государственных системах.

Зачем это нужно?
Открытые данные — это то что является основной для большого числа коммерческий проектов, а также проектов нацеленных на общественное благо.
К примеру, без данных о преступности в машиночитаемой форме невозможно нанести их на карту и показать наглядно так как это делают в проекте Crime Mapping — http://www.crimemapping.com/.

Без данных о государственном бюджете которые можно обработать, невозможно их показать наглядно так как это делается в проекте Where Does My Money Go?.

Есть и много других примеров того как открытые данные являются основой-основ. Они помогают разработчикам создавать то что государственные органы по неумению или невозможности создать не могут.

Открытые API
Проект OpenGovData.ru активно развивается и в последних инициативах у него появилось API позволяющее использовать некоторые массивы данных на практике.

В частности появилось API для доступа к данным центрального банка России — подробнее об этом можно прочитать у меня в блоге http://ivbeg.livejournal.com/371247.html, а также API для получения информации об административно-территориальном делении России http://ivbeg.livejournal.com/370987.html.

Эти API можно свободно использовать для любых некоммерческих и коммерческих целей.

Также это не последнее API, а будут и другие. В частности хочется сделать то же что делали ребята из Sunlight Labs и OpenCongress — собрать данные о наших законодателях и подать их в удобной для работы форме.
Читать дальше →
Всего голосов 27: ↑25 и ↓2 +23
Просмотры1.5K
Комментарии 3

Информационное общество и повторное использование информации

Открытые данные
В том что российское государство декларирует и делает в инициативах по электронному правительству, электронному государству и информационному обществу есть одна большая тема которая и по сей день тщательно избегается.

Эта тема называется «открытые государственные данные» (open government data), которая в Евросоюзе также может называться как public sector information.
Именно развитие этой темы позволяет не просто создать государственные услуги и иные информационные сервисы, но и вовлекать граждан в контроль за государственными органами.

Что такое открытые данные?
Открытые данные — это способ представления общедоступной информации в машиночитаемой форме. В виде в котором разработчики могут загрузить их в базы данных, проанализировать и представить в куда более наглядной и понятной форме чем то как это делается в государственных системах.

Открытые данные ценны не сами по себе, а благодаря тому что они используются гражданами. Это называется «повторное использование информации».

Говоря иначе — информация раскрываемая государством становится ценной не тогда когда она публикуется, а тогда когда она используется повторно и именно это сейчас активно поощряется государственными структурами в Евросоюзе, США и многих других государствахх ОЭСР.

Так, в Европейском союзе открытые данные уже являются частью их программы по построению информационного общества и подробности, отчеты и материалы они публикуют на специальном разделе сайта посвященного этой программе http://ec.europa.eu/information_society/policy/psi/index_en.htm

В США действует несколько десятков проектов созданных как органами власти так и некоммерческими организациями и все они нацелены именно на открытые данные.

Самый известный их проект — это Data.gov. Это огромный по маштабам «склад данных» которые можно использовать в коммерческих и некоммерческих целях.
Читать дальше →
Всего голосов 44: ↑42 и ↓2 +40
Просмотры1.3K
Комментарии 15

Международные открытые данные и конкурс Всемирного Банка

Открытые данные
Ранее я уже писал о том что открытые данные важны и полезны для общества и то что по всему миру они используются.

Однако, упоминая открытые данные раскрываемые государством, нельзя не упомянуть ещё одно важное явление — это раскрытие данных международными организациями такими как ООН и Всемирный банк, а также то зачем они раскрываются.

Я подробнее остановлюсь на раскрытии информации именно Всемирным банком.

Возможно, кто-то из Вас знает — Всемирный банк уже много лет собирает по каждой стране большие объемы информации, в основном, статистической о структуре их экономики, значения и показатели необходимые для оценки уровня экономического развития, данные используемые в рейтингах простоты открытия своего дела и многое другое.

Кроме того, это одна из крупнейших мировых международных финансовых организаций которая осуществляет финансирование десятков и сотен проектов по всему миру.

Читать дальше →
Всего голосов 18: ↑15 и ↓3 +12
Просмотры1.6K
Комментарии 10

Открытые данные по государственным услугам РФ

Законодательство в IT
Уверен что многие из Вас, а может быть и все уже сталкивались с сайтом госуслуг.
То что я наблюдаю, так или иначе, хорош он или плох, а интерес к нему есть.
Однако, чтобы этот интерес реализовать на полную лично я считаю что необходимы открытые данные.

И такие открытые данные есть. Пусть и предоставляемые не Минсвязи, а извлеченные с сайта госуслуг специальным парсером, но они существуют.

Например, эти данные позволили мне месяц назад получить некоторые интересные цифры по анализу организаций на этом сайте и их контактов.
Читать дальше →
Всего голосов 69: ↑64 и ↓5 +59
Просмотры1.2K
Комментарии 24

Карты и открытые данные по международной финансовой помощи

Законодательство в IT
Совсем недавно я упоминал про существование открытых данных Всемирного банка однако данные — это только основа. Основа позволяющая понять результативность тех или иных государственных и международных проектов.

Эти данные позволяют их визуализировать и представлять в понятной форме. В частности, у всемирного банка и ряда международных некоммерческих организаций есть такая инициатива как «картирование результатов» — это когда профинансированные проекты наносятся на очень подробные административные карты стран.

И, пример, из ближайшего прошлого — картирование результатов помощи при продовольственном кризисе в Бангладеш.

Этот пример можно посмотреть на сайте Всемирного банка http://maps.worldbank.org/sa/bangladesh, а также прочитать о нем в блоге проекта AidData
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры604
Комментарии 3

Открытые данные в России. Готовим приоритеты для госорганов. Опрос

Открытые данные
Многие из Вас знают что в России, власть активно занялась открытыми данными и, кроме уже опубликованных массивов, вроде открытых баз с сайтов zakupki.gov.ru, bus.gov.ru и системы ФИАС (fias.nalog.ru) и сейчас активно идет работа над тем чтобы открытых данных стало бы на порядок больше.

Для тех кто все же не слышал об этом явлении, небольшой экскурс.

Что такое открытые данные?
Открытые данные — это машиночитаемые данные доступные для широкого круга лиц (общественности), пригодные к повторному автоматическому использованию и не имеющие лицензионных, технологических, правовых и иных ограничений на их использование.

В большинстве развитых странах мира открытые данные и, в частности, открытые государственные данные — это часть государственной политики национальных правительств. Правительства публикуют данные онлайн на специальных порталах, например, это такие порталы как data.gov.uk в Великобритании или data.gov.au Австралии и data.govt.nz в Новой Зеландии. Такие порталы есть более чем в 60 странах и общее их число более 150.

Наличие данных позволяет:

— общественным организациям — осуществлять контроль за деятельностью органов власти

— бизнесу — создавать новые и развивать существующие информационные продукты

— программистам — иметь возможность («топливо для идей») в создании новых программ

— гражданам — иметь возможность использовать созданные программы для повышения личного комфорта

— государственным и муниципальным органам власти — привлекать граждан и бизнес к созданию новых продуктов позволяющих экономить государственные средства

Фактически, Открытые данные — это возможность для разработчиков менять и улучшать государство, рассматривать его как платформу для создания собственных сервисов.

Читать дальше →
Всего голосов 29: ↑26 и ↓3 +23
Просмотры9.8K
Комментарии 21

Открытые данные, Росстат, Прокуратура и все-все-все

Открытые данные
Вчера вечером, 11 апреля, завершилось заседание совета по открытым данным.

Оно шло весьма насыщенно и активно. Я о многом подробно рассказал вот тут, но, конечно, там не все.

У меня из-за долгого накопленного опыта бодания с различными ведомствами накопилось немало неконструктивного в адрес ряда из них, но неконструктивное делу открытых данных не помогает.

Так что не только ругаем, но и в чем-то хвалим, а если ругаем то с предложениями как и что исправить.

Вначале о самом главном:

1. Открытые данные стали состоявшимся трендом.

Что бы дальше не происходило — ими будут заниматься, их будут раскрывать, регионы будут поднимать их на флагшток, а федеральные ведомства бодаться за возможности, полномочия и то кто и что лучше понимает по этой теме. Это очень важно — когда в какой-то теме появляется конкуренция — значит она живая.
Читать дальше →
Всего голосов 37: ↑32 и ↓5 +27
Просмотры15.5K
Комментарии 25

Принят закон об открытых данных

Открытые данные
Вчера Владимир Путин подписал его о чем можно узнать на сайте Кремля тут президент.рф/документы/18302

Главным плюсом принятого закона является то что теперь публикация данных в формате открытых данных является обязательной.

Главным минусом — терминологическая слабость и то что определение открытых данных в законе расходится общепринятым.

У закона была непростая судьба которую можно проследить здесь http://asozd2.duma.gov.ru/main.nsf/(Spravka)?OpenAgent&RN=181992-6

Причем изменения в терминологии появились между первым и вторым чтением закона.

Вот определение из начальной редакции:

размещение государственными органами информации о своей деятельности в сети «Интернет» в форме открытых данных — форма размещения государственными органами информации о своей деятельности в сети «Интернет», при которой указанная информация размещается в сети «Интернет» в виде массивов данных, организованных в формате, обеспечивающем их автоматическую обработку в целях повторного использования без предварительного изменения человеком (машиночитаемый формат), и на условиях ее свободного (бесплатного) использования.»;


И что получилось в итоге:

4. Информация, размещаемая ее обладателями в сети «Интернет» в формате, допускающем автоматизированную обработку без предварительных изменений человеком в целях повторного ее использования, является общедоступной информацией, размещаемой в форме открытых данных.»;

Читать дальше →
Всего голосов 55: ↑50 и ↓5 +45
Просмотры27.6K
Комментарии 59

РИА Новости запустило портал открытых данных

Открытые данные
РИА Новости запустило бета-версию портала открытых данных, которые содержатся в информационных системах агентства.

image

Открытые данные были выложены на портал opendata.ria.ru. Они структурированы, машиночитаемы и связаны с другими открытыми базами данных. На настоящий момент на портале представлена информация о крупных компаниях, международных организациях, главах государств и бизнесменах, политических партиях, спортивных командах, самых обсуждаемых событиях и продуктах на рынке.
Читать дальше →
Всего голосов 24: ↑24 и ↓0 +24
Просмотры9.2K
Комментарии 11

В Minecraft впихнули целую Великобританию

Глобальные системы позиционированияMaps API


Оказывается, в Государственной картографической службе Великобритании (Ordnance Survey) тоже есть фанаты игры Minecraft. Для демонстрации того, что можно сделать с открытыми картографическими данными они осуществили грандиозный эксперимент — и импортировали в игровой мир всю территорию страны.
Читать дальше →
Всего голосов 70: ↑61 и ↓9 +52
Просмотры62.1K
Комментарии 60

Карта российской науки: резонансный или резонёрский проект?

Блог компании КиберЛенинкаОткрытые данные


21 мая 2012 года Министром образования и науки Российской Федерации назначается Дмитрий Ливанов. В своем первом публичном выступлении он озвучивает намерение Министерства образования и науки (МОН РФ) провести всесторонний аудит сектора исследований и разработок, включая институты РАН, государственные научные организации и высшие учебные заведения. Это заявление можно назвать зарождением «Карты российской науки».

К сожалению, за событиями вокруг реформы РАН этот проект как-то потерялся и не получил, на наш взгляд, должного внимания со стороны IT-сообщества. Мы предлагаем вам небольшую ретроспективу: путь проекта от концепции до реализации.
Отправляемся в путь...
Всего голосов 34: ↑31 и ↓3 +28
Просмотры19K
Комментарии 22

День открытых данных 22 февраля в Москве

Блог компании «Информационная культура»Открытые данныеВизуализация данных


22 февраля во всём мире пройдет Open Data Day посвященный открытым данным и организованный Open Knowledge Foundation при поддержке многих межгосударственных и международных организаций таких как ООН и Всемирный банк.

Подробнее о том как он будет проходить можно прочитать на сайте http://opendataday.org/

Open Data Day — это совершенно некоммерческая нефинансируемая никем движуха, эдакий такой большой митап для пользы дела.

Вы можете помочь нам следующим образом:
  • накидав идеи для разработчиков
  • пригласив разработчиков что-нибудь славное на открытых данных поделать;
  • предложить какие-нибудь свои данные интересные на которых можно вытворять что-то интересное;
  • предложить выступление по тому что вы делаете по открытым данным;
  • предложить какие-нибудь прикольные неденежные призы;


Формат будет простой:
Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Просмотры2K
Комментарии 0

Импортируем открытые гео данные из OpenGeoDB в Elasticsearch

NoSQL
Перевод
Tutorial
Задумывались ли вы когда-нибудь, найдя аккуратную публичную базу данных, как хорошо было бы включить её в своё приложение, чтобы оптимизировать какую-нибудь функциональность, пусть даже незначительно? Конечно же да! Этот пост расскажет как, использовать Logstash для превращения внешнего набора данных в желаемый формат, проверить результат в Kibana и убедиться что данные правильно индексированы в Elasticsearch так, что могут быть использованы при больших нагрузках на живых серверах.

Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры8.6K
Комментарии 4

Извлечение данных из фотохостинга

C#Открытые данные
Из песочницы
Наткнулся однажды на этот пост и мне подумалось — раз у нас есть такая прекрасная, полностью открытая галерея частных данных (Radikal.ru), не попытаться ли извлечь из нее эти данные в удобном для обработки виде? То есть:

  • Скачать картинки;
  • Распознать текст на них;
  • Выделить из этого текста полезную информацию и классифицировать ее для дальнейшего анализа.


И в результате, после нескольких вечеров, работающий прототип был сделан. Много технических деталей:
Читать дальше →
Всего голосов 27: ↑23 и ↓4 +19
Просмотры16.6K
Комментарии 6

Собираем плохие данные — 2. 1.5 года спустя, про то как не надо публиковать открытые данные

Блог компании «Информационная культура»Data MiningОткрытые данные
Не секрет, что российские органы власти в последнее время декларируют высокую степень открытости, публикуют данные и некоторые из них даже бывают полезными, но так было не всегда и далеко не везде.

Полтора года назад я приводил массу примеров неверного толкования открытых данных. В заметке «Собираем плохие данные» есть несколько примеров, когда за машиночитаемые открытые данные выдавали разделы на сайтах или PDF документы.

При том, что мониторить открытость государственных данных в России дело неблагодарное, и что методрекомендации того же Минэкономразвития — это победа формы над содержанием, но даже в таком раскладе можно было сетовать лишь на то, что госорганам облегчили жизнь по публикации данных, а не усложнили.

Надо ли делать полноценное обследование властей на предмет качества открытости данных — вопрос открытый. Рано или поздно это потребуется сделать даже при том, что займёт много времени.
Но самыми выдающимися примерами можно ознакомится сейчас. Ну и конечно — рейтинги фуфло, антирейтинги рулят. Худших надо знать в лицо.
Читать дальше →
Всего голосов 13: ↑9 и ↓4 +5
Просмотры11.6K
Комментарии 22

О том, как устроены открытые данные в России

Блог компании «Информационная культура»Открытые данные
Не секрет, что в России за последние годы, с одной стороны, стало больше открытых данных, с другой — накопилось немало критики.

Так неслучайно получилось, что тематика открытых данных — это то, чем я занимаюсь давно и знаю о большей части инициатив в этой области не по наслышке, а по собственному опыту участия. Здесь я постараюсь обойтись без ссылок на свои проекты, чтобы не нарушать правил сайта, их легко будет найти по их названиям в любом случае. Но постараюсь дать все ссылки на официальные ресурсы.

Поэтому, вместо предисловия, я представлюсь.

Меня зовут Иван Бегтин, я вот уже несколько лет продвигаю идею открытых данных в России, возглавляю небольшую некоммерческую организацию (Инфокультура) от лица которой и вместе с сотоварищами мы организуем соревнования, пропагандируем открытость данных среди госорганов.

Кроме всего прочего я вхожу в Совет по открытым данным при Правительственной комиссии по координации Открытого Правительства и ряд общественных и экспертных советов при органах власти и в курсе многих успешных (и провальных) государственных инициатив в этой области.

Ну и поскольку я, в том числе, в комментариях на Хабре читаю много вопросов, заданных явно или неявно, то на самые частые я отвечу в этой заметке, а также на те, что будут в комментариях.


Читать дальше →
Всего голосов 23: ↑21 и ↓2 +19
Просмотры23.1K
Комментарии 26

«Открытые финансовые данные: возможности их использования»

Блог компании «Информационная культура»Открытые данные
Друзья, в качестве разнообразия анонс мероприятия, одного из тех, что мы регулярно проводим. Ранее мы ни разу не анонсировали его на Хабре, опасаясь оффлайнового хабраэффекта, но, может мы зря боялись?

Мы организуем семинар, на котором выступят представители Минфина России, Всемирного банка, специалисты по Linked Data и Ваш покорный слуга.

Также прошу всех в комментариях отметиться, с каким из ведомств вы бы хотели встретиться и пообщаться. В формате семинара ли, лекции или или встречи с разработчиками. А может быть в формате организованного ими или с их участием в хакатоне.

А я пообещаю попробовать договориться с ними, чтобы такую встречу организовать.

Теперь сам анонс.



Минфин России и НП «Инфокультура» приглашают на практический семинар «Открытые финансовые данные: возможности их использования», который состоится 30 января 2015 года в БЦ Ринко Плаза.
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры2.7K
Комментарии 4

День открытых данных 21 февраля пройдет по всему миру

Блог компании «Информационная культура»Открытые данныеВизуализация данных


По всему миру 21 февраля пройдет Open Data Day — opendataday.org
это огромный хакатон-марафон и событие для всех кто работает открытыми данными или хочет узнать о них больше.

Мы, Информационная культура и OKF Russia, планируем провести мероприятие по открытым данным в Москве в этот день.
В ближайшее время напишем о том как и в каком формате его проведем.

Если Вы планируете провести хакатон по открытым данным, то этот день очень подходит для такого события.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры2.8K
Комментарии 5

Национальный план Германии по реализации Хартии открытых данных G8

Блог компании «Информационная культура»Открытые данные


Буквально несколько дней назад Министр Внутренних дел Германии представил документ 'The Federal Government's National Action Plan to implement the G8 Open Data Charter' (Национальный план действий федерального правительства по реализации хартии открытых данных G8).

Эта хартия была принята на саммите G8 в Ирландии в июне 2013 года и основывается на следующих принципах:
  1. государственные данные публикуются как открытые по умолчанию, в то же время, с условием что приватность защищена;
  2. выпуск качественных, своевременных и хорошо описанных открытых данных
  3. выпуск столько данных в стольки форматах сколько только возможно чтобы сделать данные максимально удобными для повторного использования;
  4. предоставление экспертизы и прозрачности о сборе данных, стандартах и процессах публикации, через улучшение управления;
  5. консультации с пользователями и публикация данных в целях развития и стимулирования инноваций;


По этому плану действий Германское федеральное правительство берет на себя обязательства:
Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Просмотры3.6K
Комментарии 0

Анализ открытых данных в R, часть 1

RОткрытые данные
Из песочницы

Введение


На момент написания статьи большинство приложений на основе открытых данных (на официальных сайтах data.mos.ru/apps и data.gov.ru) представляют собой интерактивные справочники по инфраструктуре города или поселения с наглядной визуализацией и часто с опцией выбора оптимального маршрута. Цель этой и последующих публикаций состоит в том, чтобы привлечь внимание сообщества к обсуждению стратегий анализа открытых данных, в т.ч. направленных на прогнозирование, построение статистических моделей и извлечение информации, не представленной в явном виде. В качестве инструментария используется язык R и среда разработки RStudio.
Читать дальше →
Всего голосов 17: ↑12 и ↓5 +7
Просмотры12.9K
Комментарии 7
1