SviMik — скромный фрилансер из Эстонии, пожелавший сохранить свое инкогнито. Он пишет код для ПК и микроконтроллеров. Однако в OSM он — признанный король массовых импортов. Именно об этом мы с ним и поговорили: почему сообщество боится импортов, как лучше всего его провести и чего не стоит делать ни в коем случае — обо всем этом он рассказал в интервью.
— Как вы узнали про OpenStreetMap? Чем он вас «зацепил»? Почему вы начали картографировать?
— Уже не помню, как я узнал про OSM. Зарегистрировался в 2007 году, но активно картографировать начал в конце 2012, а в 2013 решил организовать массовый импорт из эстонского кадастра. К этому меня подтолкнуло мобильное приложение OSMAnd. Когда я его установил, то увидел, что карта Эстонии недостаточно точная. И я начал править карту для самого себя, чтобы я мог находить любые адреса в навигаторе и приезжать туда, куда мне надо.
В какой-то момент я понял, что если буду в ручном режиме рисовать домики и проставлять им адреса, то никогда не завершу этот процесс. Тогда, как и положено программисту, я стал искать способы, каким образом это можно ускорить и автоматизировать. В решении задачи мне помог наш эстонский кадастр, который к тому времени не только выложил свою информацию в виде открытых данных, но даже дал письменное разрешение на использование в OSM. Организовать импорт в таких благоприятных условиях — дело техники, что я и сделал.
— Почему выбор пал именно на OSMAnd?
— Это сейчас много навигационных приложений и всюду есть мобильный интернет. Тогда все было несколько иначе. Во-первых, OSMAnd привлек тем, что он работал оффлайн. Во-вторых, возможностью поправить карту, если что-то было не так.
— Расскажите о сообществе OSM в Эстонии?
— Можно сказать, что сообщества нет. Регулярно активны всего несколько человек в стране. Несмотря на то, что у нас открыт кадастр, люди не особо торопятся вносить эти данные в OSM. Последний раз наше сообщество собиралось в 2013 году, когда в Тарту проходила конференция State of the Map Baltics. Но справедливости ради стоит отметить, что иностранцев на ней было больше, чем местных. Думаю, что это связано с тем, что у нас не такое большое сообщества и мы не настолько интересны друг другу, чтобы куда-то ехать и с кем-то встречаться.
— Почему власти Эстонии так смело делятся данными?
— Не знаю. Спросите у них сами :)
— Насколько власти Эстонии понимают потенциал OSM? Используют ли его сами?
— Сложно сказать за всю страну, так как я этот вопрос специально не изучал. Но видел, что, например, в Таллине городская карта общественного транспорта сделана на базе OSM. Они даже верно указали атрибуцию.
— С помощью чего ориентируются жители Эстонии?
— Думаю, что 99% пользуются сервисами Google. Это уже некий стандарт и никому не приходит в голову пользоваться чем-то другим. Мобильный интернет есть всюду, а потому мало кому нужны оффлайн-карты. По-крайней мере, в самой Эстонии. Исключением могут быть поездки за границу, где есть риск остаться без связи — в таких случаях приложения, использующие данные OSM, действительно приходят на помощь и стоят на первом месте.
— Каким вам со стороны видится российское сообщество OSM?
— У вас есть люди, которые руками рисуют карту. В Эстонии 70% данных в OSM — импорты. У вас все живое. У нас — планета Шелезяка, населенная роботами, на которой нет жизни. Почему? Потому что нет сообщества. Круто, что у вас есть сообщество, которое что-то делает, которое реально картографирует. Цените это.
Но вам не повезло с вашим кадастром. Не отчаивайтесь, когда-нибудь и он откроет свои данные. Тем более, слышал, что в некоторых российских городах администрации открывают свои ГИС-порталы для OSM. Это тоже хорошо. Но поймите, что создать и сплотить живое сообщество сложнее, чем открыть данные. Если нет открытых данных, то вы можете их взять с улицы — у вас есть для этого люди. У нас же, если бы не было открытых данных, то мы бы никогда не отрисовали руками и десятой части того, что есть.
— Почему мапить руками — это важно?
— Любой набор данных, даже эстонский кадастр, ограничен самим собой. Да, я могу импортировать контуры домов и их адреса, но кто нарисует газоны, деревья и дороги вокруг них? Кто проставит POI, в конце-концов? Дороги я, кстати, могу взять из кадастра, но все мы в OSM помним печально известный импорт дорог в США — TIGER. К тому же, импорт дорог — это уже технически очень сложно. Скрипт должен каким-то образом уметь соединять новые дороги с уже имеющимися. Я пока не знаю, как это возможно реализовать. Потому не всё можно импортировать, даже если очень хочется. Что-то можно нарисовать только руками, но для этого нужны люди, а чтобы они были — нужно сообщество.
— Каков алгоритм организации импорта в OSM?
— Он детально изложен в статье Imports/Guidelines в WikiOSM. Но если коротко, то он выглядит следующим образом.
Во-первых, нужно получить разрешение от правообладателя данных на загрузку их в OSM. У большинства проблемы возникают уже на этом этапе — отсутствует разрешение. Многие считают, что если они увидели что-то в сети, то могут это взять и распоряжаться по своему усмотрению. Нет, так нельзя делать. И нельзя такие данные загружать в OSM. Нужно персональное разрешение. Во-вторых, необходимо согласовать массовый импорт с сообществом OSM и получить от него одобрение. Если эти два пункта успешно выполнены, то создаёшь на WikiOSM страницу импорта, на которой собираешь всю необходимую информацию. И только после этого начинаешь импорт.
Когда я начинал свой импорт из эстонского кадастра в 2013 году, прошел все эти этапы. Вот, например, вики-страница моего импорта. По опыту скажу, что написать скрипт проще, чем получить согласие сообщества, так как всегда найдется кто-то, кто будет против.
— В целом, импорт в OSM — это скорее хорошо или плохо?
— Как принято в OSM, на этот счет есть два противоположных мнения, и по каждую сторону баррикад есть свои, непробиваемые аргументы. Кто-то считает, что импорты распугивают новичков, так как человек откроет карту, увидит, что уже всё сделано до него и уйдет из проекта. Другие, наоборот, считают, что импорты идут на пользу, и в качестве аргумента приводят историю все с тем же абстрактным новичком, но на этот раз его пугает пустая карта и объем работы, который ему предстоит выполнить.
Если говорить про мой опыт, то меня заинтересовало в OSM совсем другое — возможность править именно то, что меня интересует, и использовать это в дальнейшем. Поэтому я и пришел в проект, поэтому я до сих пор в нем. Если посмотреть на пример Эстонии, то можно сделать следующий вывод: была пустая карта — сообщество было маленьким, стало много импортов — людей тоже больше не стало. Может быть, людей в сообщество привлекает что-то другое? Но зато точно знаю, что после импортов карта Эстонии стала похожа на карту. Разве это плохо?
Знаете еще на что обратил внимание? У сообщества есть некоторая предвзятость к тому, что делают боты. Людям позволяют делать больше ошибок. К ботам же предъявляются более строгие требования. Если ошибся бот, то все — крах. Об этом пишут кучу постов, а пример сразу берут на вооружение противники импортов. О хороших импортах пишут мало, это никому не интересно.
— Почему к импортам относятся столь критично?
— Такое отношение к импортам появилось не на ровном месте. Многие делали их небрежно, ломали данные, что вызывало откаты, а это всегда большие проблемы. В моем случае импорт был относительно безопасный — я импортирую только те домики, которых нет в OSM. Когда ты вставляешь контур объекта в OSM с нуля и ничего при этом не удаляешь, то сломать что-то сложно.
Совсем другое дело, когда импортируешь крупные объекты, или множество связанных объектов, как например дорожная сеть. Кто-то один кусок поправил, другой — не поправил, и что делать после такого? Казнить нельзя помиловать, то есть и заменить теперь нельзя, и считать эти данные хорошими — тоже нельзя.
Похожая история была с импортом лесов Эстонии. За неимением лучшего, а это было давно, когда OSM только появился, было принято решение выполнить импорт из CORINE, мол, будет хоть что-то. На текущий момент инициатор этого импорта сожалеет об этом, потому что теперь непонятно, что с этим делать и как обновлять. Где-то уже поправили руками, где-то — нет. Да и сами леса за 15 лет леса уже изменились.
Сообщество его не осуждает — на тот момент это действительно было хорошим решением. Но как пример “почему не надо делать импорты” данный случай то и дело всплывает в разговорах, особенно, когда речь заходит о дальнейшем обновлении импортированных данных.
— Получается, что Эстония — страна массовых импортов в OSM?
— Именно так. Сейчас в Эстонии 827 тысяч зданий, 67% из них — импорт из кадастра, а адреса так и вовсе практически все оттуда. Из всех домов сейчас 81% с корректным адресом, а у 73% есть ещё и почтовый индекс. Индексы у нас тоже недавно интегрировали в данные кадастра. Таких показателей удалось достигнуть только одним способом — массовым импортом данных.
— Если кто-то заинтересуется вашими скриптами импортов, вы готовы ими поделиться?
— Готов, но нужно понимать, что они писались под конкретную задачу, как разовый скрипт, потому для других ситуаций они будут бесполезны. Рекомендую посмотреть в сторону Conflator — он был написан позже, и сразу задумывался как универсальный инструмент.
Алгоритм импорта контуров зданий из эстонского кадастра от SviMik'a
— Вы похвалили наше сообщество. Настало время его поругать. Что бы вы изменили и сделали в нем лучше?
— Поругать я могу только ваш кадастр, который не может открыть свои данные. Повторюсь, у вас есть сообщество — это уже большой плюс. Причем канал RU-OSM в Telegram я воспринимаю не как место встречи россиян, а всех, кто знает русский язык. Я на нем встречал людей из совершенно разных стран, не только России. Это удобно, что все могут общаться и находить общий язык. И удобно еще тем, что если я вижу правку человека, который есть в Telegram-чате, то я тут же могу спросить его, почему он сделал так, а не иначе, уточнить какие-то нюансы, которые через сайт OSM я бы не стал писать. Через Telegram удобно координироваться, главное — было бы кого координировать. Но это я уже про Эстонию.
— Я видел, что у вас есть устройство, которое умеет писать GPS-трек даже под землей. Расскажите об этом.
— Это проект одного человека из России. Он, кстати, есть на форуме OSM. Он собрал такую коробочку с гироскопом, которая может работать 15-20 минут без GPS-сигнала, что позволяет картографировать такие подземные объекты как парковки или тоннели. Я уже нарисовал несколько подземных парковок ТЦ с помощью этого устройства. Когда же есть еще и сигнал со спутника, то он точнее, чем обычный GPS-приемник — отклонение составляет всего 1-2 метра. Отмечу, что это устройство устанавливается в машину. Ходить с ним не получится.
Кстати, когда я решил приобрести эту коробочку, то связался с его разработчиком. Оказалось, что буквально через неделю он собирался по делам в Таллин. Поэтому, можно сказать, у меня была бесплатная VIP-доставка от мастера. Не ожидал такого. Удивительно, что эта штука, которая может писать трек под землей, не вызвала особого интереса у людей. Почти никто и не знает о ней.
Та самая коробочка
— Вы сами картографируете? Или только импортами занимаетесь?
— Картографирую. Использую, конечно же, JOSM. Хотя начинал с редактора Merkaartor, так как у меня была предвзятость к Java. Merkaartor, к слову, написан на C++. Но потом попробовал JOSM и уже не смог с него уйти.
Чаще всего рисую в Таллине, потому что понимаю, что на все меня не хватит. К тому же, я диванный мапер — рисую по спутнику. И не по Bing, а по ортофото эстонского кадастра, который просто невероятного качества и также под свободной лицензией. Многие просто про него не знают, даже эстонцы. Попробуйте переключить слой. Вам нужно всего лишь выбрать ESRI, который в Эстонии совпадает с ортофото нашего кадастра — может, купили, а может и бесплатно получили, открытые данные как-никак.
Кстати, не так давно я отрисовал стоянки общественного транспорта в Таллине. В этом мне помогла карта общественного транспорта, которую я уже упоминал. На ней в режиме реального времени можно наблюдать за перемещением автобусов, троллейбусов и трамваев. Запись их треков позволила выявить такие нюансы, как например троллейбусные депо и места, где паркуются автобусы.
Треки движения общественного транспорта, записанные через онлайн-карту
— Используете как-то OSM в личной жизни или по работе?
— Да, как навигатор. Причем езжу по работе. После импорта стало удобно: вбиваешь нужный адрес и едешь куда надо. Теперь уже почти не бывает такого, чтобы какой-то адрес не находился.
— На вашем сайте есть не только инструменты для импорта. Но и различные валидаторы и сервисы. Расскажите о них.
— Почти все мои валидаторы направлены на исправление ошибок, обнаруженных при импортах: неправильные адреса и почтовые индексы, контуры домов. Но есть один, как мне кажется, наиболее интересный. Как уже говорил, я понял, что не смогу импортировать дороги. Тогда я подумал, что стоит форсировать процесс их отрисовки. Тем более, что у нас на карте отмечены практически все имеющиеся здания в стране. Написал скрипт, который находит строения, вокруг которых в радиусе 300 метров нет ни одной дороги или тропинки. Такие места у меня автоматически добавляются в таблицу, которую, как я заметил, народ использует. Один человек у нас замапил сотни подъездных дорог по ней. Это косвенно помогло улучшить дорожный граф Эстонии.
Помимо этого я с 2012 года занимаюсь самостоятельным конвертированием карт для OSMAnd. В основном я это делаю для Прибалтики, но попутно еще захватываю небольшую часть России. Ежедневно выкладываю на своем сайте обновления карт. Зачем я это делаю? Тогда еще не было OSM Live и новых карт для OSMAnd приходилось ждать целый месяц. Что делать, если тебе нужны свежие карты прямо сегодня? К счастью, спасибо авторам OSMAnd, они тогда выложили в свободный доступ утилиту для самостоятельной генерации карт, чтобы любой мог это сделать сам. Но тем, кто первым реализовал идею именно ежедневного обновления карт для OSMAnd — был я.
— У вас столько всяких наработок интересных, над чем-то новым работаете?
— Планирую в ближайшем будущем заказать себе 360-камеру и начать делать сферические панорамы улиц для Mapillary. Потому что пока в Эстонии с ними совсем плохо. Я видел таких всего 3-4 трека, остальные — снимки с автомобильных регистраторов. У Google, конечно, все отснято, но их нельзя использовать для уточнения OSM, а Яндекс у нас не снимает. Даже «Зеркала». Пока веду разработку внешнего крепления камеры на крышу авто. Как будет готово — обязательно расскажу о результатах.
Общение российских участников OpenStreetMap идёт в чатике Telegram и на форуме.
Также есть группы в социальных сетях ВКонтакте, Facebook, но в них в основном публикуются новости.
→ Присоединяйтесь к OSM!
Предыдущие интервью: Кирилл Бондаренко, Артем Светлов, Сергей Синицын, Наталья Козловская, Виктор Вяличкин, Иван aka BANO.notIT, Антон Беличков, Елена Балашова, Илья Зверев, Тимофей Субботин, Сергей Голубев.
