Если вы любите кататься на горных лыжах или сноуборде по некатанным склонам, или же вам просто надоели скучные выглаженные склоны Сорочан и Волена с их безумными ценами на подъемники – то эта статья для вас.


В феврале 2000 года шатл Endeavour 11 дней снимал топологию земли с помощью Spaceborne Imaging Radar-C/X-band Synthetic Aperture Radar. См. подробности тут

Результатом этого проекта явилась публично доступная база с данными о топологии земли за исключением ее полярных областей.

Полный массив данных имеет огромный размер и оперировать с ним в рамках ПК довольно проблематично. К счастью на сайте проекта Consortium for Spatial Information можно скачать топологический файл для интересующей вас области.

Данные доступны в формате ESRI GRID(ARC ASCII), которые представляют собой простую матрицу высот. Каждая ячейка матрицы имеет одинаковую широту и долготу. Файл состоит из метаинформации и матрицы высот в 6001 строк и 6001 столбцов.

Существует множество вариантов применения блокчейна вне финансовой сферы. Например, в области идентификации личности: цифровая идентичность, паспорта, электронное резидентство, свидетельства о рождении и браке, удостоверения личности, логины и пароли и так далее. Создавая цифровую идентичность на базе блокчейна, человек получает более эффективные инструменты управления персональными данными. Он может определять, кто будет ими владеть и иметь к ним доступ.

Объединяя в себе принципы распределенного реестра и идентификации личности, цифровое ID может использоваться в качестве своеобразного «цифрового водяного знака». Такой «водяной знак» может присваиваться буквально каждой онлайн-транзакции, затрагивающей различные типы активов. Вот список компаний-первопроходцев, создающих решения на основе блокчейна для управления цифровой идентичностью и аутентификации. Все эти решения находят межотраслевое применение.

Emercoin – это не только одна из ведущих в мире цифровых валют, но и распределённая система доверенной информации. На базе блокчейн-платформы Emer было создано немало проектов, доказавших свою рентабельность и успешность — просто долистайте эту статью до конца, обращая внимание на примеры реализации проектов на базе Эмера. За последний год в команду Emercoin неоднократно поступали предложения о создании либо новых публичных блокчейнов на базе платформы платформы Emer, либо приватных блокчейнов на той же платформе. Но ни ту, ни другую идею нельзя назвать удачной. Команда Emer смело заявляет, что приватный блокчейн — изначально мертфорожденный проект, а форки (собственные публичные блокчейны на готовой платформе) – занятие малоперспективное.



Подробнее об этом — в статье технического директора Emercoin Олега Ховайко, написанной специально для блога облачного майнинга HashFlare на Geektimes.

Всем привет! Так случилось, что моя статья – первая в блоге группы компаний ЛАНИТ на Хабре. Очень рад этой возможности, осознаю ответственность и надеюсь, что материалы нашего блога будут для вас интересны.

Итак, к делу. Гиперконвергентные системы становятся сегодня одним из основных решений в области построения ИТ-инфраструктуры корпоративного уровня. В этой статье я кратко расскажу о том, что из себя представляют такие системы и в каких случаях при развертывании ИТ-инфраструктуры они могут быть полезны. Также я поделюсь результатами сравнения технических возможностей ряда гиперконвергентных платформ, которые мы изучили при планировании развития ИТ-инфраструктуры облака OnCloud.ru компании «Онланта».

Технология блокчейн лежит в основе нашего платежного сервиса Wirex. Тенденции рынка говорят о том, что за последние годы на базе распределенного реестра появились решения, выходящие за пределы финансовой индустрии. В этом обзоре приведены проекты из 20 областей использования блокчейна. В 1-й части материала перечислим сервисы из 10 отраслей, в числе которых: авторство и право владения, операции с товарами и сырьем, управление данными, бриллианты, проверка идентичности, энергетика, средства электронного голосования и другие области.

Несмотря на то, что интерес к Блокчейн-технологии в большей степени связан скорее с областью финансов, сферы применения технологии распределенных реестров не ограничиваются только ей. Наряду с банками и финтех-стартапами, игроки других, не связанных с финансовой отраслью рынков, также обратили внимание на технологию и ищут способы извлечения пользы из возможностей, которые она предоставляет. Давайте рассмотрим некоторые интересные примеры практических применений технологии блокчейн, существующие за рамками сферы финансовых услуг.

Авторство и право владения

Ascribe помогает художникам и творческим людям подтверждать и сохранять право авторства с помощью Блокчейн. Рынок Ascribe позволяет создавать цифровые издания с помощью уникальных идентификаторов и цифровых сертификатов для подтверждения авторства и подлинности. Кроме того, налажен и механизм передачи права владения от художника или автора к покупателю или коллекционеру, в том числе и юридические его аспекты.

КРОК — одна из самых больших в России компаний по построению IT-инфраструктур. У нас в год 2000+ проектов, из которых 200 штук — с бюджетом больше миллиона. Долларов. Внутри этой огромной компании есть мой небольшой отдел, который занимается тем, что ставит open source для крупных заказчиков.

Нередко приходится сталкиваться с мнением, что open source — это кривые поделки гаражных программистов. Мы работаем только с нормальным рабочим ПО; помогаем подобрать оптимальные варианты решений для инфраструктуры и обеспечиваем поддержку там, где производитель по очевидным причинам сделать этого не может. Это — не самая простая работа, в основном, связанная с мифами и легендами про открытое ПО.

Но к чёрту детали, давайте покажу, что и как можно поставить на рабочие места, сервера, в облако, для СУБД, VDI и серверов приложений. И про галстук.

Под катом мы попытались как-то обобщить и систематизировать наш опыт по выбору платформы для занятий с детьми. Если вы организуете кружок робототехники, возможно, вам это будет полезно.
К прошлой серии было много справедливых замечаний, по такому случаю я полностью переработал материал.

Это первая часть, вот вторая.
За всеми архитектурами нейронных сетей, которые то и дело возникают последнее время, уследить непросто. Даже понимание всех аббревиатур, которыми бросаются профессионалы, поначалу может показаться невыполнимой задачей.

Поэтому я решил составить шпаргалку по таким архитектурам. Большинство из них — нейронные сети, но некоторые — звери иной породы. Хотя все эти архитектуры подаются как новейшие и уникальные, когда я изобразил их структуру, внутренние связи стали намного понятнее.

Примечание переводчика: Мы довольно часто пишем об алгоритмической торговле (вот, например, список литературы по этой теме и соответствующие аналитические материалы) и API для создания торговых роботов, сегодня же речь пойдет непосредственно об алгоритмах, которые можно использовать для анализа различных данных (в том числе на финансовом рынке). Материал является адаптированным переводом статьи американского раработчика и аналитика Рэя Ли.

Сегодня я постараюсь объяснить простыми словами принципы работы 10 самых эффективных data mining-алгоритмов, которые описаны в этом докладе.

Когда вы узнаете, что они собой представляют, как работают, что делают и где применяются, я надеюсь, что вы используете эту статью в качестве отправной точки для дальнейшего изучения принципов data mining.

Привет! Это пятый с 2010 года список полезных книг. Набралась всего дюжина за два года. Смотрите, что можно скачать в дорогу или просто почитать, когда будет время, и делитесь, пожалуйста, в комментариях своими (я буду поднимать их в пост). В этой подборке довольно много социнжиниринга, точнее, тем около него. Поехали.

Конструкции, или почему не ломаются вещи, Дж. Гордон
Прекрасная, хоть и очень длинная штука, которая рассказывает про сопромат простыми словами и почти для детей. Но на уровне жёсткого хардкора. По своей полезности для осознания физики вокруг может сравниться с не менее прекрасной современной «Квантовая вселенная. Как устроено то, что мы не можем увидеть» Брайана Кокса и Джеффа Форшоу. Рекомендую обе. Будет, что почитать в дороге, если вдруг почувствуете, что играть на планшете надоело. И о чём подумать, когда выяснится, что вся та фигня, которую вам давали на уроках химии, физики и прочего в школе и университете вдруг начинает выстраиваться в стройную теорию.

Evil by Design, Крис Ноддер
Один из лучших подходов к проектированию чего-то хорошего — это спроектировать сначала самое ужасное из возможного. Пользователь обычно не скажет, как сделать ему хорошо, но точно знает, как бывает плохо. Например, юзер не говорит «я хочу, когда нажимаю на ссылку напоминания пароля, там в поле уже была введена почта», зато вполне способен сказать: «слушай, меня дико бесит, когда логинишься, тебе показывают новую страницу про то, что пароль не подошёл, и, чтобы его восстановить, надо ещё один долбанный раз вводить почту». Вся книга Криса состоит из таких «тёмных» шаблонов, когда какие-то гады намеренно вводят вас в заблуждение. Он там очень переживает за этику, поэтому вступления лучше пропустить. Единственная в этом обзоре книга на английском, но довольно простом.

Давно собирался написать об этом, но, модная болезнь прокрастинация брала вверх…

Знакомство со Scratch

Когда сыну Артёму исполнилось 7 лет и он пошел в школу, мы ему подарили компьютер, чтобы он не отставал от жизни. Несколько месяцев он играл в разные игры, наслаждался, развлекался и т.п. Мне стало немного обидно, что такой дорогой и сложный прибор как компьютер используется только для развлечений, и я решил придумать, как использовать компьютер для обучения. А чему можно научиться на компьютере? Конечно, программированию! Тут я и вбил в «Яндекс» заветную фразу «обучение детей программированию».

Сценарии интеграции с Apache Camel

Сколько вы знаете шаблонов интеграции приложений(EIP)? Сколько из них вы можете использовать?

Симпатичный «верблюд» снова здесь, а значит, представляю вам продолжение серии статей об Apache Camel. В этой статье найдутся как самые необходимые, так и очень любопытные шаблоны интеграции. Расскажу о том, как они ложатся на нашу интеграцию.

Если вы знакомы с шаблонами, но решаете стоит ли связываться с «верблюдом», то наши примеры помогут разобраться. Если вам интересен путь от сценариев использования к реализации интеграции, то эта статья как раз об этом. Прошу под кат.

Программирую на Java вот уже 7 лет. Но на работе часто приходится обучать новое поколение. В связи с этим и решил сделать некоторую шпаргалку, которая, надеюсь, пригодится и для хабрчан. Если кто-то может помочь дополнить чем-то информацию из этой статьи, то пишите! Итак:

Основные ресурсы для начального обучения

• www.javable.com — сайт со статьями и tutorial'ом по Java. Все в основном на русском.
• www.exampledepot.com — очень полезный ресурс, где собраны краткие примеры использования классов для тех или иных пакетов
• java.sun.com — без первоисточника не обойтись. Для любого Java программиста JavaDoc должен быть истиной в последней инстанции. Так же здесь можно найти серию tutorial'ов на все возможные темы.

Идея для написания этой статьи возникла прошлым летом, когда я слушал доклад на конференции BigData по нейронным сетям. Лектор «посыпал» слушателей непривычными словечками «нейрон», «обучающая выборка», «тренировать модель»… «Ничего не понял — пора в менеджеры», — подумал я. Но недавно тема нейронных сетей все же коснулась моей работы и я решил на простом примере показать, как использовать этот инструмент на языке JavaScript.

Мы создадим нейронную сеть, с помощью которой будем распознавать ручное написание цифры от 0 до 9. Рабочий пример займет несколько строк. Код будет понятен даже тем программистам, которые не имели дело с нейронными сетями ранее. Как это все работает, можно будет посмотреть прямо в браузере.

Более полугода назад в поисках что посмотреть, я листал топ произведений. Это занятие повторялось уже много раз и успело надоесть — постоянно приходилось пропускать то, что я смотреть не хочу. Имхонетами раньше не пользовался, да и не доверял им из-за специфики искомых произведений. На сайте, где я производил поиски, была возможность создать свой список просмотренных произведений и выставить оценку, также были доступны оценки других пользователей. Тут мне в голову пришла гениальная идея, как оказалось позднее банальная, — используя оценки других пользователей делать рекомендации. Данная деятельность называется коллаборативной фильтрацией, а программа её реализующая — Рекомендательной системой(РС). Оглядываясь назад я понимаю, что совершил множество ошибок из-за недостатка информации и её труднодоступности в данной тематике, а что самое главное — сильно переоценил РС. В данном посте я сделаю обзор основных типов и алгоритмов РС, а также постараюсь передать часть своих знаний и опыта.

Операционный директор Canopus Innovative Technologies и управленческий аналитик Виталий Лобанов сделал обзор мировых трендов, влияющих либо на сами финтех-компании, либо на клиентов финтех-компаний, занимающихся платежным бизнесом.

Как велась работа
Раньше анализ макросреды включал обычно анализ факторов PEST (politics, economics, social, technology), но последние годы стало очевидно, что в мире есть ещё как минимум факторы глобализации и диджитализации, с которыми теперь следует считаться.

Это третья статья в цикле про создание и использование скриптов для веб-скрейпинга при помощи Node.js:

1. Web scraping при помощи Node.js
2. Web scraping на Node.js и проблемные сайты
3. Web scraping на Node.js и защита от ботов
4. Web scraping обновляющихся данных при помощи Node.js

В первой статье разбирались базовые аспекты веб-скрейпинга, такие как получение и парсинг страниц, рекурсивный проход по ссылкам и организация очереди запросов. Во второй статье разбирались анализ сайта, работающего через Ajax, тонкая настройка очереди запросов и обработка некоторых серверных ошибок.

Также во второй статье затрагивалась тема инициализации сессий, но, там речь шла о предельно простом случае, когда достаточно выполнить один дополнительный запрос и сохранить куки.

В этой статье разбирается более сложный случай – инициализация сессий с авторизацией по логину и паролю и с преодолением довольно изощрённой защиты от ботов. Как обычно, на примере реальной (и весьма популярной среди скрейперов) задачи.

В прошлых статьях целью было показать весь процесс создания и использования скрипта от постановки задачи и до получения конечного результата. В этой статье большая часть аспектов веб-скрейпинга обходится стороной, а вместо этого показывается многообразие подходов к решению одной, довольно узкой задачи. Различные методы и инструменты, их плюсы и минусы, субъективные оценки, примеры кода, вот это вот всё.

Азбука безопасности Ubuntu

«Мои первые 5 минут на сервере» Брайана Кеннеди — отличное введение, как быстро обезопасить сервер от большинства атак. У нас есть несколько исправлений для этой инструкции, чтобы дополнить ею наше полное руководство. Также хочется подробнее объяснить некоторые вещи для более юных инженеров.

Каждое утро я проверяю почтовые уведомления logwatch и получаю основательное удовольствие, наблюдая несколько сотен (иногда тысяч) безуспешных попыток получить доступ. (Многие довольно прозаичны — попытки авторизоваться как root с паролем 1234 снова и снова). Приведённая здесь общая методика подходит для серверов Debian/Ubuntu, которые лично мы предпочитаем всем остальным. Они обычно служат только хостами для контейнеров Docker, но принципы те же.

На больших масштабах лучше использовать полностью автоматические установки с инструментами вроде Ansible или Shipyard, но иногда вы просто поднимаете единственный сервер или подбираете задачи для Ansible — для таких ситуаций предназначена инструкция.

Примечание: Эта справка создана как базовая азбука. Её следует расширить и дополнить в соответствие с вашими потребностями.

iBeacon и Eddystone — это сервисы Apple и Google соответственно, использующие BLE (Bluetooth Low Energy) для локального позиционирования внутри помещений. Базовый принцип у обоих сервисов одинаков, отличается лишь формат передаваемых данных. Маяк (передатчик) периодически, с интервалом от долей секунды до нескольких секунд, передаёт пакеты стандарта Bluetooth LE, которые содержат помимо заголовка дополнительную информацию. Технология не предназначена для точного определения положения в помещении, а лишь для фиксирования момента приближения на некоторое близкое расстояние к маяку.
Классический пример использования маяков — музеи. Приходя в музей, вы устанавливаете на смартфон специальное приложение и отправляетесь осматривать экспозицию. Приближаясь к экспонату (маяку) на некоторое расстояние, смартфон это фиксирует и выводит на экран экскурсионную информацию.
В продаже можно найти немало готовых маяков, но сегодня мы соберем прототип собственного маяка (как iBeacon, так и Eddystone) на микроконтроллере SAML21 и BLE модуле BTLC1000 от Atmel.

В начале лета ко мне обратился знакомый владелец небольшого бизнеса и попросил о том, «сам не знаю о чем, ну, в общем такой электронный менеджер». Несмотря на растущий бизнес, он долго сокрушался и из его рассказа стало понятно, что мониторы менеджеров сплошь заклеены стикерами-напоминалками, таблицы MS Excel неудобны для ведения клиентов, сделки стали срываться хотя бы потому, что о некоторых из них забывали. После небольшого опроса выяснилось, что к старту осеннего бума продаж и клиентов он хочет приобрести программу, которую «раз и открыл», занес клиента, закрыл, проконтролировал, прикрепил документ, проверил оплату, поздравил всех с завершением сделки. Ну и, само собой, недорого и быстро. Дополнительным требованием была возможность доступа сотрудников с их iPad, устройств на Android и с домашних терминалов. Ответ для него возник незамедлительно: CRM, причем лучше в облаке, благо что бизнес не предъявляет особых требований к безопасности.

Он кивнул, сказал, что слышал, попросил подобрать и оставил меня наедине с добрым десятком сайтов и закачанных с них демо-версий. В итоге CRM была выбрана и куплена, а для хабрасообщества родился пост, который, возможно, поможет менеджерам при необходимости сделать выбор и избавиться от суетливых записок, блокнотов, стикеров и проч…

Конечно, абсолютно все CRM рассмотреть невозможно, выбор пал на те, что на слуху, на первой странице поиска или в Яндекс.Директе.