Pull to refresh
1
0.1
Send message

Sparkling: Открытая библиотека для автоматического решения задачи кластеризации табличных и мультимодальных данных

Reading time13 min
Views8.2K

Если вы полагаете, что фундаментальные исследования всегда скучны и с трудом находят применение на практике, то прочитайте эту статью. Старший научный сотрудник нашей лаборатории Сергей Муравьев, занимающийся автоматизацией решения задач кластеризации, рассказывает о собственном проекте, у которого, кажется, есть всё, что только можно пожелать: научная фундаментальность, хитрые задачи на пути к цели, а также впечатляюще широкие возможности применения.

Источник изображения: commons.wikimedia.org

Почему это круто

Кластерный анализ неформально можно определить как разбиение множества объектов так, чтобы похожие объекты попали в одно и то же подмножество, а объекты из разных подмножеств существенно различались. От обычной классификации по заданным признакам кластерный анализ отличается тем, что не алгоритм, а человек выявляет критерий кластеризации данных. Эта задача относится к классу «обучения без учителя» (англ. unsupervised learning), так как размеченного набора данных или какой-то заведомо известной информации о нём не предоставляется.

У задачи кластеризации нет общепризнанного математически корректного определения. Дело в количестве разнообразных применений: в маркетинге для сегментирования целевой аудитории, в медицине для классификации болезней, в рекомендательных системах при организации баз данных для поисковых запросов, при изучении социальной стратификации, для сегментирования изображений и распознавания образов, при обнаружении и сегментации артефактов различных периодов в археологии и много ещё для чего.

Читать далее
Total votes 9: ↑9 and ↓0+9
Comments0

Спектрометр из смартфона, картона и осколка DVD-диска: смотрим на спектры лампочек, фонариков, солнца

Reading time14 min
Views26K

Всем привет! Продолжаем придумывать, как можно использовать устаревший смартфон в новом качестве. Эта статья подготовлена по материалам второго сезона видеокурса “Galaxy Upcycling - новая жизнь старого смартфона”. В  уроках первого сезона мы уже сделали 3D-голограмму, проектор (и написали об этом статью на Хабр), микроскоп, часы, гирлянду, а сегодня делаем еще один исследовательский прибор.

Наша новая тема - любительский спектрометр из смартфона. Это отличный наглядный эксперимент по физике, который может быть интересен как учителям, так и школьникам. Вы могли читать в учебнике, что такое длина волны, а теперь мы “пощупаем” длину волны самостоятельно.

Читать далее
Total votes 113: ↑113 and ↓0+113
Comments11

Основы контейнеризации (обзор Docker и Podman)

Reading time16 min
Views123K

Привет, Хабр!

К 2022 году о контейнеризации не слышал только ленивый. Большинство специалистов, так или иначе имеющих отношение к ИТ, хотя бы раз в жизни запускали программное обеспечение в контейнерах. Однако так ли эта технология проста и понятна? Давайте разбираться вместе!

Главная задача данной статьи – рассказать о контейнеризации, дать ключевые понятия для дальнейшего изучения и показать несколько простых практических приемов. По этой причине (а еще, безусловно, вследствие недостаточной квалификации автора) теоретический материал достаточно упрощен.

Читать далее
Total votes 26: ↑26 and ↓0+26
Comments22

Как попасть в реестр российского ПО, и зачем это нужно

Reading time6 min
Views36K

Мы оценили на себе сложность проверок, которые проходит российское ПО. В этом посте расскажем, как со второй попытки попали в реестр, и что полезного можно вынести из этого опыта.

С момента появления в 2016 году реестр приобрел далеко не лучшую репутацию. Во многом справедливо. Похоже, что программы для реестра отбирались по чисто формальным критериям. На старте в список российского ПО можно было внести почти что угодно, включая плохо переупакованный open source. Ценность реестра в плане импортозамещения и повышения информационной безопасности госорганов стремилась к нулю.

Читать далее
Total votes 38: ↑36 and ↓2+34
Comments19

Углубляем озеро в 100 раз

Reading time2 min
Views69K

Давеча произошёл один весьма забавный случай. Настолько забавный, что не могу не поведать.

Итак, дано: небольшое пресноводное озеро, не озеро даже – скорее огромная лужа, глубиной три с мелочью метра. Вопрос: как без смс и регистрации утопить там две буровые установки, одиннадцать(!) барж и буксир? Причём без читерства, типа штормов, ураганов и прочих бедствий? Интересно? Сейчас я вам всё расскажу.

Осенью далёкого 1980 года на озере Пенёр, что в штате Луизиана, компания Wilson Brothers Corporation искала нефть по заказу компании Texaco. На дворе конец ноября, погода ясная, установка исправная, буровики опытные — ну что может пойти не так? Поэтому, когда утром двадцатого бур заклинило на глубине трёхсот семидесяти метров, никто не мог и предположить, во что это в итоге выльется.

Читать далее
Total votes 143: ↑125 and ↓18+107
Comments122

3D линеаментная геологическая модель землетрясения 6.5 баллов в Монте Кристо, Невада, США

Reading time5 min
Views1.4K

Как мы показали в предыдущих статьях, поверхностные геологические нарушения (линеаменты) могут быть выделены с помощью линейного преобразования Радона (Хафа), в то время как геологическая плотность может быть восстановлена с помощью кольцевого преобразования Радона (Хафа). При использовании пространственной фильтрации исходных данных можно сопоставить длину волны с глубиной и получить трехмерную модель. При этом, кольцевое преобразование имеет понятные ограничения — кольцевые статистики радиусом меньше 3х пикселов недостоверны, так что, скажем, при использовании открытого рельефа всей планеты разрешением 30 м верхние 40 метров (2*30/sqrt(2)) трехмерной модели являются результатом интерполяции. В случае же линейного преобразования мы избавлены от этого ограничения, поскольку анализируем именно выходы глубинных структур на поверхность.


Сегодня мы построим объемную линеаментную модель и сравним ее с плотностной моделью и интерферограмммой сейсмического события из предыдущих статей. Как будет показано, эти модели согласуются между собой и дополняют друг друга.


Читать дальше →
Total votes 7: ↑6 and ↓1+5
Comments0

Бесплатный персональный OpenVPN-сервер на базе Oracle Cloud

Reading time6 min
Views95K

На этот раз статья будет короткой и во многом самоочевидной. Потому что большинство потенциальных пользователей просто не знают о такой возможности, а сама настройка проста, как апельсин.

Oracle, придя на рынок облачных сервисов, активно привлекает новых клиентов. И одним из инструментов такого привлечения являются Always Free сервисы - зарегистрировавшийся клиент может пользоваться каким-то достаточно ограниченным набором ресурсов, как это следует из названия, бесплатно и неограниченно во времени. В список этих ресурсов входит два compute инстанса (каждый 2 ядра, 1GB RAM, 45GB HDD), которые можно использовать подо что угодно, но в нашем случае мы можем построить на них полностью бесплатный OpenVPN-сервер, буквально не умея практически ничего, кроме тыкания в кнопку Next. Чем мы и займемся.

Читать далее
Total votes 39: ↑37 and ↓2+35
Comments123

Корреляция между временными рядами: что может быть проще?

Reading time25 min
Views23K

Все чаще объектами статистического анализа становятся не массивы (таблицы) значений, а временные ряды. Такие ряды формируются при наблюдениях за природными процессами и явлениями, изучении социологических или макроэкономических показателей, при промышленном производстве и сбыте продукции. Главное, что отличает временной ряд от других типов данных – это то, что номер (время) наблюдения имеет значение. То есть, важен не только результат измерения, но и тот момент времени, когда оно выполнено. К сожалению, при применении статистических методов на этот нюанс часто не обращают внимания. Однако, именно эта "мелочь" приводит к очень серьезным и нетривиальным следствиям с точки зрения обработки таких сигналов. Самые обычные формулы, описанные во всех учебниках, внезапно отказываются работать. А попытки их применения "в лоб" иногда дают, мягко говоря, весьма неожиданные результаты. Например, статистическая связь между числом пиратов и глобальным потеплением оказывается не просто "значимой", а "практически достоверной". Что удивительно, столкнувшись с такой ситуацией, даже достаточно грамотные исследователи не всегда понимают, где же тут "порылась собака" . Данные вроде бы правильные, математика (как и жена Цезаря) – точно вне подозрений. А результат – ни в какие ворота... А Вы твердо уверены, что всегда правильно оцениваете значимость таких корреляций?

Если не очень – прошу под кат.
Total votes 25: ↑24 and ↓1+23
Comments19

Особенности портирования сложного модульного ПО написанного на Delphi под ОС Linux

Reading time34 min
Views36K

Данное повествование не предназначено для разработчиков, которые не знают что такое Delphi и не умеют на нём программировать. Просьба людей, не имеющих дела с данными средствами разработки, не комментировать статью и не травмировать и без того расшатанные нервы дедушек, упорно продолжающих поддерживать многолетние разработки, написанные с применением данных средств разработки. Предложения переписать всё с нуля на что-то более модное не приветствуются.

Меня зовут Тимофеев Константин, мне 40 лет и я являюсь ведущим программистом компании 3В Сервис в подразделении, занимающемся системами автоматизации динамических расчётов (САДР).

Данная статья посвящена разбору подводных камней при портировании разрабатываемого нами программного комплекса на операционные системы семейства Linux.

Читать далее
Total votes 94: ↑92 and ↓2+90
Comments165

Javis v0.3 и анимация рядов Фурье

Reading time11 min
Views7.8K


Прошло уже достаточно времени с релиза Javis v0.2, что обсуждалось в соответствующем посте. Там я дал представление о потенциальном будущем этого графического пакета. Мы наконец-то выпустили v0.3, и будущее стало стандартом по умолчанию.


Просто перечислять все изменения, которые мы ввели, вероятно, было бы довольно скучно, так что лучше я создам аккуратную анимацию, а по пути буду объяснить некоторые удивительные штуки про ряды Фурье.

Total votes 33: ↑33 and ↓0+33
Comments3

Как я делал свой самолёт

Reading time4 min
Views28K
image

Здравствуйте, дорогие Хабровчане!

Меня зовут Константин Томаревский. Я инженер компании Deutsche Telekom IT Sotutions. Хотел поделиться с Вами своей давней задумкой, которую пытаюсь воплотить в «железе».

По образованию я авиационный инженер. Когда я поступал в Университет СПбГПУ, я мечтал о том, что буду конструировать самолёты (ну или космические ракеты), буду работать в каком-нибудь конструкторском бюро и проводить рабочие дни за математическими расчётами, лабораторными стендами и полевыми испытаниями. Я закончил Университет, получив там очень много теоретических знаний, но ни разу не прикоснувшись к настоящей практике. Прошло уже много времени, но мысль о том, что мои знания так и остались знаниями, и не воплотились в практической плоскости, не покидала меня и я решил попробовать сделать пусть и совсем не большой, но реально функционирующий по всем правилам летательный аппарат.

image

Первоначальная идея


Мой университетский профиль – это системы управления летательными аппаратами. Мне всегда было интересно, как ведёт себя летательный аппарат (планер, самолёт) в зависимости от управления им, то есть от того, каким образом отклоняются его управляющие поверхности, как быстро и в какой конфигурации. Ещё один интересный момент – эффективность управляющих плоскостей. На разной скорости полёта их отклонение действует на летательный аппарат с разными усилиями. Если подобрать отклонения для разных скоростей, можно сделать мягкое управление летательным аппаратом.
Читать дальше →
Total votes 70: ↑70 and ↓0+70
Comments163

Тепловизионный контроль: бесконтактная биометрия против термометров, коронавируса и несознательных сотрудников

Reading time6 min
Views9.9K

Пять секунд — это много или мало? Чтобы выпить горячий кофе — мало, чтобы приложить карту и пройти на работу — много. Но иногда даже из-за такой задержки на проходных образуются очереди, особенно по утрам. А давайте теперь выполним требования по профилактике COVID-19 и начнём измерять температуру у всех входящих? Время прохода увеличится в 3–4 раза, из-за этого появится толпа, и вместо борьбы с вирусом мы получим идеальные условия для его распространения. 

Чтобы этого не произошло, нужно либо организовать людей в очередь, либо автоматизировать этот процесс. Во втором варианте необходимо считать температуру сразу у большого числа людей, не нагружая их дополнительными действиями. Это можно сделать, если дополнить систему видеонаблюдения тепловизором и выполнять сразу несколько действий: идентифицировать лица, измерять температуру и определять наличие маски. О том, как работают такие системы, мы говорили на нашей конференции «Биометрия против пандемии» и подробнее расскажем под катом.
Читать дальше →
Total votes 19: ↑17 and ↓2+15
Comments26

Россия — месторождение слонов

Reading time10 min
Views31K
Давайте поговорим об Иваныче. Так зовут мамонта из музея в Тюмени. Иваныч был мужчиной в самом расцвете сил и умудрился то ли очень внезапно залезть в болото, то ли провалиться в какую-то воронку, но, в общем, стал героем задолго до тотального вымирания мамонтов. Что позволило учёным познакомиться с ним лично в более-менее целом виде, а в 49-м году признать самым большим и целостным из найденных мамонтов.

Естественно, комплект поставки Иваныча был как в Икее, только без половины деталей и инструкции. Это важно, потому что собирать доисторических животных можно по-разному. И получаться (иногда) будут разные виды. В общем, первая версия Иваныча была ростом 2,79 метра. Но за годы скелет подрос, и сейчас он уже 3,41 метра. При царе зверь ходил лицом в пол и зубами к земле, а в СССР уже считали, что он гордо поднимает свою морду и бдительно осматривает горизонт. Это сильно меняло сборку отделов позвоночника. Сейчас Иваныч стоит с высоко поднятым черепом.


Наш слон мог выглядеть примерно как на рендере, только шерсть у мамонта была не рыжей как у привычного образа; жил он не на леднике, а рядом; на шее был горб жира; уши меньше; а бивни «закручены».

Иваныч был слегка более полной (чем скелет) и милой пушистой тварюгой. Вполне возможно, что он был даже жирненьким, но это неточно. Что точно — так это то, что шерсть у него была около 90 сантиметров длиной, плюс ещё был густой подшёрсток. Среди прочего, именно это крутое свойство делает представителя семейства слоновых мамонтом. Точнее, шерстистым мамонтом.

Зачем ему столько шерсти? Ооо, это потому что рядом был ледник. Не зря же появились морозоустойчивые слоны, правда?
Читать дальше →
Total votes 167: ↑159 and ↓8+151
Comments75

Умная перчатка для велосипедистов

Reading time10 min
Views7.2K


Перевод с сайта instructables.com, автор проекта: Matlek

В данной статье я подробно расскажу процесс изготовления «умной перчатки» и её светодиодной панели, предназначенных для повышения безопасности велосипедистов и других людей, путешествующих по дорогам. Сначала можно посмотреть небольшую демонстрацию работы:


Как это работает


В перчатке находится плата Arduino, собирающая данные с гироскопа и акселерометра. Код использует модель «крохотного машинного обучения» tinyML и распознаёт жесты: каждое движение руки анализируется и превращается в сигнал (рука наклоняется влево, вправо, вперёд, назад, и т.п.). Сигнал отправляется по Bluetooth (BLE) на другой микроконтроллер, к которому подсоединена светодиодная матрица (которую, например, можно закрепить на рюкзак). Сообразно полученному сигналу матрица выводит определённые последовательности символов – так, чтобы другие водители и велосипедисты могли понимать, что собирается сделать велосипедист (к примеру, это могут быть стрелки влево, вправо, или текст).
Total votes 19: ↑19 and ↓0+19
Comments48

Продвижение на Reddit. Как получить трафик?

Reading time8 min
Views45K
Reddit.com – это американская социальная сеть, которая может стать отличным источником трафика из США. Для того чтобы понять, каким образом это можно осуществить, стоит разобраться в особенностях платформы.

Читать дальше →
Total votes 64: ↑40 and ↓24+16
Comments45

Information

Rating
3,354-th
Registered
Activity