Pull to refresh
7
0
Алексей @Rumyantsev

Математик

Send message

Обозреваем и практикуем популярные OSINT инструменты

Reading time 4 min
Views 8.3K

Введение

Рад вновь приветствовать читателей в своей любимой рубрике "ШХ" что является сокращением от "Шерлок Холмс" и разумеется серия таких статей напрямую относится к OSINT. Сегодня на практике попробуем некоторые инструменты и попробуем узнать больше о человеке исходя из его никнейма. В качестве цели я возьму одно из своих имён "VI.......TE".

Дисклеймер: Все данные, предоставленные в данной статье, взяты из открытых источников, не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее
Total votes 16: ↑15 and ↓1 +14
Comments 1

Время — это не просто ещё одно измерение

Level of difficulty Medium
Reading time 8 min
Views 79K

Большинство из нас хоть раз в жизни задавались вопросом: «Каково кратчайшее расстояние между двумя точками?». По умолчанию многие дадут тот же ответ, что и Архимед более 2 000 лет назад: прямая линия. Если вы возьмёте плоский лист бумаги и поставите на нём две точки в любом месте, вы сможете соединить эти две точки любой линией, кривой или геометрической траекторией, которую только можно себе представить. До тех пор пока бумага остаётся плоской и никак не изогнутой, прямая линия, соединяющая эти две точки, будет самым коротким путём между ними.

Именно так работают три измерения пространства в нашей Вселенной: в плоском пространстве кратчайшее расстояние между любыми двумя точками — это прямая линия. Это верно независимо от того, как вы вращаете, ориентируете или иным образом располагаете эти две точки. Но наша Вселенная состоит не только из трёх пространственных измерений – она содержит четыре измерения, пространство и время. Легко взглянуть на это и сказать: «О, ну три из них — пространство, а одно — время, вот мы и получаем пространство-время», — и это правда, но это не вся история. В конце концов, кратчайшее расстояние между двумя событиями в пространстве-времени уже не является прямой линией. И вот, что говорит об этом наука.

Читать далее
Total votes 52: ↑47 and ↓5 +42
Comments 314

Самое понятное объяснение Специальной теории относительности

Level of difficulty Medium
Reading time 13 min
Views 89K

Специальная теория относительности - удивительная теория, которая опровергла многие представления о мире, в которых человечество не сомневалось всю историю своего существования.

Многие слышали про волшебства вроде замедления времени, сокращения длины, относительности одновременности, парадокса близнецов и т.д., но мало кто понимает почему так происходит. 

В этой статье я хочу наглядно показать, что все это проще, чем кажется на первый взгляд.

Для иллюстраций я написал интерактивный визуализатор СТО, работающий в браузере. Ссылка на него и исходники проекта в конце статьи.

Читать далее
Total votes 379: ↑379 and ↓0 +379
Comments 387

Нейронная сеть, имеющая способность к самообучению

Level of difficulty Medium
Reading time 13 min
Views 8.7K

Всем привет! Недавно, когда я размышлял над работой памяти в мозге человека, мне пришла идея того, как можно сделать нейронную сеть, которая будет обладать способностью самообучаться. В этой статье я бы хотел представить свои размышления и идею, к которой я пришёл.

Читать далее
Total votes 13: ↑12 and ↓1 +11
Comments 31

Использование теории игр для повышения прозрачности моделей машинного обучения

Level of difficulty Medium
Reading time 7 min
Views 4.2K

Интерпретация современных моделей машинного обучения может быть чрезвычайно сложным делом учитывая, что количество параметров и весовых коэффициентов может идти на тысячи и даже миллионы. Тем не менее это совершенно необходимо, для повышения качества, обеспечения стабильности и предсказуемости работы модели. В этом нам может помочь теория игр, математическая дисциплина позволяющая выделить из сложного взаимодействия факторов модели отдельный вклад каждого в конечное предсказание.

Читать далее
Total votes 9: ↑9 and ↓0 +9
Comments 5

Ускоряем работу python с numba

Level of difficulty Easy
Reading time 7 min
Views 7K

Привет, Хабр!

Numba — это Just-In-Time компилятор, который превращает ваш код на питоне в машинный код на лету. Это не просто мелкая оптимизация, а серьёзно ускорение.

Если вы знакомы с интерпретируемыми языками, вы знаете, что они обычно медленнее компилируемых из-за необходимости анализировать и исполнять код на лету. Но что, если бы вы могли получить лучшее из обоих миров? JIT-компиляция позволяет интерпретируемому языку, каким является Python, динамически компилировать части кода в машинный код, значительно ускоряя исполнение.

Numba использует этот подход, чтобы помочь вашему коду на питоне быть быстрей. Она анализирует вашу функцию, определяет типы данных и затем компилирует её в оптимизированный машинный код. И всё это происходит во время выполнения вашего кода.

Читать далее
Total votes 22: ↑18 and ↓4 +14
Comments 12

ARP Spoofing | Отравление ARP

Level of difficulty Easy
Reading time 3 min
Views 4.8K

ARP протокол предназначен для автоматического определения MAC-адреса по IP-адресу в режиме запрос ответ. Как злоумышленник может получить ваши учетки с его помощью?

Читать далее
Total votes 2: ↑2 and ↓0 +2
Comments 9

От желания управлять газовым котлом удалённо до полной автоматизации отопления дома

Level of difficulty Medium
Reading time 6 min
Views 33K

В статье расскажу про свой путь разработки DIY железок для работы с Home Assistant с целью автоматизации отопления в частном доме.

Глава 0: предыстория

Захотелось построить дом. Дом построили, встал вопрос с отоплением и управлением, а так как в доме иногда отсутствовали по несколько месяцев, то переплачивать за газ не очень-то и хотелось. Газа ведь магистрального нет, но «мы скоро проведем». До этого «скоро» закопали газгольдер, а газ там в +-10 раз дороже магистрального. Пытливый ум решил: будем поддерживать в доме температуру 15 градусов, когда там никого нет. Как это сделать? Повесить контроллер/термостат для котла.

Читать далее
Total votes 42: ↑41 and ↓1 +40
Comments 105

Асинхронный ETL-процесс на Python

Level of difficulty Medium
Reading time 5 min
Views 6.5K

Продолжаю цикл статей по разработке ETL-процессов на Python. На этот раз мы преобразуем синхронный etl-процесс из статьи Пишем ETL-процесс на Python в асинхронный.

Читать
Total votes 11: ↑10 and ↓1 +9
Comments 6

Отображение данных в формате json на структуру c++ и обратно (работа над ошибками)

Reading time 11 min
Views 7.7K

Предыдущий вариант решения задачи отображения между структурой с++ и json получился как первый блин — комом. К счастью, разработка — процесс итерационный, и за первой версией всегда будет вторая. Комментарии (спасибо всем) и анализ дырок в первом блине позволили кое-что улучшить.

Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Comments 6

Волновая интуиция

Reading time 35 min
Views 4K
Каждый день каждый человек своими глазами видит как всё вокруг происходит. От этого выработалась не только знание как всё будет дальше, но и её подтверждённая часть — интуиция. Но у такой интуиции, которая по происхождению основана на прошлом есть один явный недостаток — она основана именно на прошлом опыте, к новым открытиям она не готова. Это явно выражается, например, в том с каким отношением к квантовой механике рассказывали те кто её открывал. «Мы творим лютую дичь» — говорили они. А что такого в том чтобы так говорить? Несоответствие интуиции есть, и никто пока до конца не разобрался. Студенты: «Так и запишем, «Мы творим лютую дичь. И разбираться не нужно»» (фейспалм). И до сих пор иногда это проскакивает в виде слова «заткнись» в описаниях — во вполне академических. И исчезать не торопится. Что ж, не все прежде чем делать открытия учились тому как надо делать открытия. Но если придумать новую интуицию, всё было бы гораздо, гораздо симпатичней.



«Чёткость» и «Плавность» — два раздела статьи.

Чёткость


Начну с абстрактной задачи.

Представьте, что сотрудников вашего института вывели на улицу и построили в линейку. И раздали всем наборы конфет. Скажем, в наборе круглое число, 1024 конфеты, делить пополам можно аж десять раз. Но количество наборов меньше, чем количество человек и поэтому наборы достались не всем. Количество конфет очень важно на поляне чаепития, поэтому вы даёте команду: каждому, половину того что есть — отдать соседу слева. Распределение немного размылось.

И вот такой интересный вопрос: можно ли сформировать такую следующую команду по раздаче, чтобы обратить предыдущую команду, то есть, чтобы наоборот, собрать? Можно ли достичь чёткости через «размытие»? Оказывается, можно. Только, придется величину раздачи допустить отрицательной и оперировать на любом расстоянии, а не только обмениваться с соседями.
Читать дальше →
Total votes 26: ↑24 and ↓2 +22
Comments 13

ML-подходы по поиску похожих изображений

Level of difficulty Medium
Reading time 16 min
Views 7.4K

Привет, Хабр!

Меня зовут Паймеров Владимир, я Data Scientist и участник профессионального сообщества NTA.

Компьютерное зрение (computer vision, CV) — активно развивающаяся научная область,
связанная с анализом изображений и видео. В последнее время данному направлению
уделяется большое внимание, так как CV позволяет решать множество задач, таких как
детекцию объектов, классификацию изображений, распознавание лиц и т. д., которые
в свою очередь применяются в разных сферах жизни от мобильных приложений для
наложения масок на лицо во время звонка до построения систем безопасности,
поиска преступников и мошенников. Сейчас есть инструменты, позволяющие
хранить большой объем данных и обрабатывать изображения, поэтому появилось
множество инструментов для решения различных задач. Об одной из таких задач
будет рассказано в данном посте.

Читать далее
Total votes 16: ↑16 and ↓0 +16
Comments 24

Оптимизационные задачи в ритейле

Reading time 6 min
Views 7.7K

Привет, Habr! На связи отдел аналитики данных X5 Tech.

Сегодня мы поговорим об очень интересном разделе прикладной математики — оптимизации.

Читать далее
Total votes 15: ↑14 and ↓1 +13
Comments 8

Задача коммивояжера (TSP) точное решение — метод ветвей и границ

Reading time 17 min
Views 16K

Что делает код хорошим? Большинство программистов ответят: хороший код должен быть структурирован, легко читаем и понятен. Но так ли важно качество кода, если он медленный? В большинстве задач производительность кода не критична, хотя и желательна. Но есть задачи, время выполнения которых столь огромно, что выигрыш в производительности доминирует над всем остальным.

Я говорю про NP-трудные задачи (NP-трудность - недетерминированная полиномиальная трудность по времени) и на одной из данного класса хочу акцентировать ваше внимание. Задаче коммивояжера.

Мы не будем рассматривать эвристические алгоритмы, нам нужно точное решение.

Читать далее
Total votes 32: ↑32 and ↓0 +32
Comments 42

Ещё одна подборка книг по QA

Reading time 4 min
Views 6.7K

Вторая часть подборки материалов от QA для начинающих специалистов (и не только). Под катом квалификационные требования, практические пособия и классика книг по тестированию.

Читать далее
Total votes 18: ↑17 and ↓1 +16
Comments 1

Создаем кибер-разведку в компании на основе OSINT

Reading time 10 min
Views 15K

Привет ХАБР. Тема, которой посвящена эта статья с одной стороны важна, ведь в кибер-пространстве «неспокойно». Каждый день приходят новости, что ту или иную компанию взломали хакеры, получили дампы или зашифровали данные. Защищаться от кибер-угроз, выстраивая целую инфраструктуру из всевозможных средств защиты хорошо и нужно, но никогда не стоит забывать о разведке. В кибер-пространстве как в армии. Хорошо, когда на границах вырыты окопы, дежурит артиллерия и ПВО, но без разведки не понятно куда и чем противник будет атаковать. В цифровом мире базовая военная стратегия в целом не отличается. Разведка важна и нужна, чтобы быть готовыми и собирать данные, которые собирают злоумышленники о вас и вашей инфраструктуре. В этой статье разберем вопрос о том как создавалось направление кибер-разведки(OSINT open-source intelligence ) в компании.

С чего зародилась идея создания направления OSINT?

В наше время стал мейнстримом тренд на защиту персональных данных и всякой конфиденциалки в компании. Запрос на поиск источников утечек и их закрытия очевиден. Самое сложное расставить приоритеты или ответить на вопрос: "Что будем собственно искать?" Если открыть внутренние документы любой компании, то сведений, составляющих какую-либо из тайн (персональные, конфиденциальные, коммерческие) большое количество. Важно выбрать те, которые являются самыми важными для контроля и утечки которых реально можем находить и устранять.

Путем расстановки приоритетов и реальных возможностей мы выделили основные направления для OSINT:

Читать далее
Total votes 16: ↑16 and ↓0 +16
Comments 1

Введение в математическую оптимизацию на примере компании Recruit. Часть 2

Reading time 9 min
Views 2.8K

Это серия статей о том, что такое математическая оптимизация, и как она может быть применена в бизнесе на примере компании Recruit. Другие части доступны здесь:


В данной статье рассказывается о мышлении и ключевых моментах при использовании математической оптимизации для решения одной из самых важных проблем в ресторанах, а именно «задержки приготовления».

❖ автор Рёсуке Судо
Читать дальше →
Total votes 32: ↑32 and ↓0 +32
Comments 7

Мое первое серебро на Kaggle или как стабилизировать ML модель и подпрыгнуть на 700 мест вверх

Reading time 6 min
Views 9.3K

Привет, чемпион!

Летом прошел чемпионат на Kaggle - "American Express - Default Prediction", требовалось предсказывать - выйдет ли пользователь в дефолт или нет. Табличное соревнование в 5К участников с очень плотным лидербордом.

Вот ведь парадокс, все умеют решать табличные соревнования, все знают, что бустинги "стреляют" точнее всех, но почему-то все равно не все могут забраться в топ лидерборда. В чем проблема?! Мы с командой все-таки смогли забрать серебро🥈 и сейчас я расскажу, как можно было выиграть медаль в этом чемпионате.

Читать далее
Total votes 16: ↑15 and ↓1 +14
Comments 5

Optuna. Подбор гиперпараметров для вашей модели

Reading time 6 min
Views 19K

Optuna — это фреймворк для для автоматизированного поиска оптимальных гиперпараметров для моделей машинного обучения. Она подбирает оптимальные гиперпараметры методом проб и ошибок.

В данной статье представлен обзор фреймворка Optuna, рассмотрены ее основные возможности, базовые примеры использования.

Читать далее
Total votes 10: ↑10 and ↓0 +10
Comments 3

Сегментация сети для самых маленьких: рабочие станции

Level of difficulty Easy
Reading time 9 min
Views 16K

Цель данной статьи: показать основы межсетевого экранирования при организации доступа к инфраструктуре компании работникам, гостям, клиентам, партерам и подрядчикам.

Читать далее
Total votes 12: ↑12 and ↓0 +12
Comments 18

Information

Rating
Does not participate
Location
Москва и Московская обл., Россия
Date of birth
Registered
Activity