За последние 10 лет я поменял 3 работы, прособеседовался с 10+ компаний на позицию разработчика (software engineer) и вел переписку с HR/рекрутерами из нескольких десятков фирм. По ходу дела заметил, что вопросы, которые я задаю на собеседовании с менеджером/командой или с HR, повторяются, и решил их структурировать. Некоторые из них являются общими, и их может задать кандидат на почти любую вакансию; другие касаются только вакансий для программистов. В этой статье поделюсь с вами наиболее типичными и важными вопросами, которые, на мой взгляд, может задать соискатель потенциальному работодателю.
Игорь Асонов @iasonov
Пользователь
Водопровод в современной квартире
11 мин
Здравствуйте! Тема ремонта актуальна для всех и во все времена. Я занимаюсь монтажом сантехники и знаю, что разобраться с нуля в этом деле довольно сложно. Но чтобы проконтролировать качество работ надо хоть немного разбираться в сантехнике. Я в краткой форме освятил ключевые моменты на которые нужно обращать внимание. Надеюсь, это будет полезная статья.
Делаем проект по машинному обучению на Python. Часть 2
12 мин
Туториал
Перевод
Перевод A Complete Machine Learning Walk-Through in Python: Part Two
Собрать воедино все части проекта по машинному обучению бывает весьма непросто. В этой серии статей мы пройдём через все этапы реализации процесса машинного обучения с использованием реальных данных, и узнаем, как сочетаются друг с другом различные методики.
В первой статье мы очистили и структурировали данные, провели разведочный анализ, собрали набор признаков для использования в модели и установили базовый уровень для оценки результатов. С помощью этой статьи мы научимся реализовывать на Python и сравнивать несколько моделей машинного обучения, проводить гиперпараметрическую настройку для оптимизации лучшей модели, и оценивать работу финальной модели на тестовом наборе данных.
Весь код проекта лежит на GitHub, а здесь находится второй блокнот, относящийся к текущей статье. Можете использовать и модифицировать код по своему усмотрению!
12 фильмов о виртуальной реальности из 90-х
11 мин
Перевод
Новогодние праздники — лучшее время для активного отдыха, приготовления блюд и уютных кинопросмотров по вечерам. Только вот киноновинки быстро закончатся. Специально на этот случай мы подготовили 12 лучших фильмов из 90-х о виртуальной реальности. Готовы спорить, что большую часть из них, вы точно не видели.
Мы перевели текст Райана Лэмби «The Top 12 Virtual Reality Movies of the 1990s», который он написал для Den of Geek в 2017 году, когда был заместителем главного редактора этого портала. Сейчас Райан — редактор ежемесячного журнала про видеоигры, а ещё автор гида про научно-фантастические фильмы.
Источник
Мы перевели текст Райана Лэмби «The Top 12 Virtual Reality Movies of the 1990s», который он написал для Den of Geek в 2017 году, когда был заместителем главного редактора этого портала. Сейчас Райан — редактор ежемесячного журнала про видеоигры, а ещё автор гида про научно-фантастические фильмы.
Как разработать ансамбль Light Gradient Boosted Machine (LightGBM)
16 мин
Туториал
Перевод
В преддверии старта нового потока курса «Машинное обучение» представляем вашему вниманию материал о Light Gradient Boosted Machine (далее — LightGBM), библиотеке с открытым исходным кодом, которая предоставляет эффективную и действенную реализацию алгоритма градиентного бустинга.
LightGBM расширяет алгоритм градиентного бустинга, добавляя тип автоматического выбора объектов, а также фокусируясь на примерах бустинга с большими градиентами. Это может привести к резкому ускорению обучения и улучшению прогнозных показателей. Таким образом, LightGBM стала де-факто алгоритмом для соревнований по машинному обучению при работе с табличными данными для задач регрессионного и классификационного прогностического моделирования. В этом туториале вы узнаете, как разрабатывать ансамбли машин Light Gradient Boosted для классификации и регрессии. После завершения этого урока вы будете знать:
LightGBM расширяет алгоритм градиентного бустинга, добавляя тип автоматического выбора объектов, а также фокусируясь на примерах бустинга с большими градиентами. Это может привести к резкому ускорению обучения и улучшению прогнозных показателей. Таким образом, LightGBM стала де-факто алгоритмом для соревнований по машинному обучению при работе с табличными данными для задач регрессионного и классификационного прогностического моделирования. В этом туториале вы узнаете, как разрабатывать ансамбли машин Light Gradient Boosted для классификации и регрессии. После завершения этого урока вы будете знать:
- Light Gradient Boosted Machine (LightGBM) — эффективную реализацию ансамбля стохастического градиентного бустинга с открытым исходным кодом.
- Как разрабатывать ансамбли LightGBM для классификации и регрессии с помощью API scikit-learn.
- Как исследовать влияние гиперпараметров модели LightGBM на её производительность.
Как представители разных профессий вас пробивают
10 мин
Чтобы проводить расследования по открытым данным в интернете, совершенно не обязательно обладать сверхтехническими познаниями.
Раньше возможности таких расследований были доступны только крупным корпорациям. Сейчас малый бизнес и вообще любой человек с интернетом может воспользоваться благами открытых данных.
Компании используют открытые данные, чтобы принимать важные решения, получать конкурентные преимущества и обеспечивать безопасность. Открытую информацию дешевле собирать и исследовать, она доступна — нужен только интернет и компьютер, а большинство инструментов можно использовать бесплатно. Такие данные легко распространять: они открытые, у всех к ним сразу будет доступ. Кроме того, OSINT ускоряет поиск и позволяет проводить исследования в режиме реального времени.
В этом материале мы приводим несколько простых примеров, как можно использовать OSINT в работе. Возможно, что-то из описанного ниже вы уже активно применяете, а что-то покажется вам интересной идеей и подтолкнет к новым.
Открытый курс машинного обучения. Тема 1. Первичный анализ данных с Pandas
Простой
15 мин
Туториал
Открытый курс машинного обучения mlcourse.ai сообщества OpenDataScience – это сбалансированный по теории и практике курс, дающий как знания, так и навыки (необходимые, но не достаточные) машинного обучения уровня Junior Data Scientist. Нечасто встретите и подробное описание математики, стоящей за используемыми алгоритмами, и соревнования Kaggle Inclass, и примеры бизнес-применения машинного обучения в одном курсе. С 2017 по 2019 годы Юрий Кашницкий yorko и большая команда ODS проводили живые запуски курса дважды в год – с домашними заданиями, соревнованиями и общим рейтингом учаcтников (имена героев запечатлены тут). Сейчас курс в режиме самостоятельного прохождения.
Почему все врут, правда о кривде
7 мин
Мы не любим ложь, мы ненавидим когда нас обманывают и ненавидим тех, кто нас обманывает. Праведный гнев охватывает нас, когда понимаем, что стали жертвой обмана. И в то же время мы постоянно лжём. Мы, люди - чемпионы по вранью. Лгут родители и лгут дети, лгут жены и лгут мужья, лгут политики, врачи, священники. Конечно же, лгут торговцы и мошенники. С одной стороны мы постоянно лжём, с другой стороны мы ненавидим ложь. Почему у нас двойные стандарты по отношению ко лжи. И откуда она, кривда, взялась?
Тестирование альтернативных гипотез – эффективная методика структурированного анализа информации
5 мин
Туториал
Когда мы пытаемся разобраться с какой-либо ситуацией и найти ответ на один из извечных вопросов «Кто виноват?», наш мозг любит выбирать первый понравившийся ответ и все факты уже рассматривать через его призму. Для того, чтобы ленивое серое вещество обмануть и заставить выйти из энергосберегающего режима, аналитики разведывательных служб придумали техники структурированного анализа (Structured Analytic Techniques), которые заставляют нас принять во внимание не только симпатичные нам варианты развития событий. Одной из самых распространенных техник является техника тестирования альтернативных гипотез, которую мы рассмотрим на небольшом шуточном кейсе.
Как мы предсказывали поломки нефтяных насосов: когда big data – это в прямом смысле нефть
8 мин
Привет, меня зовут Сергей Алямкин, я CTO компании Expasoft. В сфере моих профессиональных интересов: ML/DL, нейросети, квантизация, компьютерное зрение (полный список). В своей первой статье на Хабре хочу поделиться нашим пилотным проектом – как мы разрабатывали модель предиктивного обслуживания нефтедобывающих насосов для компаний из Северной Америки и России.
8 ошибок, из-за которых ты проиграешь в соревновательном Data Science
8 мин
Привет, чемпион!
Если ты читаешь этот пост, значит, тебе стало интересно, не допускаешь ли этих ошибок ты?! Почти уверен, что ты допускал эти ошибки хотя бы раз в жизни. Мы не застрахованы от совершения ошибок, такова наша человеческая натура — ошибаться для нас естественно. Однако, я постараюсь уберечь тебя от тех ошибок, которые совершал сам или замечал у других.
Так вышло, что за время участия в чемпионатах по соревновательному анализу данных я достаточно часто бывал в призовых местах. Однако, бывали случаи, когда я лишался призовых по глупости или неосторожности. Рассказываю по порядку.
Подборка о релокейте: страны, в которых хорошо
5 мин
Мы уже несколько лет выпускаем на Хабре истории о переезде. Некоторые успешные, некоторые не очень (примерно 30% экспатов со временем возвращались).
Сейчас тема стала особенно актуальной. И, может быть парадоксально, но количество вакансий из других стран (тег «Релокейт») у нас в боте тоже выросло в полтора раза. Никакой русофобии и близко не наблюдается, компании понимают, что сейчас уникальный шанс получить мозги, выезжающие из страны.
Если кто-то задумался о том, что делать, — вот личные истории из тех стран, в которые сейчас реально переехать, и в которых относительно просто построить новую жизнь.
Руководство по использованию pandas для анализа больших наборов данных
16 мин
Туториал
Перевод
При использовании библиотеки pandas для анализа маленьких наборов данных, размер которых не превышает 100 мегабайт, производительность редко становится проблемой. Но когда речь идёт об исследовании наборов данных, размеры которых могут достигать нескольких гигабайт, проблемы с производительностью могут приводить к значительному увеличению длительности анализа данных и даже могут становиться причиной невозможности проведения анализа из-за нехватки памяти.
В то время как инструменты наподобие Spark могут эффективно обрабатывать большие наборы данных (от сотен гигабайт до нескольких терабайт), для того чтобы полноценно пользоваться их возможностями обычно нужно достаточно мощное и дорогое аппаратное обеспечение. И, в сравнении с pandas, они не отличаются богатыми наборами средств для качественного проведения очистки, исследования и анализа данных. Для наборов данных средних размеров лучше всего попытаться более эффективно использовать pandas, а не переходить на другие инструменты.
В материале, перевод которого мы публикуем сегодня, мы поговорим об особенностях работы с памятью при использовании pandas, и о том, как, просто подбирая подходящие типы данных, хранящихся в столбцах табличных структур данных
В то время как инструменты наподобие Spark могут эффективно обрабатывать большие наборы данных (от сотен гигабайт до нескольких терабайт), для того чтобы полноценно пользоваться их возможностями обычно нужно достаточно мощное и дорогое аппаратное обеспечение. И, в сравнении с pandas, они не отличаются богатыми наборами средств для качественного проведения очистки, исследования и анализа данных. Для наборов данных средних размеров лучше всего попытаться более эффективно использовать pandas, а не переходить на другие инструменты.
В материале, перевод которого мы публикуем сегодня, мы поговорим об особенностях работы с памятью при использовании pandas, и о том, как, просто подбирая подходящие типы данных, хранящихся в столбцах табличных структур данных
DataFrame, снизить потребление памяти почти на 90%.
F-strings или как сделать код чуть более быстрым и читаемым
4 мин
В Python есть 3 способа форматировать строки, и один из них лучше других. Но не будем забегать наперед — о каком именно форматировании вообще речь? Каждый раз когда мы хотим поприветствовать пользователя по имени нам нужно вставить строку с именем в строку-шаблон. Большинство полезных записей в логах так же содержат значения переменных. И вот пример:
integer = 42
string = 'FORTY_TWO'
print('string number %s, or simply %d' % (string, integer))
print('string number {}, or simply {}'.format(string, integer))
print(f'string number {string}, or simply {integer}')
Первый способ, форматирование оператором %, пришел в Python еще из С — он имитирует функцию printf. Этот способ был первым в питоне, и остается единственным (из обсуждаемых в статье) в Python версии 2.5 и ниже.
Второй способ — это метод str.format, принадлежащий встроенному классу строк. Он появился с Python 3.0, и был портирован в версию 2.6. Этот метод был рекомендован как обладающий более богатым синтаксисом.
Третий способ, f-string, появился в Python версии 3.6. Как объяснено в PEP-0498, создание нового способа форматирования строк было мотивировано недостатками существующих методов, которые авторы характеризуют как подверженные ошибкам, недостаточно гибкие и не элегантные:
This PEP is driven by the desire to have a simpler way to format strings in Python. The existing ways of formatting are either error prone, inflexible, or cumbersome.Итак, у нас есть три способа решить одну задачу. Но может это дело личного вкуса и предпочтений? Возможно, но стиль вашего кода (особенно кода в проекте с большим количеством участников) точно выиграет от единообразия. В лучшем случае стоит использовать один метод форматирования строк, тогда читать код станет проще. Но какой же метод выбрать? И есть ли разница в производительности кода?
[Личный опыт] Жизнь IT-инженера в Болгарии: недорого, спокойно и идеально для семей с детьми
7 мин
В последнее время мы много пишем про страны с околосоветским прошлым вроде Латвии или Польши. Есть еще одна такая интересная страна — Болгария. Там мягкий климат, родственный нашему язык, много русскоговорящих, а в последнее время еще и хорошие условия для работы в IT. Наш герой переехал туда в 2013 году и расскажет, что делает эту страну практически идеальной для жизни и как тут сейчас устроен IT-рынок.
[Личный опыт] Место под солнцем: карьера, образование и жилье в Испании
7 мин
Холодной зимой многие мечтают о переезде в теплую страну. Например, в Испанию. Но все ли так хорошо? Почему сложно войти в испанское IT, какой нужно пройти «кастинг», чтобы снять квартиру, и почему на праздник нужно обязательно брать с собой беруши? О процессе релокации нам рассказал Кирилл Антошин. Передаем ему слово.
3D для каждого: области применения
7 мин
В прошлый раз мы немного познакомили вас с основными способами создания моделей, подходами и распространёнными методами. В этот раз мы расскажем об областях применения 3D-моделирования.
Применение диаграммы Исикавы для решения корпоративных проблем
6 мин
Проблема – это негативное состояние или событие, которое нам (лично, отделу или компании в целом) чем-либо мешает и угрожает возникновением ещё больших проблем. Значительная часть времени в управлении тратится на "латание корпоративных дыр" или создания таких условия, чтобы проблем не возникало. В этом материале расскажу о способе, который поможет делать эту работу системнее и эффективнее.
Перехват инфракрасных пультов с помощью Flipper Zero
14 мин
Flipper Zero — проект карманного мультитула для хакеров в формфакторе тамагочи, который мы разрабатываем.
Предыдущие посты
Как выглядит тестирование электроники Flipper Zero
Как мы делаем корпус Flipper Zero безупречным
Нахлобучиваем домофонные ключи iButton с помощью Flipper Zero
Как выглядит производство корпусов Flipper Zero изнутри
Altium 365 — как GitHub, но для разработки железа. Как мы делаем Flipper Zero
Flipper Zero — вымученная сертификация, открытие исходников и новые приколдесы
Делаем отладочную плату для Flipper Zero в Altium
Flipper Zero — план по производству и доставке
[Конкурс завершён] Помогите написать лор для Flipper Zero
Flipper Zero — предфинальные детали для пресс-форм, готовимся к запуску производства
Flipper Zero — в шаге от финальной версии железа
Псс, парень, не хочешь сделать модуль для Flipper Zero?
Flipper Zero — прогресс за сентябрь
Flipper Zero — давайте пилить вместе. Приглашаем разработчиков
Flipper Zero — как выйти на Кикстартер сидя на карантине на даче
Flipper Zero/One — теперь два устройства. Подготовка к Кикстартеру
[Flipper Zero] отказываемся от Raspberry Pi, делаем собственную плату с нуля. Поиск правильного WiFi чипа
Flipper Zero — пацанский мультитул-тамагочи для пентестера
Первый пост
Как мы делаем корпус Flipper Zero безупречным
Нахлобучиваем домофонные ключи iButton с помощью Flipper Zero
Как выглядит производство корпусов Flipper Zero изнутри
Altium 365 — как GitHub, но для разработки железа. Как мы делаем Flipper Zero
Flipper Zero — вымученная сертификация, открытие исходников и новые приколдесы
Делаем отладочную плату для Flipper Zero в Altium
Flipper Zero — план по производству и доставке
[Конкурс завершён] Помогите написать лор для Flipper Zero
Flipper Zero — предфинальные детали для пресс-форм, готовимся к запуску производства
Flipper Zero — в шаге от финальной версии железа
Псс, парень, не хочешь сделать модуль для Flipper Zero?
Flipper Zero — прогресс за сентябрь
Flipper Zero — давайте пилить вместе. Приглашаем разработчиков
Flipper Zero — как выйти на Кикстартер сидя на карантине на даче
Flipper Zero/One — теперь два устройства. Подготовка к Кикстартеру
[Flipper Zero] отказываемся от Raspberry Pi, делаем собственную плату с нуля. Поиск правильного WiFi чипа
Flipper Zero — пацанский мультитул-тамагочи для пентестера
Первый пост
Пульты от телевизоров, кондиционеров, музыкальных проигрывателей передают команды через ИК-порт. Инфракрасный порт во Flipper Zero позволяет рулить всеми ИК-устройствами: перехватывать сигналы пультов и сохранять их на SD-карту, брутфорсить неизвестные коды от бытовой техники и загружать свои коды пультов и новые протоколы.
В статье я покажу:
- Как устроены инфракрасные приемники и передатчики
- Какие бывают цифровые сигналы ИК-пультов
- Перехват и анализ ИК-сигналов
- Как с помощью Flipper Zero стать инфракрасным властелином