Pull to refresh
44
0.1
Сергей Кокорин @kokorins

User

Send message

Merlion Framework или как упростить работу с временными рядами

Reading time 11 min
Views 2.7K

Единственная причина для существования времени — чтобы все не  случилось одновременно.

Альберт Эйнштейн

Привет! Меня зовут Дмитрий, я дата-инженер в SM Lab, и в этом посте хочу рассказать вам о Merlion Framework. В посте мы рассмотрим его архитектуру, полезные функции и отличия от аналогов, разберём пару практических примеров, а также посмотрим, как всё считать и на какие метрики стоит обращать внимание.

В нашем мире время является незаметным четвертым измерением, по оси которого можно упорядочивать разные события.

Временной ряд – это набор данных, описывающих изменения какой-либо переменной во времени. 

Задача анализа и предсказания временных рядов остаётся актуальной для бизнеса, ведь  для успешного планирования возникает необходимость прогнозирования, например, следующих показателей:

Читать далее
Total votes 19: ↑19 and ↓0 +19
Comments 4

Дообучение ruGPT-3.5 13B с LoRA

Level of difficulty Medium
Reading time 10 min
Views 15K

Добрый день, уважаемые читатели и авторы Хабра!

Сегодня я рад представить вам подробное руководство по обучению модели ruGPT-3.5 13B с использованием датасетов модели Saiga-2/GigaSaiga, технологии Peft/LoRA и технологии GGML. Эта статья призвана стать полезным и практичным ресурсом для всех, кто интересуется машинным обучением, искусственным интеллектом и глубоким обучением, а также для тех, кто стремится глубже понять и освоить процесс обучения одной из самых мощных и перспективных русскоязычных моделей.

В данной публикации мы разберем каждый этап обучения модели, начиная от подготовки данных и заканчивая конвертацией в формат GGML. Буду рад, если мой опыт и знания помогут вам в вашем исследовании и экспериментах в этой захватывающей области!

Читать далее
Total votes 30: ↑30 and ↓0 +30
Comments 27

На волоске: как работает огромная сеть подводных кабелей, которая обеспечивает мир интернетом

Reading time 10 min
Views 14K

95% международного интернет-трафика проходит по волоконно-оптическим кабелям, которые лежат на дне морей и океанов, они соединяют почти все центры обработки данных на территории разных стран. До недавнего времени большая часть оптоволоконных линий использовалась и контролировалась государствами и телекоммуникационными компаниями, но в начале 2022 года The Wall Street Journal сообщило, что Alphabet, Meta, Amazon и Microsoft стали крупнейшими пользователями их мощностей: доля этой четвёрки составляет 66%.

Отраслевые аналитики обеспокоены, что главные поставщики интернет-услуг завладевают инфраструктурой для обеспечения своих поставок. Автор статьи в WSJ объясняет переживания специалистов: «Представьте, если Amazon владела бы дорогами, по которым доставляет посылки». Однако участие технических гигантов в индустрии снизило стоимость и к тому же увеличило пропускную способность для международной передачи данных на 41%. 

Читать далее
Total votes 14: ↑13 and ↓1 +12
Comments 6

Что почитать про разработку игр: интересные тексты из блога Pixonic за 2022-й

Reading time 4 min
Views 5.4K

Всем привет! Год потихоньку подходит к концу, так что самое время вспомнить, о чём мы писали. Собрали в одном материале самые интересные статьи из нашего блога и удобно сгруппировали их по темам — от геймдизайна до серверной разработки. Отличная возможность вернуться и перечитать полезные материалы или наверстать, если вы вдруг что-то пропустили.

Поехали!
Total votes 13: ↑12 and ↓1 +11
Comments 1

Российские аналоги зарубежных сервисов: большая подборка [В закладки]

Reading time 13 min
Views 14K

Последний месяц мы видим, как иностранные сервисы приостанавливают деятельность в России. Во многом ситуация затронула сферу IT и диджитал-рекламы. Можно по-разному к этому относиться, но продолжать работу в условиях неопределенности нужно в любом случае.

Поэтому мы предлагаем подборку российских сервисов и программ, которые способные частично или полностью заменить зарубежные, чтобы внезапные отключения привычных инструментов не остановили работу над проектом. Для удобства мы сгруппировали их по категориям и постарались рассказать об основных возможностях и фишках.

Видеосвязь

Мессенджеры

Таск-трекеры

Рассылки

Формы для опросов

Стоки

Конструкторы сайтов

Инструменты для дизайна

Читать далее
Total votes 24: ↑16 and ↓8 +8
Comments 6

Готовьсь, цельсь, пли! Как не обжечься при сборке Gradle-приложения, и настолько ли всё серьезно?

Reading time 14 min
Views 30K

Доброго дня, читатель! Меня зовут Стручков Михаил и я Android-разработчик в команде мобильного оператора Yota. 

В последнее время особенности нашего приложения способствуют частой и кропотливой работе с Gradle. В своем опыте работы с ним я успел пройти через стадию поломанных сборок, отчаяния в попытках понять причину очередного фейла при билде, и неподдельной радости после успешной реализации собственных задумок. 

Предлагаю вам упростить тернистый путь к пониманию сборки Gradle-приложений, разобрать основные этапы и их особенности, и попробовать совместно сократить трафик stackoverflow на тему Gradle. В качестве бонуса немного коснемся Gradle-плагинов и разберемся, как к ним подходить. 

Читать далее
Total votes 23: ↑22 and ↓1 +21
Comments 9

Музыка для игр: где брать треки инди-разработчикам

Reading time 3 min
Views 14K

Было время, когда музыка в видеоиграх представляла собой 8-битные мелодии. Но сегодня она такая же разнообразная, как и в других развлекательных жанрах. Есть мнение, что наибольший вклад в ее развитие вносят инди-разработчики, которые, обладая скромными бюджетами, не стесняются экспериментировать.

Сегодня мы расскажем о трех ресурсах, где можно найти royalty free треки для своих игровых экспериментов — IndieGameMusic, Unminus Music и cchound.

Читать далее
Total votes 9: ↑8 and ↓1 +7
Comments 3

Бесплатно или хотя бы недорого — где взять музыку для коммерческого использования

Reading time 3 min
Views 9K

В одном из прошлых материалов мы рассказали о доступных мониторных наушниках, которые пригодятся тем, кто совмещает отдых за прослушиванием любимых композиций с рабочими задачами, — пишет музыку или монтирует видео.

Об источниках аудиодорожек и сэмплов как раз для этих целей мы сегодня и поговорим. Рассказываем, где можно скачать треки с лицензией Creative Commons, которая зачастую позволяет использовать музыку в коммерческих проектах.

Читать далее
Total votes 12: ↑12 and ↓0 +12
Comments 1

17 интересных (и забавных) API для вашего проекта

Reading time 7 min
Views 117K


В этой статье я собрал несколько интересных сервисов с API, многие из которых вы можете использовать как основу для вашего приложения. Другие же отлично подходят как уникальные фичи, которые помогут разнообразить опыт использования вашей программы.

Читать дальше →
Total votes 56: ↑48 and ↓8 +40
Comments 7

Пишем телеграм-бота, который будет переводить интернет статьи в mp3-файлы

Reading time 5 min
Views 14K

Всем привет! В данной статье я поделюсь своей реализацией бота для telegram, который может переводить статьи из интернета в mp3-файлы. Для этого я буду использовать python 3.6 и соответствующие библиотеки. Итак, приступим...

Читать далее
Total votes 6: ↑6 and ↓0 +6
Comments 9

Перевод руководства по Stream API от Benjamin Winterberg

Reading time 18 min
Views 55K
Привет, Хабр! Представляю вашему вниманию перевод статьи "Java 8 Stream Tutorial".

Это руководство, основанное на примерах кода, представляет всесторонний обзор потоков в Java 8. При моем первом знакомстве с Stream API, я был озадачен названием, поскольку оно очень созвучно с InputStream и OutputStream из пакета java.io; Однако потоки в Java 8 — нечто абсолютно другое.
Читать дальше →
Total votes 17: ↑15 and ↓2 +13
Comments 2

Изучаем Latency: теория массового обслуживания

Reading time 27 min
Views 44K
Тема latency со временем становится интересной в разных системах в Яндексе и не только. Происходит это по мере того, как в этих системах появляются какие-либо гарантии по обслуживанию. Очевидно, дело в том, что важно не только пообещать какую-то возможность пользователям, но и гарантировать её получение с разумным временем отклика. «Разумность» времени отклика, конечно, сильно различается для разных систем, но базовые принципы, по которым во всех системах проявляется латентность, — общие, и их вполне можно рассматривать в отрыве от конкретики.

Меня зовут Сергей Трифонов, я работаю в команде Real-Time Map Reduce в Яндексе. Мы разрабатываем платформу для обработки потока данных в реальном времени с секундным и субсекундным временем отклика. Платформа доступна для внутренних пользователей и позволяет им выполнять прикладной код над постоянно поступающими потоками данных. Я попытаюсь сделать краткий обзор основных концепций человечества на тему анализа latency за последние сто десять лет, и сейчас мы попробуем понять, что именно про latency можно узнать, применяя теорию массового обслуживания.
Читать дальше →
Total votes 51: ↑50 and ↓1 +49
Comments 3

Матрица мотивационных ценностей для управления разработчиками

Reading time 7 min
Views 7.9K

Всем доброго времени дня. В этой статье хотелось бы затронуть результаты эксперимента в области исследования мотивации персонала, который был проведен в нашей компании недавно и узнать мнение аудитории касаемо методов, изложенных ниже.

Читать дальше →
Total votes 19: ↑15 and ↓4 +11
Comments 20

Распознавание жестов движений на Android используя Tensorflow

Reading time 10 min
Views 18K
image

Введение


В сегодняшние дни есть много разных способов взаимодействия со смартфонами: тач-скрин, аппаратные кнопки, сканер отпечатков пальцев, видео камера (например система распознавания лиц), D-PAD, кнопки на гарнитуре, и так далее. Но что насчет использования жестов движений?

Например быстрое перемещение телефона вправо или влево держа его в руке может очень точно отражать намерение перейти на следующую или предыдущую песню в плей-листе. Или же вы можете быстро перевернуть телефон верх ногами и потом назад для обновления контента приложения. Внедрение такого взаимодействия выглядит многообещающим и буквально добавляет новое измерение в UX. Эта статья описывает как реализовать подобное используя машинное обучение и библиотеку Tensorflow для Android.
Total votes 29: ↑29 and ↓0 +29
Comments 5

Выпуск#5: ITренировка — актуальные вопросы и задачи от ведущих компаний

Reading time 5 min
Views 14K
Пока мозг ещё не окончательно превратился в оливье, самое время немного заставить его поработать. Новая подборка логических и алгоритмических задач, предлагаемых на собеседованиях в известные IT-компании.

КДПВ

В нашу первую в новом году подборку попали вопросы и задачи, задаваемые в Alcatel-Lucent (Nokia).
Задачи мы постарись подобрать с различным уровнем сложности. На некоторые (а, может быть, и на все) вопросы можно найти ответ на просторах интернета, но это ведь не наш путь, верно?
Предлагаем интеллектуально размяться и попробовать самостоятельно решить приведённые задачи.

Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Comments 72

Обобщённый поиск путей для ИИ в платформерах

Reading time 10 min
Views 11K

Предисловие


Если вы создаёте игру-платформер в стиле «беги и прыгай», то, возможно, уже задумывались о добавлении в неё ИИ. Он может управлять противниками, объектами, которые игрок должен преследовать, и так далее… И слишком часто ради простоты программист реализации отказывается от умного ИИ, что в результате приводит к тому, что ИИ не может справиться с хитрыми прыжками, особо умным игроком или движущимися объектами уровня.

В этой статье представлена техника, позволяющая направить ИИ в любое статичное место на карте. Выбираемый ИИ путь требует множества прыжков с точно подобранным временем или обхода частей сцены, если этот путь начинается и заканчивается с статичной точке (но это условие не всегда обязательно).

Мы рассмотрим основную идею и создадим полную реализацию. Более сложные случаи, в том числе подвижные платформы/разрушаемые стены, мы рассмотрим в другой статье.

Эта техника использована в игре Nomera, см. на www.dotstarmoney.com или в Twitter.

e3iKSJ7.png


Прежде чем начать, проверьте, возможно, вы удастся реализовать более простой алгоритм, соответствующий упрощённой геометрии карты. Например, если коллизии в уровнях распознаются по сетке квадратов (как в большинстве 2D-игр). В таких случаях можно реализовать надёжный поиск путей ИИ с помощью более простых техник. Мой метод в основном подойдёт тем, кто хочет более «человечного» поведения ИИ.
Читать дальше →
Total votes 27: ↑26 and ↓1 +25
Comments 3

Приглашаем на mini ai cups

Reading time 4 min
Views 9.3K

image


Вот уже пять лет мы проводим russian ai cup, крупнейший в СНГ ежегодный чемпионат по искусственному интеллекту (а если проще — по написанию ботов для игр). И вот уже семь лет участники этого чемпионата просят либо оставлять песочницу работать весь год, либо запустить площадку, где можно было бы весь год играться в подобные же конкурсы, только чуть меньше размером.


Мы подумали и решили опробовать второй вариант — открыли новую площадку с мини-конкурсами, связанными с искусственным интеллектом и написанием ботов для игр. Встречайте новый для нас класс чемпионатов — http://aicups.ru/.

Читать дальше →
Total votes 55: ↑54 and ↓1 +53
Comments 19

Причуды Stream API

Reading time 23 min
Views 49K
Stream – таинственный мир функциональщины, несвойственный староверцам в мире объектной Java. Одновременно интересен и чужд мир лямбд, позволяющий вытворять с наборами данных порой такие вещи, что иные, увидев такое, захотят вас сжечь на костре.

Сегодня мы поговорим об Stream API и попробуем приоткрыть завесу тайны в до сих пор до конца неизведанном мире. Несмотря на то, что Java 8 вышла достаточно давно, далеко не все используют полный набор ее возможностей в своих проектах. Открыть этот ящик Пандоры и узнать, что собственно скрывается внутри столь загадочного явления, нам поможет разработчик из JetBrains – Тагир lany Валеев, который давно изучил этого фантастического зверя и места его обитания вдоль и поперек (и совсем недавно написал очередной гайд о том, как правильно, и как неправильно писать стримы), да еще и написал свою библиотеку StreamEx, улучшающую работу с джавовыми стримами. Кому стало интересно, просим под кат!



Total votes 48: ↑47 and ↓1 +46
Comments 14

Автоэнкодеры в Keras, Часть 2: Manifold learning и скрытые (latent) переменные

Reading time 11 min
Views 26K

Содержание






Для того, чтобы лучше понимать, как работают автоэнкодеры, а также чтобы в последствии генерировать из кодов что-то новое, стоит разобраться в том, что такое коды и как их можно интерпретировать.
Читать дальше →
Total votes 32: ↑32 and ↓0 +32
Comments 5

Как оценить качество системы A/B-тестирования

Reading time 11 min
Views 26K


Вот уже более полугода в компании используется единая система для проведения A/B-экспериментов. Одной из самых важных частей этой системы является процедура проверки качества, которая помогает нам понять, насколько мы можем доверять результатам A/B-тестов. В этой статье мы подробно опишем принцип работы процедуры проверки качества в расчете на тех читателей, которые захотят проверить свою систему A/B-тестирования. Поэтому в статье много технических деталей.
Читать дальше →
Total votes 33: ↑32 and ↓1 +31
Comments 6

Information

Rating
2,804-th
Location
Berlin, Berlin, Германия
Registered
Activity