В недавнем топике высказали пожелание, что было бы хорошо, если бы кто-то перевел. Я посмотрел текст — вроде не так много. Поэтому, кому интересно, смотрим…
Analyst Days: Ирина Сурова — Использование трассировок на практике
19 min
Tutorial
Публикуем статью, написанную на основании предыдущего доклада Ирины Суровой с прошлой конференции Analyst Days. В этом году Ирина выступает не только в роли докладчика, но и члена программного комитета будущей московской конференции.
Impact анализ на примере инфраструктуры корпоративного хранилища данных
8 min
В этой статье я хочу рассказать, как можно решать задачу impact анализа или анализа влияния в сложной, многоуровневой инфраструктуре корпоративного хранилища данных на примере нашего DWH в Тинькофф Банке.
Работая с DWH все наверняка задавались хоть раз вопросами:
Ответить на этот вопрос как правило непросто, т.к. нужно просмотреть дюжину ETL процессов, потом залезть в BI инструмент, найти нужные отчеты, что-то держать в голове, помнить о том, что что-то там строится ручным кодом и всё это выливается в большую головную боль.
Даже самое порой безобидное изменение может сказаться, например, на отчете, который каждое утро приходит на почту к председателю правления банка. Немного утрирую, конечно:)
Далее в статье я расскажу, как и с помощью чего можно уменьшить головную боль и быстро проводить impact-анализ в инфраструктуре DWH.
Работая с DWH все наверняка задавались хоть раз вопросами:
- «Что будет, если поменять поле в таблице?»
- «На каких ETL процессах это скажется?»
- «Какие отчеты будут затронуты?»
- «Какие бизнес процессы могут пострадать?»
Ответить на этот вопрос как правило непросто, т.к. нужно просмотреть дюжину ETL процессов, потом залезть в BI инструмент, найти нужные отчеты, что-то держать в голове, помнить о том, что что-то там строится ручным кодом и всё это выливается в большую головную боль.
Даже самое порой безобидное изменение может сказаться, например, на отчете, который каждое утро приходит на почту к председателю правления банка. Немного утрирую, конечно:)
Далее в статье я расскажу, как и с помощью чего можно уменьшить головную боль и быстро проводить impact-анализ в инфраструктуре DWH.
В чем разница между наукой о данных, анализом данных, большими данными, аналитикой, дата майнингом и машинным обучением
4 min
Recovery Mode
В последнее время слово big data звучит отовсюду и в некотором роде это понятие стало мейнстримом. С большими данными тесно связаны такие термины как наука о данных (data science), анализ данных (data analysis), аналитика данных (data analytics), сбор данных (data mining) и машинное обучение (machine learning).
Почему все стали так помешаны на больших данных и что значат все эти слова?
Почему все стали так помешаны на больших данных и что значат все эти слова?
Борьба с утечками памяти в Android. Часть 1
6 min
Этой статьей мы открываем цикл статей на Хабре о нашей разработке под Android. Согласно докладу компании Crittercism от 2012 года, OutOfMemoryError — вторая по распространенности причина «крашей» мобильных приложений.
Честно говоря, и в Badoo эта ошибка была в топе всех крашей (что неудивительно при том объеме фотографий, которые просматривают наши пользователи). Борьба с OutOfMemory — занятие кропотливое. Мы взяли в руки Allocation Tracker и начали играться с приложением. Наблюдая за данными зарезервированной памяти, мы выявили несколько сценариев, при которых выделение памяти росло с подозрительной стремительностью, забывая при этом уменьшаться. Вооружившись несколькими дампами памяти после этих сценариев, мы проанализировали их в MAT (http://www.eclipse.org/mat/).
Результат был занимательный и позволил нам в течение нескольких недель снизить количество крашей в разы. Что-то было специфично для нашего кода, но также выявились типичные проблемы, присущие большинству Android приложений.
Сегодня поговорим о конкретном случае утечки памяти. О нем многие знают, но часто закрывают на это глаза (а зря).
Вышел GitLab 9.5: Верификация коммитов GPG и шаблоны проектов
10 min
Translation
В GitLab 9.5 мы представляем верификацию коммитов GPG, шаблоны проектов, автоповтор неудавшихся работ CI, навигацию по дифф-файлу мерж реквестов, существенные улучшения производительности и многое другое.
Ваш выход, граф: как мы не нашли хороший сетевой граф и создали свой
13 min
Расследуя дела, связанные с фишингом, бот-сетями, мошенническими транзакциями и преступными хакерскими группами, эксперты Group-IB уже много лет используют графовый анализ для выявления разного рода связей. В разных кейсах существуют свои массивы данных, свои алгоритмы выявления связей и интерфейсы, заточенные под конкретные задачи. Все эти инструменты являлись внутренней разработкой Group-IB и были доступны только нашим сотрудникам.
Графовый анализ сетевой инфраструктуры (сетевой граф) стал первым внутренним инструментом, который мы встроили во все публичные продукты компании. Прежде чем создавать свой сетевой граф, мы проанализировали многие подобные разработки на рынке и не нашли ни одного продукта, который бы удовлетворял нашим собственным потребностям. В этой статье мы расскажем о том, как мы создавали сетевой граф, как его используем и с какими трудностями столкнулись.
Дмитрий Волков, CTO Group-IB и глава направления киберразведки
Анализ Буткита FinFisher
8 min
Translation
Добрый вечер! Ровно через неделю у нас стартует курс «Реверс-инжиниринг», и сегодня мы хотим поделиться с вами переводом материала, который имеет прямое отношение к этому курсу. Поехали.
Недавно мы исследовали вредоносный буткит FinFisher, опубликованный WikiLeaks. Большинство компонентов версии для Windows были достаточно простыми, так что перейдём сразу к драйверу режима ядра и загрузочному коду.
Драйвер режима ядра напрямую считывает сырые данные с жесткого диска, либо записывает их на него. С упрощенной версией метода, используемого драйвером, можно ознакомиться в этой статье.
Недавно мы исследовали вредоносный буткит FinFisher, опубликованный WikiLeaks. Большинство компонентов версии для Windows были достаточно простыми, так что перейдём сразу к драйверу режима ядра и загрузочному коду.
Драйвер режима ядра напрямую считывает сырые данные с жесткого диска, либо записывает их на него. С упрощенной версией метода, используемого драйвером, можно ознакомиться в этой статье.
System Analysis MeetUp UPD2 Трансляция и презентации
2 min
13 июня System Analysis Community Райффайзенбанка приглашает на свой первый открытый Meetup, который пройдет в офисе в Нагатино. Мы ждём системных и бизнес аналитиков, а также всех тех, кто связан с анализом или только планирует связать свою профессиональную деятельность с ним.
Хайповые строительные сектора и стоимость работ в Большом городе. Инфляция и рост чека в Сан-Франциско
11 min
Сан-Франциско — технологическая «Москва» нашего мира, на примере которого (при помощи открытых данных) можно наблюдать за развитием строительной отрасли в больших городах и столицах. В этом технологичном городе очень выраженно проходили экономические циклы, которые в разные временные промежутки, давали взрывной рост спроса разным секторам недвижимости.
Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последние тенденции и историю развития строительных секторов и спроса на недвижимость за последние 30 лет.
В прошлой статье была рассмотрена общая годовая сумма строительных объемов (инвестиций) в Сан-Франциско в период с 1980 по 2018 год. По разнице между ожидаемой (сметной) и фактической (пересмотренной) стоимостью строительства отслеживались движения настроений инвесторов в периоды экономических бумов и кризисов в регионе.
Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности
В данной статье рассмотрим подробнее отдельные отрасли строительства: ремонт крыш, кухонь, лестниц и ванных комнат. После этого сравним инфляцию по отдельным типам работ с данными по официальной инфляции и другими экономическими показателями.
Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последние тенденции и историю развития строительных секторов и спроса на недвижимость за последние 30 лет.
В прошлой статье была рассмотрена общая годовая сумма строительных объемов (инвестиций) в Сан-Франциско в период с 1980 по 2018 год. По разнице между ожидаемой (сметной) и фактической (пересмотренной) стоимостью строительства отслеживались движения настроений инвесторов в периоды экономических бумов и кризисов в регионе.
Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности
В данной статье рассмотрим подробнее отдельные отрасли строительства: ремонт крыш, кухонь, лестниц и ванных комнат. После этого сравним инфляцию по отдельным типам работ с данными по официальной инфляции и другими экономическими показателями.
Крошка Енот: как операторы JS-сниффера FakeSecurity распространяли стилер Raccoon
20 min
Летом 2020 года специалисты Group-IB обратили внимание на необычную кампанию по распространению стилера Raccoon. Сам стилер хорошо известен: он умеет собирать системную информацию, данные учетных записей в браузерах, данные банковских карт, а также ищет информацию о крипто-кошельках.
Сюрприз оказался в другом. Никита Ростовцев, аналитик Group-IB Threat Intelligence & Attribution, рассказывает, как в ходе исследования удалось восстановить хронологию вредоносной кампании, установить связи с другими элементами инфраструктуры злоумышленников. Забегая вперед, отметим, что «енот» оказался прикормленным уже известной нам группой.
Chipmunk: обновления
2 min
Короткий обзор очередных обновлений смотрелки логов chipmunk. Много исправлений, много корректировок и немного фишек, в том числе запрашиваемых сообществом.
CatBoost и ML-конкурсы
8 min
Эта статья основана на данных конкурса, который компания Driven Data опубликовала для решения проблем с источниками воды в Танзании. Краткий анализ данных, подготовка данных и бэйзлайн модель с использованием CatBoost. Целевая аудитория - те, кто хотят начать свой путь в ML-соревнованиях.
Дорогая редакция… Или какие новости в Феврале?
3 min
Немного об Agile и офисе
Недавно прошел тренинг Agile Development with Scrum и 2-х дневный workshop (тренингом не совсем это назовешь — 50% времени этого тренинга работа с живими документами и генерацией артефактов для получения информации о проекте) по сбору требований в Agile — REQ-Agile Requirements Analysis.
Было достаточно интересно. Первый тренинг проходил почти в виде круглого стола. В течении 4 часов мы обсуждали Agile — что это такое, почему подход рекомендует те или иные практики. Пришли к тому, что магии особой в этом нет и это здравый смысл в организации работы проектов.
Один из участников приятно отозвался об этом тренинге
Дело на триллион. В 2015-ом капитализация рынка SaaS достигнет $1 трлн
7 min
Сейчас много проектов по созданию новых сервисов совместной работы. Несмотря на то что инвесторы уже начали понимать перспективность SaaS-рынка, еще остается определенный скепсис, и если такой стартап приходит к инвестору, то может услышать: «Зачем еще один тысяча первый сервис совместной работы?». Нужно наглядно показать, что рынок растет и готов вместить еще одного игрока. Мы делаем именно такой сервис, и нам пришлось подготовить разумные объяснения.
Инвестор вкладывает в бизнес, рассчитывая на рост капитализации, поэтому нужно быть готовым рассказать про капитализацию рынка. Выяснилось, что инвесторы тоже люди и, как все люди, больше интереса проявляют к интересным историям о том, как развитие продукта и рынка изменят мир.
Если кратко, рынок очень большой, быстро растет и можно без страха на него заходить. Выручка в целом по рынку за 2003 год составила $3b, за 2011 год — $12b. На 2015 год Gartner прогнозирует $21b. Облачные сервисы стоят в 40 раз дороже прибыли, отсюда капитализация рынка получается $840b.
Инвестор вкладывает в бизнес, рассчитывая на рост капитализации, поэтому нужно быть готовым рассказать про капитализацию рынка. Выяснилось, что инвесторы тоже люди и, как все люди, больше интереса проявляют к интересным историям о том, как развитие продукта и рынка изменят мир.
Если кратко, рынок очень большой, быстро растет и можно без страха на него заходить. Выручка в целом по рынку за 2003 год составила $3b, за 2011 год — $12b. На 2015 год Gartner прогнозирует $21b. Облачные сервисы стоят в 40 раз дороже прибыли, отсюда капитализация рынка получается $840b.
God object. Анализ сложных проектов
5 min
Введение
Ни для кого не секрет, что такой архитектурный антипаттерн как God object препятствует эффективному поддерживанию кода проекта. Однако его все равно можно встретить в Legacy-системах корпоративного сектора. Со временем код становится настолько сложным, что изменить его функциональность, даже при наличии Unit-тестирования, становится большой проблемой. Такие системы никто не хочет поддерживать, все боятся что-либо улучшать, количество проблем в трекере держится постоянным числом, но может и расти. Как правило, у команды упавшее настроение, которое со временем становится чемоданным: все хотят свалить.
Kibana Tips & Tricks: How to view events in Discover mode
3 min
Tutorial
Hi Habrausers!
As you may know Kibana is a visualization instrument, part of ELK (Elastic, Logstash, Kibana) stack. With the help of Kibana you may analyze and visualize your data, build different charts and combine them on the dashboard to present data in the most beautiful way.
People who use Kibana in our company have different background — some of them are technical who process data, some are managers who simply want to monitor some KPIs. And all have various questions. In spite of Kibana is rather popular in IT companies, there are not many articles or courses about it. To fill the gap I have created Kibana Tips & Tricks — weekly letters with frequently asked questions or themes. Such letters help our users to become more familiar with Kibana. There are no secrets — just detailed description of how you may work with your data.I would like to share the first part of 'Kibana Tips & Tricks' with you — series of simple how-to articles for people who would like to know more about data analysis and visualization in Kibana. Today we will see how to view events in Kibana.
How the PVS-Studio analyzer began to find even more errors in Unity projects
7 min
When developing the PVS-Studio static analyzer, we try to develop it in various directions. Thus, our team is working on plugins for the IDE (Visual Studio, Rider), improving integration with CI, and so on. Increasing the efficiency of project analysis under Unity is also one of our priority goals. We believe that static analysis will allow programmers using this game engine to improve the quality of their source code and simplify work on any projects. Therefore, we would like to increase the popularity of PVS-Studio among companies that develop under Unity. One of the first steps in implementing this idea was to write annotations for the methods defined in the engine. This allows a developer to control the correctness of the code related to calls of annotated methods.
Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности
13 min
Это серия статей посвящена исследованию строительной активности главного города Кремниевой Долины — Сан-Франциско. Сан-Франциско — технологическая «Москва» нашего мира, на примере которого (при помощи открытых данных) можно наблюдать за развитием строительной отрасли в больших городах и столицах.
Построение графиков и расчётов проводилось в Jupyter Notebook (на платформе Kaggle.com).
Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последнии тенденции и историю развития строительной отрасли за последние 40 лет, в период с 1980 по 2019 год.
Открытые данные дают возможность исследовать основные факторы, которые влияли и будут влиять на развитие строительной отрасли в городе, разделив их на “внешние” (экономические бумы и кризисы) и “внутренние” (влияние праздников и сезонно-годовых циклов).
Построение графиков и расчётов проводилось в Jupyter Notebook (на платформе Kaggle.com).
Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последнии тенденции и историю развития строительной отрасли за последние 40 лет, в период с 1980 по 2019 год.
Открытые данные дают возможность исследовать основные факторы, которые влияли и будут влиять на развитие строительной отрасли в городе, разделив их на “внешние” (экономические бумы и кризисы) и “внутренние” (влияние праздников и сезонно-годовых циклов).
Impact Analysis: 6 шагов, которые облегчат тестирование изменений
5 min
Impact Analysis (импакт анализ, анализ последствий) - это исследование, которое позволяет указать затронутые места (affected areas) в проекте при разработке новой или изменении старой функциональности, а также определить, насколько значительно они были затронуты.
Проведение исследования изменений могут помочь QA:
- сфокусироваться на тестировании функциональности, где изменения были представлены;
- принять во внимание части проекта, которые были затронуты изменениями и, возможно, пострадали;
- не тратить время на тестирование тех частей проекта, которые не были затронуты изменениями.