Привет!‌ ‌
‌
В‌ ‌этом‌ ‌посте‌ ‌мы‌ ‌хотим‌ ‌немного‌ ‌рассказать‌ ‌о‌ ‌парочке‌ ‌pet-проектов,‌ ‌которыми‌ ‌занимаются‌ ‌наши‌ ‌коллеги‌ ‌из‌ ‌Ульяновска.‌ ‌С‌ ‌такими‌ ‌проектами‌ ‌ситуация‌ ‌зачастую‌ ‌обстоит‌ ‌следующим‌ ‌образом:‌ ‌человек‌ ‌пилит‌ ‌их‌ ‌потихоньку‌ ‌для‌ ‌себя,‌ ‌показывая‌ ‌только‌ ‌паре‌ ‌друзей‌ ‌или‌ ‌коллегам,‌ ‌и‌ ‌особой‌ ‌огласки‌ ‌это‌ ‌дело‌ ‌не‌ ‌получает.‌ ‌ ‌
‌
Хотя‌ ‌зачастую‌ ‌заслуживает.‌ ‌Из‌ ‌подручных‌ ‌материалов,‌ ‌энтузиазма‌ ‌и‌ ‌желания‌ ‌сделать‌ ‌что-то‌ ‌клевое‌ ‌просто‌ ‌потому,‌ ‌что‌ ‌можно,‌ ‌временами‌ ‌получаются‌ ‌отличные‌ ‌штуковины.‌ ‌К‌ ‌примеру,‌ ‌ребята‌ ‌из‌ ‌хакспейса‌ ‌Нейрон‌ ‌однажды‌ ‌просто‌ ‌just‌ ‌for‌ ‌fun‌ ‌сделали‌ ‌доступную‌ ‌базовую‌ ‌станцию‌ ‌2G.‌ ‌Понятное‌ ‌дело,‌ ‌что‌ ‌в‌ ‌больших‌ ‌городах‌ ‌(да‌ ‌и‌ ‌областях)‌ ‌она‌ ‌интересна‌ ‌только‌ ‌с‌ ‌точки‌ ‌зрения‌ ‌проекта‌ ‌и‌ ‌хобби,‌ ‌но‌ ‌для‌ ‌развивающихся‌ ‌стран,‌ ‌к‌ ‌примеру,‌ ‌это‌ ‌вполне‌ ‌себе‌ ‌полезная‌ ‌вещь.‌ ‌Во-первых,‌ ‌она‌ ‌работает,‌ ‌во-вторых,‌ ‌материальная‌ ‌составляющая‌ ‌весьма‌ ‌и‌ ‌весьма‌ ‌приятна.‌ ‌
‌
Так‌ ‌вот,‌ ‌про‌ ‌наших‌ ‌ребят.‌ ‌

‌ ‌

Команда‌ ‌из‌ ‌Ульяновска‌ ‌время‌ ‌от‌ ‌времени‌ ‌экспериментирует‌ ‌с‌ ‌разными‌ ‌штуками,‌ ‌которые‌ ‌делают‌ ‌жизнь‌ ‌в‌ ‌офисах‌ ‌проще‌ ‌с‌ ‌бытовой‌ ‌точки‌ ‌зрения.‌ ‌Это‌ ‌даёт‌ ‌им‌ ‌возможность‌ ‌и‌ ‌новые‌ ‌технологии‌ ‌потестить‌ ‌руками‌ ‌на‌ ‌чем-нибудь‌ ‌реальном,‌ ‌а‌ ‌не‌ ‌сферическом‌ ‌проекте‌ ‌в‌ ‌вакууме,‌ ‌
и‌ ‌навыки‌ ‌не‌ ‌растерять.‌ ‌
‌
Важное‌ ‌примечание:‌ ‌все‌ ‌описанные‌ ‌в‌ ‌посте‌ ‌штуки‌ ‌так‌ ‌выглядят,‌ ‌потому‌ ‌что‌ ‌специально‌ ‌используют‌ ‌максимально‌ ‌дешёвые‌ ‌и‌ ‌доступные‌ ‌материалы,‌ ‌а‌ ‌корпуса‌ ‌вообще‌ ‌печатают‌ ‌на‌ ‌3D-принтере,‌ ‌который‌ ‌стоит‌ ‌в‌ ‌офисе.‌ ‌

Привет! В начале мая мы вместе с РАЭК и Агентством Инноваций Москвы провели хакатон “Новая реальность”, посвященный идеям продуктов и сервисов, которые смогут пригодиться людям, государству и бизнесу в текущих условиях, а также после возвращения жизни в нормальное русло.

Зарегистрировалось более 200 команд, мы получили свыше 6000 заявок, в итоге отбор прошел примерно каждый пятый.

Мы хотим сказать спасибо всем, кто выразил интерес к событию и поучаствовал в нашем хакатоне. Тут следует сразу отметить, что главной целью было не придумать какой-то рабочий сервис с нуля и довести его за пару дней до состояния готового продукта, а нащупать ту или иную идею, оценить и спрогнозировать её необходимость и востребованность в новом мире. Или же обратить внимание на имеющуюся проблему, решение, которое уже есть и кем-то написано, но не справляется со своими задачами. Нашел такой сервис и придумал, как его качественно улучшить? Отлично, это тоже хорошая заявка на участие и возможность победить. В общем, ищем идею, ищем возможности улучшить что-то, что уже есть, и масштабировать это.

Подробнее о том, как все прошло, под катом.

Отличия от привычных хакатонов

Наверное, ни для кого не секрет, что прошлый год для Apache Hadoop стал годом больших перемен. В прошлом году произошло слияние Cloudera и Hortonworks (по сути, поглощение второго), а Mapr, в виду серьезных финансовых проблем, был продан Hewlett Packard. И если несколькими годами ранее, в случае on-premises инсталляций, выбор чаще приходилось делать между Cloudera и Hortonworks, то сегодня, увы, этого выбора у нас не осталось. Сюрпризом стал еще и тот факт, что Cloudera с февраля этого года объявила о прекращении выпуска бинарных сборок своего дистрибутива в публичный репозиторий, и теперь они доступны лишь по платной подписке. Конечно, возможность загрузки последних версий CDH и HDP, выпущенных до конца 2019-го года, все еще есть, и поддержка по ним предполагается в течение одного-двух лет. Но что же делать дальше? Для тех, кто ранее платил за подписку, ничего не изменилось. А для тех, кто не хочет переходить на платную версию дистрибутива, но при этом хочет иметь возможность получать свежие версии компонентов кластера, а также патчи и прочие обновления, мы и подготовили эту статью. В ней мы рассмотрим возможные варианты выхода из сложившейся ситуации.

Статья больше обзорная. В ней не будет сравнения дистрибутивов и подробного их разбора, а также не будет рецептов по их установке и настройке. А что же будет? Мы вкратце расскажем про такой дистрибутив как Arenadata Hadoop, который по праву заслужил наше внимание ввиду своей доступности, что на сегодня большая редкость. А затем поговорим про Vanilla Hadoop, в основном про то, как его можно “приготовить” с помощью Apache Bigtop. Готовы? Тогда добро пожаловать под кат.

Привет!

Необходимость работать из дома внесла достаточно корректив в наше с вами бытие, но IT этим и прекрасно, что многие вещи, которые в других сферах сильно завязаны на офлайн и теперь не очень укладываются в новые социальные дистанции, в IT продолжают работать, и работать успешно. Ведь что главное: нормальное сетевое соединение, собственные навыки и желание работать.

Мы вместе с РАЭК и Агентством инноваций Москвы учредили онлайн-хакатон VirusHack. И название тут отнюдь на дань общему хайпу, а вполне отражает тематику — хакатон направлен на поиск инноваций и полезных решений для новой реальности. Мы предлагаем поучаствовать в решении задач, с которыми столкнулась не только наша страна, но и весь мир. Давайте попробуем доказать, что новые технологии на самом деле могут сделать жизнь проще.



В общем и целом это будут решения, которые смогут помочь адаптироваться к новым условиям и каждому человеку, и бизнесу, и государству. Задач будет много — балансировщик нагрузки для больниц, оптимальное сжатие видеопотока с систем наблюдения, предсказательные сервисы на основе больших данных, телемедицина, сервисы для спорта, онлайн-обучение, AR/VR, логистика и умный дом и многое, многое другое.

Они поделены на 6 тематических треков: онлайн-образование, здоровье, новая экономика, жизнь в четырёх стенах, мегаполис Москва и городская среда. У победителей будет не только денежный приз и ценные подарки, но и возможность довести свою идею до уровня реальной эксплуатации в крупнейших компаниях РФ.

Подробнее о каждом треке и о самом хакатоне — под катом.

Привет, Хабр!

Данные — это ценнейший актив компании. Об этом заявляет чуть ли не каждая компания с цифровым уклоном. С этим сложно спорить: без обсуждения подходов управления, хранения и обработки данных сейчас не проходит ни одна крупная IT-конференция.

Данные к нам поступают снаружи, также они формируются внутри компании, а если говорить о данных телеком-компании, то это для внутренних сотрудников кладезь информации о клиенте, его интересах, привычках, месторасположении. При грамотном профилировании и сегментации рекламные предложения выстреливают наиболее эффективно. Однако, на практике не все так радужно. Те данные, которые хранят компании, могут быть безнадежно устаревшими, избыточными, повторяющимися, либо об их существовании никому не известно, кроме узкого круга пользователей. ¯\_(ツ)_/¯

Одним словом, данными нужно эффективно управлять – только в таком случае они станут активом, приносящим бизнесу реальную пользу и прибыль. К сожалению, для решения вопросов управления данными нужно преодолеть довольно много сложностей. Обусловлены они в основном как историческим наследием в виде «зоопарков» систем, так и отсутствием единых процессов и подходов к управлению ими. Но что означает «управлять данными»?

Именно мы об это мы и поговорим под катом, а также о том, как нам помог opensource-стек.

Кому и зачем надо отслеживать тренды технологического развития? Стартапам: стоит ли тратить свою жизнь на то, в чем не будет потребности через 5 лет? Венчурным инвесторам: во что вкладывать? Как не нарваться на мыльный пузырь? Крупному бизнесу: какие инвестиции позволят обогнать конкурентов? Настало ли время вкладываться в технологию Х или уже поздно, или еще подождать? Государственным институтам: какие технологии способны улучшить качество жизни? Образовательным учреждениям: чему учить студентов? Как обеспечить соответствие образовательных программ постоянно меняющимся требованиям рынка труда? Как перестать выпускать невостребованных специалистов?

Всем нам: какую специальность выбрать для обучения? В какой институт пойти? Какую сферу выбрать для работы? Какая компания не развалится через год? Как понять, что твоя предпринимательская идея востребованная и долгосрочная?



Меня зовут Павел Красовский, я заместитель директора Центра стратегических инноваций в Ростелекоме, и хочу рассказать о созданной нами системе отслеживания трендов, как и почему мы взялись за это, на чем все работает и какие у нас планы. Но начнем по порядку, и в этом посте — с проблематики.

Зачем Ростелекому знать про адреса все и даже немного больше?

Интернет, при всем своем цифровом имидже, штука, созданная в аналоговом мире. И до сих пор для того, чтобы в доме был высокоскоростной интернет, к дому должен быть физически подведён кабель.

Именно адрес дома является ключевым объектом идентификации в многоступенчатом процессе предоставления услуг Интернета.

Адрес возникает в момент, когда клиент звонит к нам в Ростелеком с вопросом, можно ли подключить интернет. Оператору нужно знать адрес клиента, чтобы проверить, проведён ли к дому кабель с интернетом. Адрес используется вплоть до этапа сопровождения и обслуживания действующего клиента. При обращении в службу технической поддержки по адресу клиента проверяется, является ли проблема локальной, или авария массовая и проблема затронула целый квартал.

И конечно, на каждом шаге процесса важна скорость ответа клиенту.

В этом посте мы расскажем о том, насколько важен для наших внутренних систем адрес клиента, почему ФИАС — не панацея, и для чего был создан Единый паспорт дома.

Современный бизнес воспринимает городские телефоны как устаревшую технологию: сотовая связь обеспечивает мобильность и постоянную доступность сотрудников, соцсети и мессенджеры являются более легким и быстрым каналом общения. Чтобы не отставать от своих конкурентов, офисные АТС все больше становятся похожи на них: они переходят в облака, управляются через web-интерфейс и интегрируются с другими системами через API. В этом посте мы расскажем, какие есть функции у API виртуальной АТС «Ростелекома» и как через него работать с основными функциями виртуальной АТС.

Привет!

Через две недели пройдет наш митап, посвященный Apache NiFi, полезному OpenSource-инструменту по доставке данных. Поговорим о живых кейсах и обсудим различные технические подходы его использования.

Спикеров будет 4, один человек от нас и коллеги по цеху от Центра разработки Тинькофф, ЭР-Телеком и Аренадата Софтвер.

Под катом — список докладов и ссылка на регистрацию.

Привет!

Мы тут решили провести митап-ретроспективу, в которой может принять участие любой желающий (конечно, если заранее зарегистрируется).



В чем смысл. Ретроспектива — это всегда хорошо. Это опыт. Особенно, если открыто рассказывать о факапах, о сложных решениях, о том, что сделали и чего хотелось бы достичь, но не осилили.

Мы разберем ряд реальных кейсов, обсудим работу менеджеров и управляющих проектов, а также их ошибки.

Для регистрации в качестве зрителя или спикера просто заполните эту форму.

А теперь немного подробнее о тех, кто уже готов выступить.

Нет идеального пути внедрения OpenStack в вашей компании, но есть общие принципы, которые могут направить вас к успешному внедрению



Одним из достоинств программного обеспечения с открытым исходным кодом, такого как OpenStack, является возможность скачать его, попробовать его в работе и получить практическое представление о нем без долгого взаимодействия с продавцами компаний-вендоров или без необходимости долгих внутренних согласований пилотного проекта между своей компаний и компанией-вендором.

Но что произойдет, когда придет время сделать нечто больше, чем просто попробовать проект? Как вы будете готовить развернутую систему от исходного кода до продуктивной среды? Как вы можете преодолеть организационные препятствия на пути внедрения новых и трансформирующих технологий? С чего начать? Что вы будете делать дальше?

Безусловно, многое можно извлечь из опыта тех, кто уже развернул OpenStack. Чтобы лучше понять закономерности принятия OpenStack, я поговорил с несколькими командами, которые успешно представили эту систему своим компаниям.

MercadoLibre: диктат необходимости и бег быстрее лани

Если потребность достаточно сильна, тогда внедрение гибкой облачной инфраструктуры может быть почти таким же простым, как «построить ее и они придут». Во многих отношениях это тот опыт, который получили Alejandro Comisario, Maximiliano Venesio и Leandro Reox в своей компании MercadoLibre, крупнейшей компании электронной коммерции в Латинской Америке и восьмой по величине в мире.

В прошлой статье мы рассказали о попытках использовать Watcher и представили отчет испытаний. Такие испытания мы периодически проводим для балансировки и других критических функций большого корпоративного или операторского облака.

Высокая сложность решаемой задачи, возможно, потребует нескольких статей для описания нашего проекта. Сегодня мы публикуем вторую статью цикла, посвященную балансировке виртуальных машин в облаке.

Немного терминологии

Компания VmWare ввела утилиту DRS (Distributed Resource Scheduler) для балансировки нагрузки разработанной и предлагаемой ими среды виртуализации.

Как пишет searchvmware.techtarget.com/definition/VMware-DRS
«VMware DRS (Планировщик распределенных ресурсов) — это утилита, которая балансирует вычислительные нагрузки с доступными ресурсами в виртуальной среде. Утилита является частью пакета виртуализации под названием VMware Infrastructure.

С помощью VMware DRS пользователи определяют правила распределения физических ресурсов между виртуальными машинами (ВМ). Утилита может быть настроена на ручное или автоматическое управление. Пулы ресурсов VMware могут быть легко добавлены, удалены или реорганизованы. При желании пулы ресурсов могут быть изолированы между различными бизнес-единицами. Если рабочая нагрузка на одну или несколько виртуальных машин резко меняется, VMware DRS перераспределяет виртуальные машины между физическими серверами. Если общая рабочая нагрузка уменьшается, некоторые физические серверы могут быть временно отключены, а рабочая нагрузка консолидирована.»

Зачем нужна балансировка?

Хабр, привет!

Все, кто работал хотя бы в одной крупной территориально распределенной компании с сетью филиалов по всей стране, сталкивался с проблемой: «Как проинформировать заинтересованные лица об услугах и сервисах, которые вы предоставляете в рамках своего подразделения? Как избежать дублирования разработки отчётов/функционала из-за разрозненности ИТ-команд из разных регионов необъятной страны, как централизовать данные и отчётность, как сократить издержки компании на разработку отчётности?».

Этот вопрос не миновал и нашу команду, команду бизнес-анализа по управлению данными. Но как донести информацию о том, что у нас сейчас есть, над какими проектами мы работаем и как с нами взаимодействовать? Мы расскажем о наших инструментах информирования и, надеюсь, вы поделитесь своими рекомендациями.

С чего мы начали — так это с построения портала. Для быстрого старта был поднят wiki, в котором отразили основные аспекты своих сервисов и процессов. После чего распараллелили свои активности. С одной стороны начали проработку полноценного портала с удобным и функциональным интерфейсом. С другой занимались наполнением контента на wiki c целью его дальнейшего переиспользования.



Так вот, давайте поговорим о контенте, который мы хотим транслировать. Основной нашей целью было сделать базу реализованных в компании отчетов – «Реестр отчетов». Идея прекрасная, но … тут же появляется вопрос: «А какие данные указывать в реестре, чтобы пользователь понял, что это за отчет и подходит ли он ему?».

Вы любите из раза в раз повторять рутинные операции? Вот и я нет. Но каждый раз в SQL-клиенте при работе с хранилищем Ростелекома приходилось прописывать все джойны между таблицами ручками. И это притом, что в 90% случаев поля и условия соединения таблиц совпадали от запроса к запросу! Казалось бы, любой SQL-клиент имеет функции автозаполнения, но для хранилищ оно не всегда работает: в них редко заводятся unique constraint и foreign key в целях повышения производительности, а без этого программе не узнать, как между собой связаны сущности и что она может тебе предложить.



Пройдя через отрицание, гнев, торг, депрессию и приближаясь к принятию, я решил — а почему бы самому не попробовать реализовать автозаполнение с блекджеком и как положено? Я пользуюсь клиентом dbeaver, написанным на java, у него есть комьюнити версия с открытым исходным кодом. Созрел нехитрый план:

В крупных облачных системах особенно остро стоит вопрос автоматической балансировки или выравнивания нагрузки на вычислительные ресурсы. Озаботились данным вопросом и в Тиониксе (разработчик и оператор облачных услуг, входим в группу компаний Ростелекома).

И, поскольку нашей основной платформой разработки является Openstack, а мы, как и все люди, ленивы, то было решено подобрать какой-то готовый модуль, что уже есть в составе платформы. Наш выбор пал на Watcher, который мы и решили использовать для своих нужд.

Для начала разберемся с терминами и определениями.

Привет!

Мы тут решили провести митап по DocOps — это почти как DevOps, только про документацию и всё, что с ней связано. Таких мероприятий обычно не так много, оно и понятно — документация не такая хайповая штука, как React, к примеру. Да и не только React, прямо скажем. Злые языки вообще утверждают, что от документации зрение портится.



Но она реально важна, с ней работают люди, и чем правильнее и логичнее у вас в компании выстроены процессы работы с документацией, тем всем будет проще. Даже тем коллегам, работа которых (на первый взгляд) в документацией не связана.

В общем, в пятницу, 26 июля, мы в 19.00 собираемся в Deworkacy (Москва, Берсеневская набережная, 6, стр 3) и начинаем документировать говорить про документацию. Список докладов — под катом.

Противостояние меча и щита — штука вечная. На каждый превосходный для своего времени доспех через пару лет (или десятилетий) обязательно найдется меч, который будет довольно бодро такой доспех крошить. Закошмаренные наличием такого меча ребята из оборонки создадут новый доспех, который станет хорошей защитой. Пока снова не придумают новый меч. В общем, это к вопросу о том, что хорошо бы поддерживать актуальное состояние защиты.

С кибербезопасностью все аналогично. Вирусы десятилетней давности уже не пугают никого, даже далеких от информационных технологий людей, потому что базовая система защиты ОС с ними справляется. А вот с современными шифровальщиками, например, все уже не так просто. Можно обложиться всевозможными платными антивирусами, но если не соблюдать здравую сетевую гигиену и временами запускать от администратора «картинки» с расширением .exe, результат будет печальным. Но предсказуемым.



Чем распространеннее становится интернет в целом, тем больше становится и информационных угроз. И дело даже не в увеличении поголовья «мамкиных хакеров», которым нужна девичья фамилия вашей мамы для взлома почты, но и в том, что способов взлома с помощью новых технологий и инструментов становится все больше.

К счастью, растет и число тех, кто хочет выступать и на стороне «белых», то есть защиты. Школьники и студенты активно интересуются технологиями и изучают противодействие угрозам.

Мы в Ростелекоме решили выстраивать для таких ребят систему «Школа — вуз — работодатель». И сейчас мы расскажем о том, как будет проходить наша новая образовательная программа для студентов.

SCRUM стал настолько популярен, что сейчас его пытаются внедрять практически везде. В больших компаниях иногда получается так, что SCRUM внедряют ради отчетности, или для того, чтобы быть “прогрессивным” и “модным”. В результате ситуация, что вроде как ответственный менеджер поставил себе очередную галочку, мол, надо было внедрить методологию — внедрил, молодец, но при этом вместо каких-то качественных улучшений на выходе оказывается так называемый «Zombie SCRUM». Это когда формально фреймворк внедрен, но по нему никто нормально не работает. Отсюда и название.



Меня зовут Олег Егоркин, я agile коуч в Ростелекоме, и в этом посте я расскажу, почему «зомби-скрам» вообще возникает, как этого избежать и как убедиться, что в компании все готово к запуску скрам-команды.

В процессе управления большими объемами данных и их визуализацией мы все чаще сталкиваемся с необходимостью внедрения единого инструмента доступа к управлению функционалом в хранилище. Причем этот инструмент должен быть одинаково удобен и понятен всем сотрудникам подразделения по управлению данными: администраторам, аналитикам, разработчикам и тестировщикам.



Меня зовут Виталий, я отвечаю в Ростелекоме за направление автоматизации тестирования и внедрение DevOps процессов. В данной статье я расскажу об интересном решении данной проблемы в крупном хранилище данных компании Ростелеком.

И вот как мы пришли к такому набору инструментов для решения данной задачи.

ETL-компонента хранилища данных часто оказывается в тени самого хранилища и ей уделяется меньше внимания, чем главной базе данных или фронт-компоненте, BI, формировании отчётов. При этом с точки зрения механики наполнения хранилища данными, ETL играет ключевую роль и требует не меньше внимания администраторов, чем остальные компоненты. Меня зовут Александр, сейчас я администрирую ETL в Ростелекоме, и в данной статье я постараюсь немного поделиться тем, с чем приходится сталкиваться администратору одной известнейшей ETL-системы в крупном хранилище данных компании Ростелеком.