Всегда можно дальше развиваться, даже будучи крепостным "Директором по ИТ". В наше время сейчас уникальное окно возможностей для грамотных и инициативных спецов. Любой работодатель жаждет нанять скиллового человека который растет.
На примере сабжа - "Директора по ИТ" - легко можно придумать несколько направлений деятельности куда дальше автор мог бы расти, приложи хоть какой-то минимум усилий:
Построить отношения с собственником бизнеса, его соучредителями и управлять развитием бизнес-процессов не на уровне одной компании, а на уровне группы компаний - помогать развивать ИТ для всех их бизнесов.
Цифровая трансформация. Придумать вектор развития бизнеса и вести развитие на новые рынки, желательно исследовательско-научный вектор. Например выводить продажи в онлайн или экспорт в другие страны и полностью покрыть все потребности ИТ. Доходы компании растут, зарплата тоже, премии будут уже не фикс, а в процентах с выручки без привязки к рынку. Какой-нибудь машин лернинг, что угодно что качественно и количественно улучшит бизнес и продукт.
Вырастить себе заместителя который всю твою работу будет делать за тебя, а ты будешь только контролировать. Тогда высвободится время заниматься развитием новых прорывных направлений, например расширение бизнеса путем скупки(сделки слияний и поглощений) конкурентов и интеграция конкурентов в головную инфраструктуру.
Ключевой вариант - всегда быть во фронт-офисе, а не бэк-офис. Бэк-офис это поддержка, эникейщики и сисадмины, центр расходов, тупик развития, смерть. А фронт-офис это продажники, директоры по развитию, по стратегии, выход на новые рынки и новые продукты, все что помогает увеличить доходы. Во фронте всегда есть возможности для роста потому что любая компания всегда хочет расти в доходах и всегда есть планы развития. А айтишник с опытом автоматизации, цифровизации, какой-нить машин лернинг - всегда нарасхват
безопасники это те же ИТшники, только более опытные и с фокусом на безопасность, а не операционные функции. Они должны быть технарями в первую очередь, и работать как архитекторы вместе и рука об руку с ИТ и помогать создавать безопасную инфраструктуру для использования ИТ. ИТ это лишь операторы. Безопасники это архитекторы которые создают изначально безопасный дизайн, конфигурацию и следят за поддержанием безопасности (апдейты, патчи, реагирование на инциденты, смена конфигурации и тд)
например: архитектура сети, как одни подсети общаются с интернетом и корп сетями и разрабами (VPC, GW) - это обязанность безопасников. настройка фаероволов и стандартные темплейты для секьюрити групп.
образы ОС и создание образов платформ с hardened настройками, центральная авторизация и логгинг, сбор метрик и реагирование на инциденты, сканирование на уязвимости, динамическое и статическое сканирование, периодические пентесты - все обязанность безопасников.
любую платформу, например endpoint, email, webserver - должны быть 2 человека ответственны, один из ИТ как оператор и другой от безопасников как архитектор.Это дорого, но оправданно на высоких машстабах при большом кол-ве сотрудников.
автор жалуется на дата инженеров что мол они везде доступ получают и качают данные, так в инфобезе сейчас нереально высокий спрос на своих дата инженеров в безопасности. Когда нужно вытащить данные из десятков разных систем и видеть целую картину. Без данных безопасники как слепые котята - видят только кусочек но не видят общую картину. Какой-нибудь старый древний сервер которые работает в подвале офиса и 100 лет не патчится и о котором никто не знает - только через обработку данных и кросс-корреляцию узнать. Прогуляться автоматом по всем сетевым свитчам и фаерволам и собрать текущую конфигу - через автоматизацию и сбор данных. Прогуляться по всем линуксовым боксам и собрать кто имеет права на sudo - через автоматизацию и сбор данных. Вытащить данные из сканера уязвимостей и потом скоррелировать с SCCM по тому где какие патчи установились, или вытащить данные из Active Directory и сравнить с другими системами.
уже не говорю про навороченные системы, реагирование на инциденты через машин лёрнинг (IPS, IDS, WAF, SIEM, DLP, UEBA, Anti-Fraud) - везде МЛ щас
Не буду злорадствовать над горем читателя, ему нужен наставник/товарищ/друг-погромист который лично встретится с ним, окажет какую-то психологическую/моральную поддержку, наставит как проходить интервью или даже резюме просмотрит и отредактирует. Нужно ему среди опытных людей-погромистов поошиваться.
в сша в Чикаго например дефицит погромистов и иммигранты из экс-СССР стран (таксисты и водители траков) за полгода переучиваются сначала на тестировщиков ПО (зп $60k в год), потом выучивают жаву и становятся спецами по selenium QA Automation (зарплата $90к в год), а потом и в полноценные ява бекендеры на спрингбуте ($120k в год) переходят — это люди, которые год назад крутили баранку, а потом пишут код который перетаскивает джейсоны из фронта в бекенд.
мне кажется команда дата саенс должна быть частью продуктовой/бизнесовой команды.
помимо трассировки приложения, метрик, есть еще такие вещи как А/Б тесты, randomized controlled trials, многорукие бандиты и другие численные методы, которые:
1. нужны как воздух для развития продукта
2. требуют знания дата саенса
3. требуют мощных дата пайплайнов
тогда не будет противоречия между архитекторами, разрабами, продуктов и дата саенсом.
Команда продукта, а именно их метрики вроде Дохода/прибыли/роста клиентов будут драйвить все действия всех команд: айти инфраструктура, девопсы, разрабы, безопасники, продукт менеджмент, разрабы, маркетинг, дата саенс.
я уже не говорю о том, что какие-то фичи продукта могут полностью переплетаться с дата саенсом. Например рекомендательная система для клиентов на основе коллаборативного фильтра — ее должны реализовывать бекендеры, которые только джейсон перекладывать могут, фронтендеры-формошлепы, дата инженеры, или дата саентисты? а кто будет делать A/B тест и смотреть на сколько рекомендации приносят доход? тут командная работа нужна, и продукт менеджеры в идеале должны драйвить процесс.
самое печальное, что в продукты набирают гуманитариев, кто не прошел ни в инженеры, ни в датасаентисты, которые не могут организовать всех вокруг продукта, и как часто в ынтырпрайзе случается — начинается политика по перетягиванию одеяла на себя у каждой мини-команды
зачем заморачиваться с линкедсервер для переливки данных, когда есть старый добрый SSIS?
никакого си шарпа, умения программировать или знания внутренностей sql не надо, любой самый дешевый джун или вчерашний вайтишник может мышкой потыкать и drag&drop-нуть один Data Flow и все. с популяризацией Ажур, то их аналог ADF то же самое делает за пару тыков мышкой
по скорости один из самых быстрых и дешевых способов и легко поддерживаемых даже людьми далекими от тонкостей администрирования баз данных
хорошая статья, много правильных мыслей, спасибо автору.
BI агрессивно пушится в основном самими вендорами решений, которые рубят на лицензиях нехилую денюжку, а self-service BI — это когда ты продаешь лицензию на каждого сотрудника компании-клиента — это вообще золотая жила для вендора, денежный станок, мечта капиталиста.
Для какого-нить Табло есть большая разница между продать 10 лицензий BI-аналитикам или же назвать это все self-service и продать 1000 лицензий: каждому сотруднику у которого есть компьютер, доступ к корпоративной CRM/ERPшке и «нужда в реалтайм селф-сервис аналитике и красивых дешбордах»
люди которые шарят в облаках никогда не пойдут на ЗП обычного сисадмина, можно конечно набрать студентов которые только вошли в айти с двухмесячных курсов, но это на любителя.
касательно планов восстановления: по идее люди используют Availability zone, но конечно есть сервисы которые когда упадут — не дадут ниче сделать, например недавний кратковременный сбой amazon IAM) — виртуалки работали, но никого не пускало в панель управления
простите, а зачем переписывать с быстрого РНР на тормознутый питон?
интересно, а можно ли статически скомпилировать РНР скрипт с интерпретатором и всеми делами в один исполняемый файл (наподобие Go) — была бы тут конкуренция с go или нет?
как зарабатывать будучи SMM-щиком гуманитарием:
1. нужно не уметь программировать
2. нужно взять любую статью на английском где куча обсуждений (потому, что она сомнительна) с линкедына, medium, towards datascience, или первого попавшегося блога из поисковика
3. перевести статью гугл транслейтом, поправить слегка машиноперевод
4. вставить рекламную плашку, «на правах рекламы» и запостить на хабр
5. откинуться в кресле, захватить попкорн, читать каменты и получать комиссию за успешный копирайтинг и показывать спонсору сколько просмотров и каментов
Чарли Мангер (коллега Баффетта) как то сказал: Show me incentives and I can tell you outcomes. Что-то типа покажи мне какие стимулы и я скажу каков будет результат
Покупка Nginx компанией F5 как пример, если память мне не изменяет они выложили около сумму в 35% от рыночной капитализации F5 за опенсорсный продукт, что является огромной суммой. Если достаточно испугать корпорацию опенсорсной альтернативой которая ничем не хуже продукта вендора, то выложат любую сумму. Помните, что эти деньги они берут практически бесплатно выпуская акции и продавая их на фондовом рынке тем же блек рокам.
Index fund managers aren’t meeting with companies to secretly carve up markets in smoke-filled rooms. The process critics imagine is more subtle. It starts with the idea that passive funds seek only to match an index’s return and not outperform it. Thus the fund managers lack financial incentives to ensure the companies in their portfolios are competing fiercely with one another. Compare this to an active manager who holds, say, shares of Coca-Cola Co. but not PepsiCo Inc. She might want Coca-Cola to take big risks to crush Pepsi, and invest capital in new products and markets to do so. An investor who holds both, on the other hand, would prefer that Coke and Pepsi avoid price wars.
Such going along to get along may not always be benign. A 2018 study found that, when the same institutional investors are the largest shareholders in branded drug companies and generic drugmakers, the generic companies are less likely to offer cheaper versions of the brand-name drugs. Consumers could be paying higher drug prices as a result. “The potential effects on anti-competitive conduct are really serious,” says Melissa Newham, a Ph.D. candidate at KU Leuven in Belgium and a co-author of the study. It isn’t clear whether funds are somehow pressuring management or management just knows that competing hard isn’t in the interest of their key shareholders.
стори про блек рок вангуард, и стейт стрит (большая тройка индексных фондов контролирующиз практически все публичные корпорации мира) правда, уже много исследований было сделано, что индустрии где эти 3 компании владеют всеми, становятся олигополистическими, компании конкурируют не технологиями, а тупым дешевым маркетингом. В итоге страдает как всегда потребитель.
выход все еще есть. Какой? Сфера венчурного капитала и стартапов. Раз эти толстосумы готовы выкладывать сотни миллионов за стартапы, нужно их создавать пачками и продавать им хоть каждый год.
Или же фаундер перспективного стартапа должен не продаваться с потрохами, а должен оставить себе большой пакет акций и работать как лошадь 24/7 чтобы перестроить рынок и подвинуть старых динозавров (Безос, Маск и другие).
так что надо не жаловаться на олигополию, а работать создавая прорывной стартап. Если вы видете рыночную возможность и можете технически воплотить продукт, то это можно очень хорошо смонетизировать.
возможно выскажу непопулярное мнение, но для ентерпрайза держать один центральный отдел аналитики и нанимать питонистов для обычной трансформации и визуализации данных — пустая трата времени и ресурсов. Питонисты-сатанисты стоят дороже, а сам язык и рантайм жрут компьютерные ресурсы как не в себя и очень медленные. Я уже не говорю про головные боли с библиотеками и пакетными менеджерами (и возможностью подцепить трояна через какую-нибудь питоновскую библиотеку). Спарк-хадуп кластер требует еще больше ресурсов, как на людей так и на инфраструктуру.
с другой стороны если использовать только SQL (любой), то не нужно создавать новую инфраструктуру — все может работать на существующей инфраструктуре для продуктовых баз данных. Сами SQL специалисты в целом дешевле и более квалифицированные (за те же деньги для питониста-ДС можно взять убер скиллового SQL эксперта).
визуализацию вообще можно/нужно отдать в руки бизнеса (BI embedded into business), пусть каждый отдел который занимается бизнесом берет себе BI специалиста — тулы типа ПоверБИ/Табло могут покрыть 99% нужд бизнеса, они будут внедрены в контекст самого бизнеса и будет быстрый «feedback loop».
единственно куда нужно брать специалисов питон/R (без разницы какой язык) — это продуктовое машинное обучение, т.е. создание и поддержание новых продуктов с использованием МЛ. Причем это будет зависеть от ниши — если вы в computer vision — то вам нужен и питон и С++.
Если вы в финансах/страховании — то скорее всего у вас есть кодовая база на SAS, и нет смысла менять стек.
Так что грубо говоря без разницы какие там недостатки у пандас по сравнению с data.table, пандас вообще не нужен как таковой. Нужен:
1. SQL для ETL
2. решение для BI визуализации (powerBI, tableai, microstrategy, pentaho, qlikview, etc.), чтобы люди близкие к бизнесу, но далекие от ИТ могли сами себе свои диаграммы и отчетики клепать (self-service Business Intelligence так называемый)
если вам нужен МЛ, то:
3. нужен любой подходящий язык для разработки статистических моделей, которые приходят из ETL
4. подходящий рантайм для деплоя и мониторинга стат моделей в проде.
автор молодец.
Я помню начал свой путь в программирование с того, что написал программу на Паскале решающую квадратные уравнения со всем пошаговым решением — просто чтобы побыстрому сделать домашку и дальше можно было играть в игры
След шаг — научить детей вашему подходу, чтобы они сами могли решать домашку с помощью программирования
А можно вопрос: чтобы использовать вебхуки нужно чтобы женкинс был доступен гитхабу (и всем остальным) из интернета?
это же небезопасно, зачем люди вообще так делают? Или есть способ безопасно открыть доступ только для вебхуков гитхаба?
Всегда можно дальше развиваться, даже будучи крепостным "Директором по ИТ". В наше время сейчас уникальное окно возможностей для грамотных и инициативных спецов. Любой работодатель жаждет нанять скиллового человека который растет.
На примере сабжа - "Директора по ИТ" - легко можно придумать несколько направлений деятельности куда дальше автор мог бы расти, приложи хоть какой-то минимум усилий:
Построить отношения с собственником бизнеса, его соучредителями и управлять развитием бизнес-процессов не на уровне одной компании, а на уровне группы компаний - помогать развивать ИТ для всех их бизнесов.
Цифровая трансформация. Придумать вектор развития бизнеса и вести развитие на новые рынки, желательно исследовательско-научный вектор. Например выводить продажи в онлайн или экспорт в другие страны и полностью покрыть все потребности ИТ. Доходы компании растут, зарплата тоже, премии будут уже не фикс, а в процентах с выручки без привязки к рынку. Какой-нибудь машин лернинг, что угодно что качественно и количественно улучшит бизнес и продукт.
Вырастить себе заместителя который всю твою работу будет делать за тебя, а ты будешь только контролировать. Тогда высвободится время заниматься развитием новых прорывных направлений, например расширение бизнеса путем скупки(сделки слияний и поглощений) конкурентов и интеграция конкурентов в головную инфраструктуру.
Ключевой вариант - всегда быть во фронт-офисе, а не бэк-офис. Бэк-офис это поддержка, эникейщики и сисадмины, центр расходов, тупик развития, смерть. А фронт-офис это продажники, директоры по развитию, по стратегии, выход на новые рынки и новые продукты, все что помогает увеличить доходы. Во фронте всегда есть возможности для роста потому что любая компания всегда хочет расти в доходах и всегда есть планы развития. А айтишник с опытом автоматизации, цифровизации, какой-нить машин лернинг - всегда нарасхват
почему статьи с хакер ньюс оказываются здесь? я их на хакер ньюс читал в оригинале ))
безопасники это те же ИТшники, только более опытные и с фокусом на безопасность, а не операционные функции. Они должны быть технарями в первую очередь, и работать как архитекторы вместе и рука об руку с ИТ и помогать создавать безопасную инфраструктуру для использования ИТ. ИТ это лишь операторы. Безопасники это архитекторы которые создают изначально безопасный дизайн, конфигурацию и следят за поддержанием безопасности (апдейты, патчи, реагирование на инциденты, смена конфигурации и тд)
например: архитектура сети, как одни подсети общаются с интернетом и корп сетями и разрабами (VPC, GW) - это обязанность безопасников. настройка фаероволов и стандартные темплейты для секьюрити групп.
образы ОС и создание образов платформ с hardened настройками, центральная авторизация и логгинг, сбор метрик и реагирование на инциденты, сканирование на уязвимости, динамическое и статическое сканирование, периодические пентесты - все обязанность безопасников.
любую платформу, например endpoint, email, webserver - должны быть 2 человека ответственны, один из ИТ как оператор и другой от безопасников как архитектор.Это дорого, но оправданно на высоких машстабах при большом кол-ве сотрудников.
автор жалуется на дата инженеров что мол они везде доступ получают и качают данные, так в инфобезе сейчас нереально высокий спрос на своих дата инженеров в безопасности. Когда нужно вытащить данные из десятков разных систем и видеть целую картину. Без данных безопасники как слепые котята - видят только кусочек но не видят общую картину. Какой-нибудь старый древний сервер которые работает в подвале офиса и 100 лет не патчится и о котором никто не знает - только через обработку данных и кросс-корреляцию узнать. Прогуляться автоматом по всем сетевым свитчам и фаерволам и собрать текущую конфигу - через автоматизацию и сбор данных. Прогуляться по всем линуксовым боксам и собрать кто имеет права на sudo - через автоматизацию и сбор данных. Вытащить данные из сканера уязвимостей и потом скоррелировать с SCCM по тому где какие патчи установились, или вытащить данные из Active Directory и сравнить с другими системами.
уже не говорю про навороченные системы, реагирование на инциденты через машин лёрнинг (IPS, IDS, WAF, SIEM, DLP, UEBA, Anti-Fraud) - везде МЛ щас
>>SberCVSS: 5.4
а что такое СберCVSS? Можете рассказать подробнее, как считается?
в сша в Чикаго например дефицит погромистов и иммигранты из экс-СССР стран (таксисты и водители траков) за полгода переучиваются сначала на тестировщиков ПО (зп $60k в год), потом выучивают жаву и становятся спецами по selenium QA Automation (зарплата $90к в год), а потом и в полноценные ява бекендеры на спрингбуте ($120k в год) переходят — это люди, которые год назад крутили баранку, а потом пишут код который перетаскивает джейсоны из фронта в бекенд.
помимо трассировки приложения, метрик, есть еще такие вещи как А/Б тесты, randomized controlled trials, многорукие бандиты и другие численные методы, которые:
1. нужны как воздух для развития продукта
2. требуют знания дата саенса
3. требуют мощных дата пайплайнов
тогда не будет противоречия между архитекторами, разрабами, продуктов и дата саенсом.
Команда продукта, а именно их метрики вроде Дохода/прибыли/роста клиентов будут драйвить все действия всех команд: айти инфраструктура, девопсы, разрабы, безопасники, продукт менеджмент, разрабы, маркетинг, дата саенс.
я уже не говорю о том, что какие-то фичи продукта могут полностью переплетаться с дата саенсом. Например рекомендательная система для клиентов на основе коллаборативного фильтра — ее должны реализовывать бекендеры, которые только джейсон перекладывать могут, фронтендеры-формошлепы, дата инженеры, или дата саентисты? а кто будет делать A/B тест и смотреть на сколько рекомендации приносят доход? тут командная работа нужна, и продукт менеджеры в идеале должны драйвить процесс.
самое печальное, что в продукты набирают гуманитариев, кто не прошел ни в инженеры, ни в датасаентисты, которые не могут организовать всех вокруг продукта, и как часто в ынтырпрайзе случается — начинается политика по перетягиванию одеяла на себя у каждой мини-команды
никакого си шарпа, умения программировать или знания внутренностей sql не надо, любой самый дешевый джун или вчерашний вайтишник может мышкой потыкать и drag&drop-нуть один Data Flow и все. с популяризацией Ажур, то их аналог ADF то же самое делает за пару тыков мышкой
по скорости один из самых быстрых и дешевых способов и легко поддерживаемых даже людьми далекими от тонкостей администрирования баз данных
BI агрессивно пушится в основном самими вендорами решений, которые рубят на лицензиях нехилую денюжку, а self-service BI — это когда ты продаешь лицензию на каждого сотрудника компании-клиента — это вообще золотая жила для вендора, денежный станок, мечта капиталиста.
Для какого-нить Табло есть большая разница между продать 10 лицензий BI-аналитикам или же назвать это все self-service и продать 1000 лицензий: каждому сотруднику у которого есть компьютер, доступ к корпоративной CRM/ERPшке и «нужда в реалтайм селф-сервис аналитике и красивых дешбордах»
люди которые шарят в облаках никогда не пойдут на ЗП обычного сисадмина, можно конечно набрать студентов которые только вошли в айти с двухмесячных курсов, но это на любителя.
касательно планов восстановления: по идее люди используют Availability zone, но конечно есть сервисы которые когда упадут — не дадут ниче сделать, например недавний кратковременный сбой amazon IAM) — виртуалки работали, но никого не пускало в панель управления
интересно, а можно ли статически скомпилировать РНР скрипт с интерпретатором и всеми делами в один исполняемый файл (наподобие Go) — была бы тут конкуренция с go или нет?
или просто перелезали с одного вендора (ИБМ) на другого (Оракл гггг)
1. нужно не уметь программировать
2. нужно взять любую статью на английском где куча обсуждений (потому, что она сомнительна) с линкедына, medium, towards datascience, или первого попавшегося блога из поисковика
3. перевести статью гугл транслейтом, поправить слегка машиноперевод
4. вставить рекламную плашку, «на правах рекламы» и запостить на хабр
5. откинуться в кресле, захватить попкорн, читать каменты и получать комиссию за успешный копирайтинг и показывать спонсору сколько просмотров и каментов
стори про блек рок вангуард, и стейт стрит (большая тройка индексных фондов контролирующиз практически все публичные корпорации мира) правда, уже много исследований было сделано, что индустрии где эти 3 компании владеют всеми, становятся олигополистическими, компании конкурируют не технологиями, а тупым дешевым маркетингом. В итоге страдает как всегда потребитель.
выход все еще есть. Какой? Сфера венчурного капитала и стартапов. Раз эти толстосумы готовы выкладывать сотни миллионов за стартапы, нужно их создавать пачками и продавать им хоть каждый год.
Или же фаундер перспективного стартапа должен не продаваться с потрохами, а должен оставить себе большой пакет акций и работать как лошадь 24/7 чтобы перестроить рынок и подвинуть старых динозавров (Безос, Маск и другие).
так что надо не жаловаться на олигополию, а работать создавая прорывной стартап. Если вы видете рыночную возможность и можете технически воплотить продукт, то это можно очень хорошо смонетизировать.
с другой стороны если использовать только SQL (любой), то не нужно создавать новую инфраструктуру — все может работать на существующей инфраструктуре для продуктовых баз данных. Сами SQL специалисты в целом дешевле и более квалифицированные (за те же деньги для питониста-ДС можно взять убер скиллового SQL эксперта).
визуализацию вообще можно/нужно отдать в руки бизнеса (BI embedded into business), пусть каждый отдел который занимается бизнесом берет себе BI специалиста — тулы типа ПоверБИ/Табло могут покрыть 99% нужд бизнеса, они будут внедрены в контекст самого бизнеса и будет быстрый «feedback loop».
единственно куда нужно брать специалисов питон/R (без разницы какой язык) — это продуктовое машинное обучение, т.е. создание и поддержание новых продуктов с использованием МЛ. Причем это будет зависеть от ниши — если вы в computer vision — то вам нужен и питон и С++.
Если вы в финансах/страховании — то скорее всего у вас есть кодовая база на SAS, и нет смысла менять стек.
Так что грубо говоря без разницы какие там недостатки у пандас по сравнению с data.table, пандас вообще не нужен как таковой. Нужен:
1. SQL для ETL
2. решение для BI визуализации (powerBI, tableai, microstrategy, pentaho, qlikview, etc.), чтобы люди близкие к бизнесу, но далекие от ИТ могли сами себе свои диаграммы и отчетики клепать (self-service Business Intelligence так называемый)
если вам нужен МЛ, то:
3. нужен любой подходящий язык для разработки статистических моделей, которые приходят из ETL
4. подходящий рантайм для деплоя и мониторинга стат моделей в проде.
Я помню начал свой путь в программирование с того, что написал программу на Паскале решающую квадратные уравнения со всем пошаговым решением — просто чтобы побыстрому сделать домашку и дальше можно было играть в игры
След шаг — научить детей вашему подходу, чтобы они сами могли решать домашку с помощью программирования