На Хабре не хватало тёмной темы. Мы помогли это исправить.

Быстрее перейти на тёмную сторону поможет технический квест от Хабра и Yandex Cloud:

Чтобы пройти наш челлендж, нужно помочь компании с загадочным названием Lux ex tenebris решить проблемы с логином, которые возникли при последнем обновлении в прод. В конце квеста вас ждёт не только тёмная тема, но и розыгрыш мерча.

Приходите решать задачи и открывать тёмную тему Хабра → https://dark.habr.io/

А здесь уже можно прочитать пост Хабра о том, как создавалась эта тема.

Мы запустили программу сертификации по облачным технологиям с учётом российских и международных стандартов — и с применением ИИ для прокторинга.

Сертификат Yandex Cloud Certified Engineer Associate подтверждает знания и навыки в шести областях: базовые облачные технологии, хранение и обработка данных, DevOps и автоматизация, бессерверные вычисления, информационная безопасность и биллинг.

Программа тестирования разрабатывалась инженерами, методологами и психометриками и прошла процедуру проверки валидности заданий. Всего в онлайн‑тесте 65 вопросов, ответы на которые проверяются автоматически. Для получения сертификата необходимо правильно ответить на 70% вопросов и более.

Для экзамена предусмотрен прокторинг с применением искусственного интеллекта. Сервис ведёт видео‑ и аудиозапись экзамена, автоматически отслеживает соблюдение правил тестирования, и фиксирует попытки списать. Затем профессиональные наблюдатели изучают записи и дают заключение, не было ли нарушений при тестировании конкретного специалиста.

Первый экзамен пройдёт 11 апреля, запись на тестирование доступна по ссылке. Стоимость прохождения сертификации составляет 7000 рублей. Для первых 250 участников предусмотрена скидка 50%, она действует до 1 июня 2024 года. Подробные рекомендации по подготовке и участию в экзамене также можно изучить на странице программы сертификации.

С чего начать управление метаданными в облаке?

Конвейеры данных — тренд, уже обросший подходами вроде Data Mesh или Data Streaming. Метаданные в них играют особую роль: повышают качество и доступность данных, например, при поиске. Но вне зависимости от подхода, в работе с метаданными важно учесть два запроса: прозрачность/демократизация данных и безопасность.

Для управления этим балансом в Yandex Cloud появился MetaData Hub — сервис для работы с метаданными. Он позволяет реализовать в облаке популярные сценарии:

• Безопасное подключение к БД. Для защиты подключения важно позаботиться о хранении секретов и настройке прав доступа.

  С этим помогает Connection Manager: пользователи могут делиться подключением к СУБД по ссылке, без необходимости вручную указывать логины и пароли. Все секреты хранятся в секретнице Yandex Lockbox. А управление доступами реализовано на основе RBAC и обеспечивает гранулярность прав.

• Гибридная инфраструктура. В сложных сценариях клиенты могут создавать подключения из облака к сторонней базе, например, on premise, — но в этом случае вопрос безопасности ложится на администратора базы. Облегчить настройку доступа к такой БД также можно через Connection Manager, создав on‑premise‑подключение.

В ближайшее время пользователям MetaData Hub будут доступны функции Schema Registry для упрощения структурирования и управления схемами данных, а также Data Catalog — для описания данных и зависимостей между ними. Сервис бесплатен и находится в стадии Preview.

Как организовать в облаке безопасное хранилище данных, запустить собственные ML-модели и системы скоростной аналитики — обсудим на Union All 

20 марта в Москве и онлайн состоится большая конференция Yandex Cloud для руководителей дата‑проектов и дата‑офисов, а также разработчиков и архитекторов баз данных.

Программа Union All будет посвящена технологиям и эффективным решениям для работы с данными: от создания корпоративных хранилищ в облаке до монетизации данных в конкретных отраслях.

Вместе с приглашёнными докладчиками мы обсудим:

• возможности работы с YandexGPT и запуск собственных ML‑моделей;

• безопасное хранение данных в облаке;

• новые возможности сервиса для визуализации данных DataLens.

Будем рады встрече уже в эту среду на площадке «Синема Парк Мосфильм» и в прямом эфире. Подробная программа и регистрация открыты на сайте Union All.

Около 26% компаний в России планируют внедрить ИИ для повышения информационной безопасности

Более половины российских компаний за 2023 год увеличили бюджеты на развитие систем информзащиты в среднем на 20% — свидетельствуют итоги опросов в рамках исследования Yandex Cloud и компании «Деловые решения и технологии». Доля ИБ‑расходов в российском бизнесе составила 15% от общего бюджета на ИТ. Среди основных статей расходов на ИБ: обновление ПО (75%), оборудования (73%) и обучение персонала (43%).

Для защиты инфраструктуры стали чаще использоваться модели машинного обучения, а для безопасной разработки — облачные технологии. При этом ИИ‑алгоритмы чаще применяют для решения двух задач: обнаружения аномалий в большом объёме данных и управления инцидентами. Искусственный интеллект при автоматизации ИБ‑процессов наиболее часто используют компании финансового сектора — это подтвердили 71% опрошенных из отрасли.

Возможность автоматизировать использование ИБ‑сервисов — один из критериев миграции на облачные платформы. 74% компаний оценивают безопасность работы с облачными провайдерами выше среднего. Одновременно с этим оценка рисков при миграции данных в облако стала базовым правилом для компаний, отмечают респонденты.

В исследовании приняли участие более 300 представителей российских компаний. Глубинные и количественные интервью прошли директора по ИТ и информационной безопасности, руководители программ цифровой трансформации, ИБ‑ и ИТ‑специалисты.

Подробности исследования — по ссылке.

Мы выпустили 6-ую версию UIKit — ключевой библиотеки дизайн‑системы Gravity UI.

Что нового:

1. Компонент List 2.0. В UIKit изначально был List, но в нём хотелось кое‑что доработать. При сборе запросов собрали список:

   • поддержка разных размеров и ширины;

   • иконка у элемента списка; разное количество и положение иконок;

   • поддержка стейтов;

   • разный контент в элементах списка (однострочный, многострочный или список пользователей);

   • поддержка разных видов разделителей и группировок.

   Это существенные изменения, поэтому мы создали List 2.0. Пока он выходит в prestable версии, но рекомендуем пользователям переходить на него и приносить фидбек.

2. RTL. Если ваши приложения/сайты должны отображаться на иврите, арабском и других языках с направлением письма справа налево, нужна поддержка RTL‑стандартов. При этом в RTL:

   • вставленное слово на латинице пишется слева направо;

   • цифры пишутся слева направо;

   • знаки препинания в арабском также пишутся слева направо и т. д.

   Во всех компонентах мы поддержали параметр RTL. Чтобы под рукой был полный пример, сделали промостраницу на арабском. Посмотреть, как реализовано, можно в исходном коде landing. Также за примерами можно заглянуть в storybook.

3. Доступность (a11y):

   • добавили в проект плагин eslint;

   • поддержали клавиатуру для clickable и closable состояния компонента Persona;

   • отключили onClick у 15 неинтерактивных компонент;

   • поддержали клавиатуру в компоненте SelectionTable.

Если есть запрос на доработку — приходите к нам в GitHub с issue или даже с PR. И используйте Gravity UI!

Какая облачная конфигурация нужна для работы 1С в связке с PostgreSQL и Microsoft SQL Server

По опыту, нередки 4 варианта:

1. Сервер 1С и managed БД на разных ВМ. Получаем отказоустойчивость и хороший уровень изоляции. Но скорость коммуникации между серверами зависит от сети, особенно, если ВМ в разных зонах доступности.

2. Сервер 1С и ВМ с БД на разных ВМ. У каждой из ВМ полный доступ к ресурсам, что даёт производительность для требовательных задач и возможности тюнинга.

3. Сервер 1С и БД на одной ВМ. Вся обработка данных — на одной машине, что устраняет задержки сети.

4. Сервер 1С и БД на одной ВМ, временные таблицы БД — на RAM‑диске. Так можно ускорить обработку данных, т.к. операции чтения/записи в RAM быстрее, чем на традиционных дисках. Это сокращает время отклика при выполнении операций на временных таблицах.

   Конфигурацию можно оптимизировать:

   • В Microsoft SQL вынести tempdb на RAM‑диск. Если допустимо, рассмотреть вынос других служебных таблиц.

   • Настроить параметры Delayed Durability, Max degree of parallelism, размер автоувеличения файлов БД, shared memory. Если важна персистентность, настроить периодический сброс данных, например, в ImDisk Virtual Disk Driver.

   • В PostgreSQL вынести временные таблицы на RAM‑диск для ускорения обработки, настроить nr_hugepages для сокращения расходов памяти.

   При оценке производительности этой конфигурации тест Гилёва показал более 42 баллов.

На вебинаре 12 марта вместе с «Первым Битом» разберём эти сценарии миграции в облако, дадим рекомендации. Подключайтесь.

Запускаем бесплатный курс по работе с Managed Service for Greenplum

Наша образовательная программа по работе с данными пополнилась курсом Managed Service for Greenplum на платформе Яндекс Практикум. Обучение рассчитано на Data-архитекторов, DevOps-инженеров, разработчиков и администраторов баз данных.

В курсе семь модулей. Вводные лекции дают общее представление о Greenplum и показывают, для каких задач он подходит. Вторая половина курса помогает решить более сложные прикладные задачи. Например, можно узнать, как проводить диагностику запросов, использовать разные опции хранения данных, загружать и выгружать данные с помощью внешних таблиц.

Курс научит:

• создавать инсталляцию Greenplum на облачной платформе и работать с ней;

• использовать особенности СУБД для эффективной работы с Managed Greenplum;

• правильно писать и оптимизировать запросы с учетом специфики Greenplum;

• разбираться в архитектуре Greenplum;

• проектировать оптимальную физическую модель данных.

О программе:

• Обучение рассчитано на 50–80 часов.

• Курс состоит из двух частей: теории с закреплением в коротких квизах и самостоятельных практических заданий. Обе части не привязаны к расписанию — можно учиться когда угодно.

• Все материалы доступны бесплатно.

Этот пост о трендах-2024 писала нейросеть (ну, почти)

Редактор блога попросил YandexGPT написать пост на Хабр с прогнозами использования облаков на 2024 год. Одновременно мы спросили архитекторов: как менялись запросы клиентов Yandex Cloud к концу 2023 года и что ждать в 2024-м.

Посмотрим, что совпало, а где модель ошиблась?

1. YaGPT: Рост спроса на решения для ИИ и ML.

   А: Бизнес возлагает надежды на генеративные модели. С декабря доступ к YandexGPT API открыт в режиме превью, и больше всего запросов на наш сайт связано с этим.

2. YaGPT: Рост популярности гибридных облаков.

   А: Есть тренд на демократизацию ML, а он влияет на работу команд с облаками. Недавно в DataSphere мы открыли использование ресурсов облака для ML из локальных IDE. Такой гибрид позволяет передавать в облако только ресурсоёмкий код.

3. YaGPT: Развитие облачных технологий для бизнеса.

   А: Уточним: компании чаще используют цепочки из облачных сервисов. Уже устойчив сценарий «сладкой парочки» БД + визуализация данных, но его чаще дополняют связкой с Object Storage и сервисом очередей.

   Востребованы потоковые сценарии аналитики, для которых хранилища наполняются из «живых» систем в реалтайме. Но для построения сложных хранилищ всё ещё нужен не один год.

4. YaGPT: Рост популярности облачных решений для ИБ.

   А: Тренд «долгий», т.к. атаки усложняются. Совершенствовать умную защиту от DDoS, фишинга и других угроз нужно всё время, понимая, что ИБ — это процесс.

В список от экспертов не вошли IoT и блокчейн в облаке, но кто знает. Что скажете?