Высокая производительность *

Всем привет! Хочу поделиться своим опытом планирования жизни, который, возможно, будет полезен для вас.

Эта статья носит своей целью продемонстрировать другой подход в анализе проблем производительности в системах 1С:Предприятие с применением журнала регистрации (ЖР) и технологического журнала (ТЖ).

Напомню, что ЖР логирует действия пользователей — кто, когда в каком объекте внес изменения, с какого компьютера, каким сеансом и т. п. ТЖ — это средство для логирования уже самой платформы. Для расследования проблем производительности информация из журналов очень полезна, но основное время уходит на её поиск, сопоставление с другими метриками и счетчиками мониторинга.

При проведении расследований мы сами часто сталкиваемся с проблемой длительной обработки и сопоставления данных журналов 1С с остальными метриками. И вот наконец руки дошли до парсинга журналов. С точки зрения анализа производительности все данные журналов нам не нужны. А какие нужны?

Вот! В этом как раз вся «соль» идеи.

Ampere A100 от Nvidia — самый мощный ИИ-ускоритель до момента появления Hopper H100, не говоря уже о H200 и грядущем Blackwell GB200. Но, как оказалось, есть более продвинутая версия A100, она улучшена по сравнению с обычной моделью. Ускоритель свободно продаётся в Китае, несмотря на санкции со стороны США. Возможно, Nvidia экспериментировала с ускорителем, либо же его модифицировали специально для Китая. Подробности — под катом.

Году в 1993 мой приятель микрософтовец Лев Белов при встрече с безумными глазами произнес «Ты понимаешь, что это все! Window NT спортировали на Альфу! Все, архитектура x86 с Интелом закончилась!»

И вот архитектура DEC Alpha вновь возникла в моем дискусе в диалогах на линкдине пару дней назад. Инженер по имени Александр Кушнеров высказал утверждение, что на Альфе не получилось или было принцииально невозможно достичь низкого энергопотребления.

Тезис про «принципиально невозможно» мне кажется сомнительным. Поэтому я высказал вот какие соображения:

Многие приложения работающие в Kubernetes обрабатывают конфиденциальную информацию, требующую защиты от несанкционированного доступа. Kubernetes предлагает удобные способы для защиты данных. Рассмотрим основные из них в этой статье, а именно — шифрование в покое, шифрование в передаче и зашифрованные томы в Pods.

Viam supervadet vadens (дорогу осилит идущий)

Есть много счастливчиков, которым повезло работать в ситуации, когда объёмы по-настоящему огромны и требования кажутся невыполнимыми. Но есть те, кому по настоящем крупно повезло! Я говорю о тех, кто решал задачи в пространствах, где размерность больше 1.

Давайте разбросаем осколки по всей земле?

Если у вас не просто большая компания, а целая экосистема с разными сервисами, IT-инфраструктура должна обеспечивать бесшовность. Клиенты и сотрудники могут входить в систему с разных устройств, но изменение информации в одном канале должно отображаться в других, а целостность данных сохраняться, даже если вход совершен в двух каналах параллельно. И в идеале — так, чтобы клиент не видел «внутренней кухни».

Меня зовут Владимир Паршин, я ведущий ИТ-инженер в СберТехе. Расскажу, как выстроена работа с бесшовностью в Сбере.

В статье будет про драматичное прошлое, Джастина Бибера и балансировку нагрузки. А главное — про то, какие решения СберТеха под капотом банка сейчас обеспечивают обработку данных огромного числа клиентов и сотрудников.

В данной статье обсудим создание REST-сервиса в “реактивном” исполнении. Приведу примеры кода на Kotlin в двух вариантах: Reactor и coroutines

Привет, Хабр!

Global Interpreter Lock в Питоне предотвращающает одновременное выполнение нескольких потоков в одном процессе интерпретатора Python. Т.е даже на многоядерном процессоре многопоточные Python‑приложения будут выполняться только в одном потоке за раз. Это было введено для некой потокобезопасности при работе с объектами Python, упрощая тем самым разработку на уровне интерпретатора.

На первый взгляд, GIL кажется разумным компромиссом для упрощения разработки. Однако, когда есть многоядерные процессоры и появляется необходимость в высокопроизводительных вычисленях GIL серьезно ограничивает возможности масштабирования и параллельную работу.

В этой статье рассмотрим способы обхода GIL и первый способ — использование многопроцессности вместо многопоточности.

Привет, Хабр! Недавно я предложила вам перевод статьи о проблемах, связанных с использованием Service Mesh, и преимуществах Ambient Mesh. Сегодня я хочу привести несколько конкретных чисел в качестве дополнения. Представляю вашему вниманию перевод статьи "Istio Ambient Mesh Performance in Single vs Multiple Kubernetes Namespaces" автора Anupam Saha.

Если вы C# разработчик, то наверняка вам знаком класс Dictionary. В качестве значений вы, скорее всего, использовали классы. Но что если я скажу, что в Dictionary можно использовать структуры? Не стоит бояться того, что структуры копируются при передаче в метод или возврате из него. Есть способ этого избежать, и это работает быстро.

Новая линейка процессоров Intel Core 14-й серии, вышедшая в прошлом году, наделала много шума в первую очередь из-за своей неоднозначности. С одной стороны, она получила очередной поколенческий номер, который должен был стать последним в модельном ряду. При таком раскладе завершать аккорд логичнее всего было бы на высокой ноте. С другой, новые процессоры, как и поколение до них, отнесли к семейству Raptor Lake с припиской Refresh, указывающей на обновление, что совершенно не располагает к знаковому апгрейду. Так что же получилось на самом деле?

С предыдущего поколения Intel провел хоть и неравномерную, но все-таки заметную работу по улучшению новых процессоров К-линейки, которые строятся во многом на одних и тех же принципах, что и их предшественники. Например, даже Intel Core i5-14600K использует один и тот же кристалл, что и в старших версиях с идентичной площадью и количеством ядер, часть из которых, в базовой модификации просто заблокирована. 

Номинально многие характеристики новых процессоров остались без изменений со времен 13-го поколения. Но, если копнуть чуть глубже, начинаешь понимать, что преобразования есть. Кое-где подросла тактовая частота, кэш L2/L3, а где-то даже нарастили количество ядер и потоков.

Все три процессора нового поколения получили дискретную поддержку Wi-Fi 7, о котором мы уже рассказывали. В статье разобраны основные отличия нового стандарта от всех предыдущих, а также уточняется, какую точку доступа следует выбрать, чтобы реализовать весь его потенциал. 

AMX (Advanced Matrix Extension) - это модуль аппаратного ускорения умножения матриц, который появился в серверных процессорах Intel Xeon Scalable, начиная с 4 поколения (архитектура Sapphire Rapids). 

В начале этого года ко мне в руки наконец попал сервер, с данным типом процессора.

Конкретно модель Xeon(R) Gold 5412U - это 24 ядерный процессор с тактовой частотой в 2.1 GHz. При этом 8 приоритетных ядер могут разгонятся до 2.3 GHz, а 1 ядро до 3.9 GHz в Turbo Boost). Кроме того данный процессор поддерживает 8 канальную DDR-5 4400 MT/s. 

Мне как человеку, достаточно долгое время посвятившему оптимизации алгоритмов компьютерного зрения и запуска нейронный сетей на CPU (библиотеки Simd и Synet), было интересно: на сколько AMX позволяет реально ускорить вычисления и как извлечь из него максимальную производительность.

Далее я постараюсь максимально подробно ответить на данные вопросы. Прежде все я буду касаться вопросов однопоточной производительности (многопоточную рассмотрю позже). 

На фоне развития генеративных и больших языковых моделей набирают обороты векторные базы данных. В прошлый раз в блоге beeline cloud мы обсудили, насколько этот тренд устойчив, а также предложили несколько книг для желающих погрузиться в тему. Сегодня же мы собрали компактную подборку открытых СУБД и поисковых движков, способных помочь в разработке систем ИИ. Обсуждаем такие инструменты, как Lantern, LanceDB, CozoDB, ArcadeDB, Dart Vector DB, Marqo и Orama.

Приветствую хабравчане!

В данной статье хочу поделиться проблемами в ИТ. Высказать об этом своё мнение. Обсудить в комментариях, всё ли так плохо на самом деле и каков выход из данной ситуации. Меня не покидает ощущение, что мы как программисты, что то потеряли при очередном витке ИТ прогресса. Обсудим?

Сегодня все крупные компании сохраняют и обрабатывают большие объёмы информации, причём стремятся делать это максимально эффективным для бизнеса способом. Меня зовут Мазаев Роман и я работаю в проекте загрузки данных на платформу SberData. Мы используем PySpark, который позволяет очень быстро распределённо обрабатывать данные в оперативной памяти узлов нашего кластера на базе Hadoop. Я поделюсь способом, с помощью которого можно снизить потребление ресурсов кластера за счёт перезапуска PySpark-приложений между выполняемыми Spark-задачами, и расскажу, как это делать правильно.

Divide et impera (разделяй и властвуй) – древний принцип для управления чем-то большим и сложным.

Многие из нас программируют. Многие из нас делают системы, сложные системы. Но некоторым повезло работать в ситуации, когда объёмы по-настоящему огромны и требования кажутся невыполнимыми. Шардировние – один из излюбленных счастливчиками, которых зовут приключения, приемов.

Что-нибудь разбить на кусочки – это круто! Переходите на сторону шардирования у нас есть печеньки!

Меня зовут Максим Журавлев, я управляющий директор ДИТ «Занять и Сберегать», лидер сообщества инженеров сопровождения Сбера. В этой статье я хочу рассказать про надёжность высоконагруженных ИТ-систем и принципы, которым мы следуем.

Гаджеты, мобильные приложения и различные цифровые услуги стали неотъемлемой частью нашей жизни. И чем больше бизнес, тем дороже возможный простой системы и выше риск потери потенциального или текущего клиента на всё более увеличивающемся и конкурентном рынке в сфере услуг. Поэтому стабильно и качественно предоставленный ИТ-сервис для конечного пользователя имеет ту же ценность, что и полученная вовремя услуга, например, в розничной сети или корпоративном бизнесе. Чрезвычайно важно обеспечить стабильность и надёжность ИТ-ландшафта, созданного для Бизнеса. Однако не только инновационные или развивающиеся технологии способны обеспечить высокоуровневый сервис, но и сочетание чётко выстроенных процессов и нововведений.