Pull to refresh
  • by relevance
  • by date
  • by rating

Оценка и оптимизация производительности вычислений на многоядерных системах

Intel corporate blogHigh performanceProgrammingConcurrent computing
Translation

Данная публикация является переводом первой части статьи Characterization and Optimization Methodology Applied to Stencil Computations инженеров компании Intel. Эта часть посвящена анализу производительности и построению roofline модели на примере довольно распространенного вычислительного ядра, которая позволяет оценить перспективы оптимизации приложения на данной платформе.
Читать дальше →
Total votes 9: ↑9 and ↓0+9
Views8.8K
Comments 0

Работа с приватными репозиториями и другие обновления платформы FlyElephant

FlyElephant corporate blogHigh performanceC++Big DataMicrosoft Azure


Команда платформы FlyElephant подготовила ряд обновлений, которые позволяют работать с приватными репозиториями, повышают безопасность системы и улучшают работу с задачами.

FlyElephant — это платформа для ученых, которая предоставляет готовую вычислительную инфраструктуру для проведения расчетов, помогает находить партнеров и совместно работать над проектами, а также управлять всеми данными из одного места. FlyElephant автоматизирует рутинные задачи и позволяет сосредоточиться на основных вопросах исследований.

В качестве вычислительного ресурса используется облако Azure. Пользователи могут запускать вычислительные задачи, написанные с помощью С++ (с поддержкой OpenMP), R, Python, Octave, Scilab, Java, Julia, OpenFOAM, GROMACS, Blender на серверах с количеством ядер от 1 до 32 и оперативной памятью до 448 ГБ.

Среди нововведений можно отметить следующие:
Читать дальше →
Total votes 11: ↑9 and ↓2+7
Views3.5K
Comments 0

Оценка и оптимизация производительности вычислений на многоядерных системах. Часть 2

Intel corporate blogHigh performanceProgrammingC++
Translation

Данная публикация является переводом второй части статьи Characterization and Optimization Methodology Applied to Stencil Computations инженеров компании Intel. В предыдущей части была описана методология для оценки максимальной производительности, которая может быть получена при использовании какого-либо алгоритма на конкретной платформе на примере довольно распространенного вычислительного ядра, используемого при решении 3D акустического изотропного волнового уравнения. Эта часть описывает серию шагов по оптимизации исходного кода для получения производительности, близкой к ожидаемой отметке.
Читать дальше →
Total votes 17: ↑15 and ↓2+13
Views7.1K
Comments 0

Видео-туториалы запуска вычислительных задач на Python, R, С++, Octave и Blender во FlyElephant

FlyElephant corporate blogPythonC++Data MiningR
Пару недель назад, наша команда выпустила свежий релиз FlyElephant — платформа для ученых, которая предоставляет готовую вычислительную инфраструктуру для проведения расчетов, помогает находить партнеров и совместно работать над проектами, а также управлять всеми данными из одного места.

В качестве вычислительного ресурса сейчас используется облако Azure, а пользователи могут запускать вычислительные задачи, написанные с помощью С++ (с поддержкой OpenMP), R, Python, Octave, Scilab, Java, Julia, OpenFOAM, GROMACS, Blender на серверах с количеством ядер от 1 до 32 и оперативной памятью до 448 ГБ.

Сегодня мы хотим поделиться видео-туториалсами запуска задач во FlyElephant. Под катом вы найдете видео, как запускать вычислительные задачи, написанные с помощью С++, R, Python, Octave и рендерить изображения с помощью Blender, а также промо-код для получения бесплатных дополнительных часов работы ваших задач.
Читать дальше →
Total votes 20: ↑18 and ↓2+16
Views8.3K
Comments 9

Конкурс GraphHPC-2016 на самую быструю реализацию параллельного алгоритма Community Detection: Итоги

High performanceSport programmingAlgorithmsGPGPUConcurrent computing

В рамках конференции GraphHPC-2016, прошедшей 3 марта 2016 года в МГУ им. М.В. Ломоносова на факультете ВМК, проводился конкурс на самую быструю реализацию задачи Community Detection — поиска сообществ в неориентированном графе с весами.
Читать дальше →
Total votes 10: ↑10 and ↓0+10
Views6.4K
Comments 4

Супер-сервера SGI, HPE и Fujitsu с 24-ядерными процессорами Xeon E7 v4 — и как нам обуздать это «железо»?

High performance
6 июня 2016 года Intel представил свой новый процессор для серверов Xeon E7-8890 v4, который содержит 24 процессорных ядра и соответственно целых 48 процессорных потоков выполнения (threads) — см. статью: «Intel представил 24-ядерный процессор для серверов».

Следом за этим, большинство игроков серверного рынка, среди первых — Lenovo, Dell, SGI, HPE и Fujitsu, объявили об обновлении своих серверов и поддержке новых процессоров линейки Intel Xeon E7 v4. Последние три компании: SGI, HPE и Fujitsu отличаются от остальных ещё и тем, что имеют возможность предложить своим клиентам супер-сервера на процессорах x86 с суперкомпьютерными аппаратными ресурсами по-сути класса "мэйнфрейм".

Например, компания Silicon Graphics International предлагает своим клиентам сервера SGI UV 300 — масштабируемые до 64 процессоров Xeon E7-8890 v4 в едином сервере, и соответственно этот сервер может поддержать работу целых 1536 процессорных ядер, и в итоге операционной системе станут доступны целых 3072 потока выполнения. А потоки в большинстве операционных систем воспринимаются как логические процессоры, и соответственно в этом монстрообразном сервере для ОС становятся доступны 3072 логических процессора, а кроме этого ещё и целых 64 TB оперативной памяти — см. описание на сайте производителя: «SGI UV 300 and SGI UV 30EX».

Всё это прекрасно когда появляются такие невероятно мощные ресурсы, да ещё не в виде кластера (у которых есть свои проблемы), а в виде единого супер-сервера. Но вот возникает вопрос, а как мы может управлять всем этим железом?
Читать дальше →
Total votes 9: ↑6 and ↓3+3
Views5.8K
Comments 29

Ещё раз про быстрый JPEG на CUDA

High performanceGPGPUImage processingConcurrent computing
В 2012 году на Хабре уже была моя статья про быстрое сжатие в JPEG на видеокарте. С тех пор прошло уже довольно много времени и мне хотелось бы в общих чертах рассказать про результаты, которые были получены по этой теме. Надеюсь, многим будет интересно узнать, какой уровень производительности можно получить на современных видеокартах NVIDIA при решении практических задач на CUDA.
Читать дальше →
Total votes 19: ↑16 and ↓3+13
Views14K
Comments 27

Ускоряем трафаретные вычисления: сборка и запуск YASK на процессорах Intel

Intel corporate blog
Translation
Трафаретные вычисления нашли широкое применение в научных и технических приложениях. Их используют для решения дифференциальных уравнений методом конечных разностей, в задачах вычислительной механики.

Высокопроизводительные вычисления (HPC, High Performance Computing), идёт ли речь о суперкомпьютере, или о системе, построенной на одном-двух многоядерных процессорах – это вычисления параллельные. Если алгоритм поддаётся разбивке на блоки, которые можно обрабатывать одновременно, это значит, что он способен будет эффективно исполняться в параллельной среде. Но не только это важно: не стоит забывать об оптимизации кода, учитывающей, кроме прочего, особенности работы с данными на уровне отдельных видов памяти, доступной процессорам. В частности, речь идёт об эффективной работе с кэш-памятью.



При прочих равных условиях, распараллеленный алгоритм, который лучше всего учитывает особенности кэш-памяти, будет работать быстрее других. И, естественно, если говорить о скорости вычислений, то код, который наиболее полно использует возможности конкретной платформы, на уровне инструкций и архитектуры процессора, окажется в выигрыше. Существуют специализированные программные пакеты для подготовки такого кода. Один из них – YASK.
Читать дальше →
Total votes 15: ↑15 and ↓0+15
Views3.4K
Comments 1

Сообщество экспертов, совместная работа над проектами и другие обновления платформы FlyElephant

FlyElephant corporate blogHigh performanceC++Big DataMicrosoft Azure


Команда FlyElephant рада анонсировать релиз платформы FlyElephant 2.0, в который вошли следующие обновления: внутреннее сообщество экспертов, совместная работа над проектами, публичные задачи, поддержка Docker и Jupyter, новое хранилище данных и работа с HPC кластерами.

FlyElephant — платформа для исследователей данных, инженеров и ученых, которая предоставляет готовую вычислительную инфраструктуру для проведения высокопроизводительных вычислений и рендеринга, помогает находить партнеров и совместно работать над проектами, а также управлять всеми ресурсами из одного места. Платформа состоит из 3 основных компонентов:
  • Compute. Быстрый доступ к вычислительному кластеру в облаке с нужным программным обеспечением или HPC кластеру, а также автоматизация проведения расчетов.
  • Collaborate. Совместная работа над проектами и сообщество экспертов, где можно найти партнеров, чтобы вместе решить сложную задачу или получить квалифицированную консультацию.
  • Manage. Управление лицензиями, программным обеспечением, вычислительными ресурсами, шаблонами, алгоритмами, данными и результаты в одном месте.

Среди нововведений отметим следующие:
Читать дальше →
Total votes 22: ↑22 and ↓0+22
Views2.5K
Comments 0

Вебинар: Инструменты для работы Data Scientist

FlyElephant corporate blogHigh performanceData MiningBig DataHadoop


Команда FlyElephant приглашает всех 28 сентября в 16.00 на вебинар «Инструменты для работы Data Scientist». В его рамках мы рассмотрим, кто такой data scientist и какими инструментами он пользуется. Поговорим о платформе FlyElephant и чем она может быть полезной для работы data scientist’а.

Содержание вебинара:

  • Data Science
  • Data Scientist vs Data Engineer
  • How does it work?
  • Notebook / IDE
  • Methods & Algorithms
  • Software
  • Deep Learning Tools
  • Programming Languages
  • Cloud Services
  • Computing power
  • Competitions
  • FlyElephant

Зарегистрироваться на вебинар можно здесь.
Total votes 11: ↑8 and ↓3+5
Views3.9K
Comments 0

Видеозапись вебинара «Инструменты для работы Data Scientist»

FlyElephant corporate blogHigh performanceData MiningBig DataHadoop


Вчера наша команда провела вебинар на тему «Инструменты для работы Data Scientist». В его рамках мы рассмотрели, кто такой data scientist и какими инструментами он пользуется. Поговорили о платформе FlyElephant и чем она может быть полезной для работы data scientist’а.
Смотреть видеозапись и презентацию
Total votes 18: ↑15 and ↓3+12
Views4.8K
Comments 1

Виртуальный суперкомпьютер по требованию

HPC HUB corporate blogHigh performanceGeoinformation servicesBig DataConcurrent computing
Виртуальный суперкомпьютер (vSC) — это современная альтернатива использованию собственных суперкомпьютерных мощностей для наукоемкого бизнеса и научных групп при решении ресурсоемких задач. В процессе бурного развития облачных технологий клаудизация начала проникать в наиболее сложные IT-сферы — суперкомпьютинг и распределенные вычисления. Один из возможных подходов к задаче клаудизации HPC реализован компанией HPC HUB.

КДПВ

Читать дальше →
Total votes 13: ↑12 and ↓1+11
Views8.7K
Comments 17

Создание разделяемого хранилища на базе CEPH RBD и GFS2

HPC HUB corporate blogHigh performanceOpen sourceBig DataConcurrent computing
Большинство ПО кластерных систем предполагает наличие файловой системы доступной со всех узлов кластера. Эта файловая система используется для хранения ПО, данных, для организации работы некоторых кластерных подсистем и т.д. Требования на производительность такой FS могут сильно отличаться для разных задач, однако, чем она выше, тем считается, что кластер более устойчив и универсален. NFS сервер на мастер-узле является минимальным вариантом такой FS. Для больших кластеров NFS дополняется развертыванием LustreFS — высокопроизводительной специализированной распределенной файловой системы, использующей несколько серверов в качестве хранилища файлов и несколько метаинформационных серверов. Однако такая конфигурация обладает рядом свойств, которые сильно затрудняют работу с ней в случае, когда клиенты используют независимые виртуализированные кластера. В системе HPC HUB vSC для создания разделяемой FS используется широко известное решение CEPH и файловая система GFS2.
main
Читать дальше →
Total votes 12: ↑11 and ↓1+10
Views11K
Comments 8

Применение FPGA для расчета деполимеризации микротрубочки методом броуновской динамики

High performanceGPGPUConcurrent computingFPGA

Все готово, чтобы рассказать Хабр аудитории о применении FPGA в сфере научных высокопроизводительных вычислений. И о том, как на данной задаче надо удалось значительно обскакать GPU (Nvidia K40) не только в метрике производительность на ватт, но и просто с точки зрения скорости вычисления. В качестве FPGA платформы использовался кристалл Xilinx Virtex-7 2000t, подключенный по PCIe к хост компьютеру. Для создания аппаратного вычислительного ядра использовался язык C++ (Vivado HLS).


Под катом текст нашей оригинальной статьи. Там, как обычно бывает, сначала идет долгое описание зачем это все надо и модели, если нет желания это читать, то можно переходить сразу к реализации, а модель посмотреть потом при необходимости. С другой стороны без хотя бы беглого ознакомления с моделью читатель не сможет получить впечатление о том, какие сложные вычисления можно реализовать на FPGA.

Читать дальше →
Total votes 46: ↑44 and ↓2+42
Views13K
Comments 65

FlyElephant празднует первый год работы в публичном доступе и анонсирует сотрудничество с HPC-HUB

FlyElephant corporate blogHigh performanceData MiningBig DataMachine learning


В ноябре FlyElephant празднует первый год работы в публичном доступе. FlyElephant — это платформа для дата-сайентистов, инженеров и ученых, которая ускоряет бизнес с помощью автоматизации Data Science и Engineering Simulation.
Читать дальше →
Total votes 17: ↑13 and ↓4+9
Views2.4K
Comments 1

Конкурс GraphHPC-2017 на самую быструю реализацию задачи Betweenness Centrality

High performanceSport programmingAlgorithmsGPGPUConcurrent computing

Лаборатория DISLab (ОАО «НИЦЭВТ») совместно с НИВЦ МГУ проводят четвертую ежегодную научно-практическую конференцию по проблемам параллельной обработки больших графов с использованием суперкомпьютерных комплексов и кластерных систем.


Цель конференции — привлечение внимания к тематике задач по суперкомпьютерной обработке графов и предоставление площадки для общения разработчиков технологий суперкомпьютерной обработки графов и разработчиков графовых приложений, обсуждения перспектив данного направления.


Совсем скоро, в рамках данной научно-технической конференции GraphHPC-2017, стартует конкурс GraphHPC, посвященный проблемам параллельной обработки больших графов с использованием суперкомпьютеров. В этот раз участникам предстоит получить самую быструю реализацию задачи Betweenness Centrality (Центральность по посредничеству) в неориентированном графе.

Интересно - жми сюда!
Total votes 16: ↑16 and ↓0+16
Views5K
Comments 3

Производительность сети малой латентности InfiniBand на виртуальном кластере HPC HUB

HPC HUB corporate blogHigh performanceOpen sourceBig DataConcurrent computing
areas

Моделирование сложных физических процессов в наши дни рассматривается как важная технологическая возможность многими современными компаниями. Широко используемым сейчас подходом для создания вычислителей, способных рассчитывать сложные модели, является создание кластерных систем, где вычислительный узел представляет собой сервер общего назначения, подключенный к сети малой латентности и управляемый своей собственной ОС (как правило, из семейства GNU/Linux).

Введение виртуализационного слоя в системное ПО вычислительных кластеров, позволяет в течение нескольких минут создавать “виртуальный кластер”. Такие виртуальные кластера в рамках одной OpenStack инфраструктуры являются абсолютно независимыми. Пользовательские программы внутри них могут изменяться так, как нужно пользователю без каких-либо согласований с кем-либо, а логические устройства, на которых находятся пользовательские данные, недоступны другим виртуальным кластерам.

Поддержка сети малой латентности виртуализационными решениями представляет собой отдельную сложную проблему. Для прикладных программ в большинстве случаев современная виртуализация на основе KVM приводит к минимальным потерям вычислительной мощности (<1%). Однако специализированные тесты сетей малой латентности показывают накладные расходы от виртуализации не более 20% на операциях синхронизации.
Читать дальше →
Total votes 12: ↑12 and ↓0+12
Views4.8K
Comments 6

Вебинар: Введение в Singularity

FlyElephant corporate blogHigh performanceData MiningBig DataMachine learning


Команда FlyElephant приглашает всех на вебинар "Введение в Singularity", который проведет
Gregory Kurtzer (HPC Systems Architect и Technical Lead в Lawrence Berkeley National Laboratory).
Вебинар будет проходить завтра, 15 февраля, в 19:00 (EET) / 9:00 am (PST). Язык — английский.
Читать дальше →
Total votes 15: ↑13 and ↓2+11
Views2.4K
Comments 0

Вебинар: Julia — A fresh approach to numerical computing and data science

FlyElephant corporate blogData MiningBig DataJuliaMachine learning


Команда FlyElephant приглашает всех на вебинар "Julia — A fresh approach to numerical computing and data science", который проведет со-основатель и CEO в Julia Computing, а также со-автор языка Julia — Viral B. Shah.

Вебинар будет проходить 20 марта в 19:00 (EET) / 9:00 am (PST). Язык — английский.

Все подробности и регистрация здесь
Total votes 14: ↑10 and ↓4+6
Views1.9K
Comments 1

Интел усиливает позиции в HPC

High performance
hpc

10 лет назад присутствие Интела в HPC ограничивалось, в основном, мощными процессорами и набором математических библиотек.


Интересно посмотреть, какими еще продуктами для HPC Интел оброс за прошедшее время. Не менее интересно спрогнозировать, куда компания будет двигаться дальше. Ниже я изложу свое видение. Приглашаю всех дополнять его с помощью комментариев и опросничков внизу поста.

Читать дальше →
Total votes 10: ↑10 and ↓0+10
Views5.1K
Comments 22