Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

CUDA: с места в карьер

GPGPU
Многие видели моё введение в современные технологии высокопроизводительных вычислений и оценки производительности, теперь я продолжу тему более подробным рассказом о технологии CUDA.
Для тех кто не смотрел предыдущие серии: CUDA позволяет писать и запускать на видеокартах nVidia(8xxx и выше) программы написанные на С++ со специальными расширениями. На правильных задачах достигается значительное превосходство по производительности на $ по сравнению с обычными CPU.
Достижимая производительность — 1 трлн и выше операций в секунду на GTX295.

NB: Статья — краткое введение, покрыть все ньюансы программирования под CUDA в одной статье вряд ли возможно :-)
Читаем дальше CUDA crash course
Всего голосов 39: ↑37 и ↓2 +35
Просмотры26.2K
Комментарии 26

Будущее суперкомпьютерных вычислений

Блог компании Intel
   За день до начала календарного лета, в Гамбурге прошла Международная Суперкомпьютерная Конференция (International Supercomputing Conference, ISC), на которой компания Intel объявила о намерении запустить новую суперкомпьютерную архитектуру Intel Many Integrated Core (MIC).

image

   Благодаря новому продукту, системы на ее основе смогут производить вычисления со скоростью, измеряющейся в триллионах(!) операций в секунду!
Читать дальше →
Всего голосов 63: ↑54 и ↓9 +45
Просмотры13.2K
Комментарии 77

Суперкомпьютеры на страже генетики

Блог компании Intel
   В преддверии нового поста программы "5 недель с компанией Intel", предлагаю ознакомиться с интересным текстом, в котором рассказывается о применений высокопроизводительных систем (HPC) на примере нескольких российских разработок.

image
Читать дальше →
Всего голосов 83: ↑67 и ↓16 +51
Просмотры14.4K
Комментарии 81

Проблемы суперкомпьютера в средней полосе

Блог компании Intel
   Третья серия программы «5 недель с компанией Intel» посвящена высокопроизводительным вычислениям (high-performance computing, HPC) — так на профессиональном жаргоне называются суперкомпьютеры и расчеты, которые на них производятся.

image
Эта картинка имеет отношение к посту

Читать дальше →
Всего голосов 59: ↑41 и ↓18 +23
Просмотры15K
Комментарии 70

О погоде на завтра

Блог компании Intel
   В начале весны загадочный, но реально существующий ChipMan вместе с несколькими коллегами побывал в Росгидрометцентре, где несколько часов общался с начальниками Росгидромета и его вычислительного центра и разглядывал суперкомпьютерные стойки.

image

   Ниже — краткий экскурс в историю метеорологии и то, как работает Росгидромет и другие современные метеорологические службы.
Читать дальше →
Всего голосов 92: ↑84 и ↓8 +76
Просмотры20.4K
Комментарии 73

Java как язык для параллельных вычислений. Установка, настройка, первая программа

Java
Здравствуйте,

Ни разу не видел за определённый промежуток своей работы с HPC людей, пишущих на Java параллельные программы. Сам писал кое-что на С, разглядывал Фортран, но душа всегда тянулась к Java. В конце концов сел и попробовал разобраться.

Содержание:
1) Имплементации MPI for Java; Что это? Где взять?
2) Как установить всё это? Как настроить?
3) Напишем свою самую-самую простую программу. Как её запустить?

Читать дальше →
Всего голосов 42: ↑35 и ↓7 +28
Просмотры15.9K
Комментарии 43

Хорошая новость для тех, кому нужен HPC, HA и просто SSI-кластер, наконец

Настройка Linux
У меня для вас есть хорошая новость. Кажется, я сегодня уломал отцов Kerrighed дебианизировать свои труды.

Что это означает для нас, для обычных людей? У вас есть компьютер, где стоит Ubuntu или ещё какой-то Дебиан-подобный Linux? Назовём его Компьютер №1. На нём вы сможете сделать что-то обычное, типа

apt-get install kerrighed-kernel...

ну, вероятно, придётся уж потратить и пару минут на конфигурацию. Далее, перезагрузив Ubuntu, вы увидите новоиспечённое ядро в grub-меню. Выбираете и попадаете в обычную Ubuntu с одним необычным свойством, назовём его "SSI with DRBL"…

Что за зверь «SSI with DRBL»?

Читать дальше →
Всего голосов 87: ↑84 и ↓3 +81
Просмотры8K
Комментарии 77

Http Parameter Contamination (more)

Информационная безопасность
Продолжая исследование атаки Http Parameter Contamination (HPC), мною был проведен примитивный фаззинг, в том числе в тех средах, которые не были затронуты Ivan Markovic в его оригинальном исследовании. Стоит сразу отметить, что ничего принципиально нового найдено не было. С другой стороны была выявлена интересная особенность интерпретатора Python, а также, получен боевой сплоит на отказ в обслуживании в отношении сервера Tomcat :) Но по последнему, пока non disclosure.

Полученные результаты представлены на картинке ниже.
Читать дальше →
Всего голосов 21: ↑20 и ↓1 +19
Просмотры1.5K
Комментарии 10

Microsoft выпустила математическую библиотеку, оптимизированную для работы в Облаке: Cloud Numerics

Блог компании Microsoft
На этой неделе Microsoft анонсировала выпуск нового продукта для Azure и платформы .Net — Microsoft Codename “Cloud Numerics” Lab. Это математическая библиотека способная параллельно обрабатывать большие объемы данных в облаке. Она также позволяет масштабировать вычислительные модели, реализованные на C# для Windows Azure.

Выпуск этой библиотеки явился плодом труда нескольких лет серьезной работы специалистов в области параллельных вычислений и вычислительной математики. Значительная часть этих работ была выполнена Российским подразделением Microsoft.

Эта библиотека предоставляет легкую в использовании модель программирования скрывающую сложность разработки распределенных алгоритмов, доступ к .NET библиотеке численных алгоритмов состоящих из широкого набора функций. От элементарных, до сложных статистических и функций линейной алгебры. Cloud Numerics также дает возможность запускать программы в Azure и получать доступ к неограниченным вычислительным мощностям в облаке.

Читать дальше →
Всего голосов 41: ↑33 и ↓8 +25
Просмотры7.8K
Комментарии 5

Cloud Numerics – что это такое?

Блог компании Microsoft
На прошлой неделе я опубликовал заметку о выпуске Microsoft'ом математической библиотеки для работы в облаке.

(Ссылка на сам продукт)

Мне поступило много вопросов о том, зачем нужна эта библиотека, чем она отличается от множества других и как она работает и я решил написать об этом подробнее и привести больше примеров. В этой публикации я приведу пересказ ранее опубликованных статей моим коллегой Ронни Хугервертом и простой пример. В следующих постах я планирую привести более сложные примеры работы Cloud Numerics.

Итак, “Cloud Numerics” является новым Фреймворком для программирования .NET предназначенным для выполнения интенсивных вычислений над большими распределенными массивами данных.

Этот Фреймворк состоит из:

1. Обычные и распределенные контейнеры для массивов данных
2. Системы позволяющей манипулировать распределением данных на узлах кластера в облаке и выполнять над ними параллельные вычисления
3. Широкий набор библиотечных математических функций, которые могут выполняться на множестве узлов кластера одновременно
4. Набор утилит упрощающих развертку и выполнение приложений построенных на Cloud Numerics в среде Windows Azure
Читать дальше →
Всего голосов 25: ↑18 и ↓7 +11
Просмотры4.8K
Комментарии 2

Быстрое сжатие изображений по алгоритму JPEG на CUDA

Высокая производительностьGPGPUОбработка изображений
Краткое содержание: Создан быстрый кодер FVJPEG для сжатия изображений по алгоритму JPEG на видеокартах NVIDIA. Значительное ускорение получено при распараллеливании алгоритма, его реализации и оптимизации с помощью технологии CUDA. По скорости сжатия кодер FVJPEG превосходит все существующие в настоящее время программные и аппаратные решения для компрессии изображений по алгоритму Baseline JPEG.
Читать дальше →
Всего голосов 74: ↑59 и ↓15 +44
Просмотры18.5K
Комментарии 49

Опубликованы записи докладов и интервью с конференции DevCon'12

Блог компании MicrosoftРазработка веб-сайтов


Отличная новость для всех, кто участвовал или по каким-то причинам не смог принять участие в конференции DevCon’12: на сайте конференции и ресурсе TechDays опубликованы все видеозаписи и презентации докладов.

В открытом доступе вы найдете:
  • более 50 докладов по 8 ключевым темам;
  • пленарные доклады 1-го и 2-го дней;
  • запись сессии вопросов и ответов со Скоттом Хансельманом, главным архитектором по проектам с сообществами Microsoft;
  • интервью с докладчиками конференции, состоявшиеся непосредственно на DevCon’12 во время перерывов.
Перейти к списку докладов и интервью с DevCon'12
Всего голосов 40: ↑31 и ↓9 +22
Просмотры8K
Комментарии 0

А что вы знаете о высоких нагрузках: часть вторая

Блог компании ITmozgВысокая производительность
Первый блин далеко не всегда комом. Организованная нами в августе конференция по высоким нагрузкам HPC прошла на ура, поэтому мы продолжаем проводить подобные мероприятия.


6 октября в рамках IT-фестиваля профессионального развития BitByte будет проведена HPC-конференция.
Читать дальше →
Всего голосов 21: ↑16 и ↓5 +11
Просмотры12.8K
Комментарии 19

IT-фестиваль BitByte

Блог компании ITmozg
6 октября в Москве состоится крупнейший IT-фестиваль BitByte, который объединит IT-специалистов различного возраста, профессий и уровней профессионального развития.
Во время фестиваля гости смогут посетить выступления спикеров, на стендах компаний пообщаться с техническими Гуру и с HR-специалистами, а также отдохнуть в лаундж-зоне.


Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Просмотры4.7K
Комментарии 3

Видеозаписи докладов с High Performance Conference

Блог компании ITmozgВысокая производительность
Дорогие хабрачитатели, мы готовы представить вам видеозаписи всех докладов с конференции по высоким нагрузкам HPC, которая состоялась 9 августа в Москве.



Прямо сегодня (или в любое удобное для вас время) в программе:
Сергей Аверин XEK, Badoo (участвовал в создании таких проектов как Хабр, dirty, leprosorium, autokadabra, dribbler, trendclub и др.);
Юрий Насретдинов, Badoo;
Андрей Сумин AndrewSumin, Mail.ru Group (ранее Яндекс, HeadHunter);
Константин Осипов, Mail.Ru Group ( ранее Oracle, Sun, MySQL, Ringrows, Spylog, Interpro);
Даниил Павлючков, ITmozg.ru.

Читать дальше →
Всего голосов 22: ↑20 и ↓2 +18
Просмотры12.7K
Комментарии 3

2013: пора прекратить погоню за флопсами

Высокая производительность
Перевод
От переводчика: Exascale computing — это такой амбициозный проект по достижению производительности порядка ExaFLOPS к 2018 году. Есть мнение, что наукоемким вычислениям уже сейчас тесно в петафлопсах. Так ли это на самом деле? Размышления на эту тему Уильяма Гроппа, директора Parallel Computing Institute, были опубликованы в The Exascale Report.

2013: TIME TO STOP TALKING ABOUT EXASCALE
William D. Gropp


Каждый, кто читает это, верит в силу вычислительных технологий. Нам кажется само собой разумеющимся, что производительность самых мощных вычислительных систем должна продолжать расти с прежней скоростью, чтобы удовлетворять потребности общества. Тем не менее, это не так уж и бесспорно.
Читать дальше →
Всего голосов 57: ↑46 и ↓11 +35
Просмотры28K
Комментарии 52

NUMизматика, NUMерология и просто о NUMA

Блог компании IntelВысокая производительностьПараллельное программирование
NUMA (Non-Uniform Memory Access — «Неравномерный доступ к памяти» или Non-Uniform Memory Architecture — «Архитектура с неравномерной памятью») — технология совсем не новая. Я бы даже сказала, что совсем старая. То есть, в терминах музыкальных инструментов, это уже даже не баян, а, скорее, варган.
Но, несмотря на это, толковых статей, объясняющих, что это, а главное, как с этим эффективно работать, нет. Данный пост, исправляющий эту ситуацию, предназначен прежде всего для тех, кто ничего не знает про NUMA, но также содержит кое-что интересное и для знатоков-NUMизматов, а главное, он облегчает жизнь мне, инженеру Intel, так как отныне всех интересующихся NUMA русскоязычных разработчиков буду отсылать к нему.
Читать дальше →
Всего голосов 21: ↑19 и ↓2 +17
Просмотры41.2K
Комментарии 14

Основы HPC-технологий

Высокая производительность
Из песочницы

Определение высоконагруженных систем и способов их построения

      Нагрузка на сервер — это важный показатель использования серверного оборудования. Хит – это запрос клиента к серверу для получения информации. Нагрузка сервера определяется как отношение количества клиентских запросов (хитов) ко времени, выражается в хитах в секунду. Согласно исследованиям Microsoft в 2010 году высоконагруженным сервером можно считать сервер с нагрузкой 100-150 хитов в секунду.
      В литературе встречаются такие понятия как HPC-система, высоконагруженная система, высоконагруженный кластер, Highload-система, суперкомпьютер, которые порой используются как синонимы. Мы будем понимать сайт с нагрузкой не менее 150 хитов в секунду.
      Кластер – это группа компьютеров, которые работают вместе и составляют единый унифицированный вычислительный ресурс. Каждый узел работает под управлением своей копии операционной системы, в качестве которой чаще всего используются Linux и BSD.
      Чтобы понять каким образом задачи, выполняемые кластером, распределяются по его узлам необходимо дать определение масштабироемости. Масштабируемость — способность системы справляться с увеличением рабочей нагрузки (увеличивать свою производительность) при добавлении ресурсов. Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ресурсов. Чем ближе это отношение к единице, тем лучше. Также под масштабируемостью понимается возможность наращивания дополнительных ресурсов без структурных изменений центрального узла системы. Масштабирование архитектуры высоконагруженной системы может быть горизонтальным и вертикальным. Вертикальное масштабирование заключается в увеличении производительности системы за счёт увеличения мощности сервера. Главный недостаток вертикального масштабирования в том, что оно ограничено определённым пределом. Параметры железа нельзя увеличивать бесконечно. Однако на самом деле вертикальная компонента присутствует практически всегда, а универсального горизонтального масштабирования как такового не существует. Горизонтальное масштабирование заключается в увеличении производительности системы за счёт подключения дополнительных серверов. Именно горизонтальное масштабирование является сейчас фактически стандартом. Известен также такой термин, как диагональное масштабирование. Оно подразумевает одновременное использование двух подходов.
      И наконец, необходимо определить основной принцип, использующийся при построении любой кластерной архитектуры. Это — трёхзвенная структура системы (рис. 1). Три звена – это фронтэнд, бэкэнд и хранилище данных. Каждое звено выполняет свои функции, отвечает за различные стадии в обработке запросов и по-разному масштабируется. Первоначально запрос приходит на фронтэнд. Фронтэнды отвечают, как правило, за отдачу статических файлов, первичную обработку запроса и передачу его дальше. Второе звено, куда приходит запрос, уже предварительно обработанный фронтэндом — это бэкэнд. Бэкэнд занимается вычислениями. На стороне бэкэнда, как правило, реализуется бизнес-логика проекта. Следующий слой, который вступает в дело обработки запроса – это хранилище данных, которые обрабатываются бэкэндом. Это может быть база данных или файловая система.Трёхзвенная структура кластерной архитектуры
Читать дальше →
Всего голосов 21: ↑16 и ↓5 +11
Просмотры13.1K
Комментарии 18

Что мы знаем о серверах высокой плотности

Блог компании CloudMTSВысокая производительность
Блейд-сервера RLX Technologies

Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing, высокопроизводительные вычисления).

Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы.
Читать дальше →
Всего голосов 45: ↑39 и ↓6 +33
Просмотры42K
Комментарии 44

HPC. Программа, онлайн-трансляция и бесплатные билеты

Блог компании it-доминантаВысокая производительностьПрограммирование
25 апреля в Санкт-Петербурге, при поддержке портала Айти-Событие.рф, состоится High Performance Conference #4 — конференция по высоким нагрузкам.


Цель конференции — дать возможность профессионального роста в различных сферах проектирования, разработки, тестирования, администрирования и поддержки высоконагруженных систем её участникам.
Читать дальше →
Всего голосов 28: ↑19 и ↓9 +10
Просмотры6K
Комментарии 7