Ускоряем OpenMP в Visual C++ 2010

C++
Из песочницы
Одним из популярных и дешёвых средств реализации многопоточных вычислений на языке C++ является OpenMP.

Достоинства технологии очевидны: простота; малые, и легко отключаемые изменения в коде; поддержка от авторов самых популярных компиляторов:
  • Visual C++
  • GCC 4.2
  • Intel C++ Compiler
Проверка боем проходит успешно, и вот распараллеленный код проникает в самые укромные уголки проекта, бьёт все рекорды производительности, выдавая шикарную статистику, подтверждающую успешность релиза.

Проходит пара лет, вы успешно мигрируете на Visual Studio 2010,… и обнаруживаете себя сидящим в луже. Если вчера обработка большого массива данных на машинах с многоядерными процессорами проходила за считанные секунды, то сегодня наличие любого фонового приложения, занимающего собственными вычислениями одно или несколько ядер, практически вешает приложение.

Почему так происходит, и как с этим бороться?


В новой реализации OpenMP перед тем, как выйти из активной области в состояние Idle, ваша программа будет ждать завершения операций ввода/вывода, причём ждать с помощью активного SpinWait.

Т.е. если мы с помощью OMP создали N потоков (по 1 на ядро), и неожиданно выяснили, что одно из ядер занято другим приложением, то с большой вероятностью на одном ядре будут выполняться 2 и больше потоков, переключение между которыми будет перемежаться 200-миллисекундными паузами.

Но в рассчётных программах мы не хотим никаких дополнительных синхронизаций!
Разработчики Intel об этом знают, и предлагают пользователю самому заботиться о дополнительных ограничениях с помощью опции kmp_set_blocktime(). К сожалению, их коллеги из Microsoft решили не путать пользователей лишними настройками.

Если переписывать программу на честный threading pool лень или не позволяет религия — предлагаю воспользоваться моим опытом… даунгрейда OpenMP на оригинальную версию из Microsoft Visual Studio 2005. Также инструкция подходит для Visual Studio 2008 с минимальными изменениями.

Во-первых, скопируем в отдельную папку vcomp.lib, vcompd.lib из комплекта Visual C++ 2005 (можно ссылаться напрямую на установленный дистрибутив, но это не так удобно). Заходим в свойства использующих OpenMP проектов, и добавляем в «Additional Library Directories» нашу директорию. Вуаля — теперь проект линкуется с «правильной», быстро работающей версией OpenMP.

Но это ещё не все. Заменим включение <omp.h> заголовочным файлом следующего содержания:
#pragma once

#include <omp.h>

#ifndef __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX
#define __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX "Microsoft.VC80"
#endif

#ifndef _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN
#define _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN "1fc8b3b9a1e18e3b"
#endif

#ifndef __OMP_CRT_ASSEMBLY_VERSION
#define __OMP_CRT_ASSEMBLY_VERSION "8.0.50727.762"
#endif

#if defined(_DEBUG)

#if defined(_M_IX86)
#pragma comment(linker,"/manifestdependency:\"type='win32' "            \
  "name='" __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX ".DebugOpenMP' "         \
  "version='" __OMP_CRT_ASSEMBLY_VERSION "' "                          \
  "processorArchitecture='x86' "                                  \
  "publicKeyToken='" _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN "'\"")
#elif defined(_M_AMD64)
#pragma comment(linker,"/manifestdependency:\"type='win32' "            \
  "name='" __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX ".DebugOpenMP' "         \
  "version='" __OMP_CRT_ASSEMBLY_VERSION "' "                          \
  "processorArchitecture='amd64' "                                  \
  "publicKeyToken='" _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN "'\"")
#elif defined(_M_IA64)
#pragma comment(linker,"/manifestdependency:\"type='win32' "            \
  "name='" __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX ".DebugOpenMP' "         \
  "version='" __OMP_CRT_ASSEMBLY_VERSION "' "                          \
  "processorArchitecture='ia64' "                                  \
  "publicKeyToken='" _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN "'\"")
#endif

#else   // _DEBUG

#if defined(_M_IX86)
#pragma comment(linker,"/manifestdependency:\"type='win32' "            \
  "name='" __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX ".OpenMP' "              \
  "version='" __OMP_CRT_ASSEMBLY_VERSION "' "                          \
  "processorArchitecture='x86' "                                  \
  "publicKeyToken='" _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN "'\"")
#elif defined(_M_AMD64)
#pragma comment(linker,"/manifestdependency:\"type='win32' "            \
  "name='" __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX ".OpenMP' "              \
  "version='" __OMP_CRT_ASSEMBLY_VERSION "' "                          \
  "processorArchitecture='amd64' "                                  \
  "publicKeyToken='" _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN "'\"")
#elif defined(_M_IA64)
#pragma comment(linker,"/manifestdependency:\"type='win32' "            \
  "name='" __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX ".OpenMP' "              \
  "version='" __OMP_CRT_ASSEMBLY_VERSION "' "                          \
  "processorArchitecture='ia64' "                                  \
  "publicKeyToken='" _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN "'\"")
#endif

#endif  // _DEBUG


Это необходимо для корректной подгрузки манифеста в исполняемых и .dll-файлах. Не забудьте, что даже если OpenMP используется в подгружаемых .dll-файлах, манифест нужно прописать и для исполняемого файла!

Значения __OMP_LIBRARIES_ASSEMBLY_NAME_PREFIX, _OMP_VC_ASSEMBLY_PUBLICKEYTOKEN и __OMP_CRT_ASSEMBLY_VERSION взяты из <crtassem.h>, входящего в поставку Visual C++ 2005. Если у вас стоит другая версия (например, не установлен SP1), то указанные числа нужно заменить на собственные значения

Проект по-прежнему не собирается — сейчас студия возмущена до предела тем, что не определён символ __You_must_link_with_Microsoft_OpenMP_library.

Да, это был очень тонкий намёк со стороны компилятора.

Посмотрим на содержимое сгенерированного .obj-файла. На мой взгляд, лучше всего для этого подойдёт утилита objconv в режиме дизассемблера.

Выясняем, что нам нужно определить переменную размера byte с указанным именем. К сожалению, в C и C++ мы не сможем с точностью воссоздать импортируемый символ, поэтому придётся воспользоваться MASM32.

Добавляем бессмысленную переменную:
PUBLIC __You_must_link_with_Microsoft_OpenMP_library
	data segment
		__You_must_link_with_Microsoft_OpenMP_library db 1
	data ends
end


компилируем:
ml /c antiomp.asm


и полученный на выходе antiomp.obj добавляем в Additional Input проектов, использующих OpenMP.

Всё — у нас должен был получиться рабочий код. Проверить версию OpenMP можно двумя способами:
  1. запустить приложение, подцепиться отладчиком и найти в списке загруженных модулей (Debug|Windows|Modules) библиотеку OpenMP
  2. попытаться найти в исполняемых файлах подстроку vcomp100. Если всё сделано по инструкции, то этой строчки быть не должно


Приятного параллельного программирования!

Теги:openmpvisual c++parallel programming
Хабы: C++
+22
7,8k 46
Комментарии 8

Похожие публикации

C++-программист
от 80 000 ₽Singularis LabВолгоградМожно удаленно
C++-программист
от 60 000 ₽Singularis LabВолгоградМожно удаленно
C++ разработчик
от 1 500 $ToqomoСанкт-ПетербургМожно удаленно
C++-программист (техлид проекта)
от 100 000 ₽Singularis LabВолгоград
Senior C++ Engineer
до 230 000 ₽ItivitiСанкт-Петербург

Лучшие публикации за сутки