MPI 2.0: Односторонние коммуникации
В MPI 1.1 коммуникации «точка-точка» происходят по схеме двустороннего рандеву. То есть, для каждого сообщения должны быть явно определены процесс-отправитель и процесс-получатель (возможно, они совпадают). Это не всегда бывает удобно. Например, в случае распараллеливания перебора (Лабораторная работа 1), если один процесс нашел решение, то для того, чтобы была возможность сообщить об этом остальным процессам, в коде остальных процессов должна присуствовать проверка: а не пришло ли сообщение о том, что какой-то процесс закончил работу. Это добавляет необходимость дополнительных синхронизаций и отрицательно влияет на производительность. Для того, чтобы избавиться от этого, в MPI 2.0 добавлена поддержка односторонних коммуникаций: отправитель вызывает функцию отправки сообщения, а получателю, для того, чтобы получить данные, не нужно вызывать функцию приема сообщения. Отправитель просто обращается по соответствующему адресу в памяти и получает пришедшие значения, если сообщение пришло до момента обращения, либо исходные значения.
Создание и удаление окна
Перед использованием двусторонних коммуникаций в каждом процессе коммуникатора необходимо инициализировать «окно» — область памяти, доступную для записи другим процессам коммуникатора.
int MPI_Win_create(void *base, MPI_Aint size, int disp_unit, MPI_Info info, MPI_Comm comm, MPI_Win *win)
base — начальный адрес, по которому будут располагаться данные в окне (базовый адрес);
size — размер окна в байтах;
disp_unit — величина смещения одного элемента окна относительно другого;
info — Объект MPI_Info (на самом деле int);
comm — Коммуникатор, в котором происходит действо;
win — адрес, по которому создается объект окна;
По завершении работы нужно уничтожить окно:
int MPI_Win_free(MPI_Win *win)
Получение атрибутов окна
Атрибуты окон реализованы в виде ассоциативного массива.
int MPI_Win_get_attr(MPI_Win win, int win_keyval, void *attribute_val, int *flag)
win — окно, атрибут которого нужно получить
key — ключ атрибута. Есть несколько предопределенных ключей
MPI_WIN_BASE - базовый адрес окна.
MPI_WIN_SIZE - размер окна.
MPI_WIN_DISP_UNIT - displacement unit associated with the window.
Коммуникационные вызовы
Обозначим адресное пространство процесса, вызывающего функцию односторонней коммуникации, локальной памятью, а адресное пространство процесса, к которому осуществляется доступ — удаленной памятью. Существуют три коммуникационных вызова:
MPI_Get — Получает значение из удаленной памяти в локальную
MPI_Put — Записывает значение из локальной памяти в удаленную
MPI_Accumulate — изменяет значения в удаленной памяти, например, добавляя к ним значения, отправленные из локальной памяти
MPI_Get
int MPI_Get(void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank,
MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win)
orig_addr — адрес, по которому принимаются данные
orig_count — число принимаемых элементов
orig_datatype — тип принимаемых данных
target_rank — ранг процесса, которому отправляются данные
target_disp — смещение относительно начала окна адреса принимаемых данных
target_type — тип принимаемых данных
win — Объект окна, в котором происходит односторонняя коммуникация
MPI_Put
int MPI_Put(void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank,
MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win)
orig_addr — адрес, по которому находятся отправляемые данные
orig_count — число отправляемых элементов
orig_datatype — тип отправляемых данных
target_rank — ранг процесса, которому отправляются данные
target_disp — смещение относительно начала окна адреса принимаемых данных
target_type — тип принимаемых данных
win — Объект окна, в котором происходит односторонняя коммуникация
MPI_Accumulate
int MPI_Accumulate(void *origin_addr, int origin_count, MPI_Datatype origin_datatype,
int target_rank, MPI_Aint target_disp, int target_count,
MPI_Datatype target_datatype, MPI_Op op, MPI_Win win)
orig_addr — адрес, по которому находятся отправляемые данные
orig_count — число отправляемых элементов
orig_datatype — тип отправляемых данных
target_rank — ранг процесса, которому отправляются данные
target_disp — смещение относительно начала окна адреса принимаемых данных
target_type — тип принимаемых данных
op — редукционная операция. Добавлен новый вид редукции MPI_REPLACE(a,b)=b
win — Объект окна, в котором происходит односторонняя коммуникация
Синхронизация
Существуют два типа RMA коммуникаций:
Коммуникации, при которых данные перемещаются из памяти одного процесса в память другого процесса и оба процесса принимают явное участие. Такая модель коммуникаций подобна модели двустороннего рандеву, за исключением того, что все параметры, определяющие коммуникацию задаются в одном процессе, а участие второго процесса заключается только в синхронизации
Коммуникации, в которых данные перемещаются из памяти одного процесса в память другого, и только один процесс явно участвует в передаче данных. Таким образом, два процесса могут общаться друг с другом путем доступа к памяти третьего процесса. Такая парадигма коммуникаций близка к модели общей памяти, когда разделямые данные доступны всем процессам вне зависимости от их расположения
Вызовы RMA, обращающиеся к конкретному окну должны осуществляться только во время эпохи доступа к этому окну. Эпоха начинается после вызова одной из синхронизирующих функций RMA и завершается после следующего такого вызова. Для одного и того же окна эпохи не должны пересекаться.
В первой модели память удаленного процесса доступна только в пределах эпохи предоставления доступа между двумя вызовами синхронизирующих функций RMA, выполняемых этим процессом. Существует взаимно однозначное соответствие между эпохами доступа локального процесса и эпохами предоставления доступа удаленного процесса. Функции RMA, вызываемые локальным процессом, получат доступ к окну удаленного процесса в течение одной и той же эпохи предоставления доступа удаленного процесса в том и только в том случае, когда эти вызовы были сделаны в течение одной эпохи доступа локального процесса.
Во второй модели удаленный процесс не вызывает функции синхронизации RMA и нет концепции эпохи предоставления доступа Существуют три вида механизмов синхронизации:
Коллективный вызов MPI_Win_fence определяет простейший механизм синхронизации, который часто используется в параллельных вычислениях: глобальные фазы вычислений чередуются с глобальнами фазами коммуникаций. Этот механизм наиболее подходит для реализации алгоритмов со слабой синхронизацией, в которых граф коммуникаций часто меняется либо каждый процесс общается со многими другими. Этот вызов используется в первой модели. Эпоха доступа в локальном процессе и эпоха обеспечения доступа в удаленном процессе начинаются и заканчиваются вызовами MPI_Win_fence. Все процессы, которые входят в группу окна, имеют доступ к окнам друг друга
int MPI_Win_fence(int assert, MPI_Win win)
assert — Значение 0 всегда работает. Далее будет подробное описание
win — Окно.
Следующие 4 функции: MPI_Win_start, MPI_Win_complete, MPI_Win_post и MPI_Win_wait используются для сведения синхронизации к минимуму: синхронизируются только пары взаимодействующих процессов. Синхронизации происходят только при необходимости упорядочения локальных и удаленных обращений к окну. Этот механизм удобен в случаях, когда каждый процесс взаимодействует с небольшим числом процессов и граф коммуникаций не меняется или меняется редко.
Эти вызовы используются для первой модели коммуникаций. Каждая эпоха доступа начинается в локальном процессе с вызова MPI_Win_start и заканчивается вызовом MPI_Win_complete. Один из аругментов MPI_Win_start определяет группу удаленных процессов, участвующих в RMA коммуникациях в течение этй эпохи. Эпоха предоставления доступа в удаленном процессе начинается с вызова MPI_Win_post и заканчивается вызовом MPI_Win_wait. Один из аргументов MPI_win_post определяет группу процессов, предоставляющих свое адресное пространство для RMA.
int MPI_Win_start(MPI_Group group, int assert, MPI_Win win)
group — Группа процессов, собирающихся обращаться к удаленным данные
assert — Специальный параметр (потом будет раздел)
win — Окно
int MPI_Win_complete(MPI_Win win)
win — Окно
int MPI_Win_post(MPI_Group group, int assert, MPI_Win win)
group — Группа процессов, предоставляющих доступ к своим данным
assert — Специальный параметр (потом будет раздел)
win — Окно
int MPI_Win_wait(MPI_Win win)
win — Окно
Завершает эпоху предоставления доступа. Возврат управления не происходит до тех пор, пока не будут завершены все вызовы RMA, которые были вызваны в течение соответствующей эпохи доступа.
int MPI_Win_test(MPI_Win win, int *flag)
Неблокирующая версия MPI_Win_wait
Функции MPI_Win_lock и MPI_Win_unlock используются для второй модели RMA. Это используется при эмуляции разделяемой памяти. Эпоха доступа начинается вызовом MPI_Win_lock и заканчивается MPI_Win_unlock. В течение одной эпохе возможен доступ только к одному окну.
int MPI_Win_lock(int lock_type, int rank, int assert, MPI_Win win)
lock_type — тип блокировки: может быть MPI_LOCK_EXCLUSIVE или MPI_LOCK_SHARED
rank — ранг удаленного процесса, в группе ассоциированной с окном
assert — Специальный параметр (потом будет раздел)
win — окно
int MPI_Win_unlock(int rank,MPI_Win win)
rank — ранг удаленного процесса, в группе ассоциированной с окном
win — окно
Assertions
В качестве аргумента assertion в функции MPI_Win_fence, MPI_Win_start,MPI_Win_post и MPI_Win_lock передается комбинация флагов, обозначающая выполнение определенных условий, которая призвана улучшить производительность.
MPI_Win_start:
MPI_MODE_NOCHECK — Соответствующий вызов MPI_Win_post уже завершился на всех удаленных процессах до момента вызова MPI_Win_start Флаг MPI_MODE_NOCHECK может быть указан в MPI_Win_start тогда и только тогда, когда он указан в соответствующем вызове MPI_Win_post
MPI_Win_post:
MPI_MODE_NOCHECK — Соответствующие функции MPI_Win_start еще не были вызваны ни одним из процессов, намеревающимся осуществить доступ к данным до момента вызова MPI_Win_post .
MPI_MODE_NOSTORE — Локальный процесс не изменил данные окна с момента последней синхронизации. Отменяет необходимость синхронизации кэшей
MPI_MODE_NOPUT — Данные локального окна не буду изменены вызовами MPI_Put и MPI_Accumulate до вызова MPI_WAIT
MPI_Win_fence:
MPI_MODE_NOSTORE — Локальный процесс не изменил данные окна с момента последней синхронизации. Отменяет необходимость синхронизации кэшей
MPI_MODE_NOPUT — Данные локального окна не буду изменены вызовами MPI_Put и MPI_Accumulate до вызова MPI_WAIT
MPI_MODE_NOPRECEDE — До этого вызова не было других вызовов RMA. Если один из процессов окна устанавливает этот флаг, все остальные процессы группы должны тоже установить его.
MPI_MODE_NOSUCCEED — После этого вызова не будет других вызовов RMA. Если один из процессов окна устанавливает этот флаг, все остальные процессы группы должны тоже установить его.
MPI_Win_lock:
MPI_MODE_NOCHECK — Ни один из процессов не удерживает или не будет обращаться к окну, во время удерживания блокировки. Это бывает полезно, в случаях, когда взаимное исключение обеспечивается другими способами, но поддержка когерентности все равно необходима.
Задание 8
Сделать задание лабораторной работы 1 с использованием односторонних коммуникаций. Процесс, первым нашедший какое-либо решение, должен передать остальным результат, чтобы они завершили перебор.