Обрамляющие функции. Начало и завершение

Существует несколько функций, которые используются в любом, даже самом коротком приложении MPI. Занимаются они не столько собственно передачей данных, сколько ее обеспечением:

Инициализация библиотеки. Одна из первых инструкций в функции main (главной функции приложения):

MPI_Init( &argc, &argv );

Она получает адреса аргументов, стандартно получаемых самой main от операционной системы и хранящих параметры командной строки. В конец командной строки программы MPI-загрузчик mpirun добавляет ряд информационных параметров, которые требуются MPI_Init.

Аварийное закрытие библиотеки. Вызывается, если пользовательская программа завершается по причине ошибок времени выполнения, связанных с MPI:

MPI_Abort( описатель области связи, код ошибки MPI );

Вызов MPI_Abort из любой задачи принудительно завершает работу ВСЕХ задач, подсоединенных к заданной области связи. Если указан описатель MPI_COMM_WORLD, будет завершено все приложение (все его задачи) целиком, что, по-видимому, и является наиболее правильным решением. Используйте код ошибки MPI_ERR_OTHER, если не знаете, как охарактеризовать ошибку в классификации MPI.

Нормальное закрытие библиотеки:

MPI_Finalize();

Следует вписывать эту инструкцию перед возвращением из программы, то есть:

ü перед вызовом стандартной функции Си exit;

ü перед каждым после MPI_Init оператором return в функции main;

ü если функции main назначен тип void, и она не заканчивается оператором return, то MPI_Finalize() следует поставить в конец main.

Две информационных функции: сообщают размер группы (то есть общее количество задач, подсоединенных к ее области связи) и порядковый номер вызывающей задачи:

int size, rank;

MPI_Comm_size( MPI_COMM_WORLD, &size );

MPI_Comm_rank( MPI_COMM_WORLD, &rank );

Пример применения этих функций находится в файле “pi_mpi.c” – нахождение числа Пи. В нем используются, кроме уже знакомых функций, MPI_Bcast и MPI_Reduce. Эти функции рассматриваются в параграфах: MPI_Bcast – Функции коллективного обмена данными; MPI_Reduce – Функции поддержки распределенных операций).

2.4. Связь "точка-точка"

Это самый простой тип связи между задачами: одна ветвь вызывает функцию передачи данных, а другая - функцию приема. В MPI это выглядит, например, так:

Задача 1 передает:

int buf[10];

MPI_Send( buf, 5, MPI_INT, 1, 0, MPI_COMM_WORLD );

Задача 2 принимает:

int buf[10];

MPI_Status status;

MPI_Recv( buf, 10, MPI_INT, 0, 0, MPI_COMM_WORLD, &status );

Аргументы функций:

1.Адрес буфера, из которого в задаче 1 берутся, а в задаче 2 помещаются данные. Помните, что наборы данных у каждой задачи свои, поэтому, например, используя одно и то же имя массива в нескольких задачах, Вы указываете не одну и ту же область памяти, а разные, никак друг с другом не связанные.

2.Размер буфера. Задается не в байтах, а в количестве ячеек. Для MPI_Send указывает, сколько ячеек требуется передать (в примере передаются 5 чисел). В MPI_Recv означает максимальную емкость приемного буфера. Если фактическая длина пришедшего сообщения меньше - последние ячейки буфера останутся нетронутыми, если больше - произойдет ошибка времени выполнения.

3.Тип ячейки буфера. MPI_Send и MPI_Recv оперируют массивами однотипных данных. Для описания базовых типов Си в MPI определены константы MPI_INT, MPI_CHAR, MPI_DOUBLE и так далее, имеющие тип MPI_Datatype. Их названия образуются префиксом "MPI_" и именем соответствующего типа (int, char, double, ...), записанным заглавными буквами. Пользователь может "регистрировать" в MPI свои собственные типы данных, например, структуры, после чего MPI сможет обрабатывать их наравне с базовыми.

4.Номер задачи, с которой происходит обмен данными. Все задачи внутри созданной MPI группы автоматически нумеруются от 0 до (размер группы-1). В примере задача 0 передает задаче 1, задача 1 принимает от задачи 0.

5.Идентификатор сообщения. Это целое число от 0 до 32767, которое пользователь выбирает сам. Оно служит той же цели, что и, например, расширение файла - задача-приемник:

ü по идентификатору определяет смысл принятой информации;

ü сообщения, пришедшие в неизвестном порядке, может извлекать из общего входного потока в нужном алгоритму порядке. Хорошим тоном является обозначение идентификаторов символьными именами посредством операторов "#define" или "const int".

6.Описатель области связи (коммуникатор). Должен быть одинаковым для MPI_Send и MPI_Recv.

7.Статус завершения приема. Содержит информацию о принятом сообщении: его идентификатор, номер задачи-передатчика, код завершения и количество фактически пришедших данных.

2.5. Прием и передача: MPI_Sendrecv

Некоторые конструкции с приемо-передачей применяются очень часто. Пример – обмен данными с соседями по группе (для четного количества ветвей в группе):

MPI_Comm_size( MPI_COMM_WORLD, &size );

MPI_Comm_rank( MPI_COMM_WORLD, &rank );

if( rank % 2 ) {

/* Ветви с четными номерами сначала

* передают следующим нечетным ветвям,

* потом принимают от предыдущих

*/

MPI_Send(..., ( rank+1 ) % size ,...);

MPI_Recv(..., ( rank+size-1 ) % size ,...);

} else {

/* Нечетные ветви поступают наоборот:

* сначала принимают от предыдущих ветвей,

* потом передают следующим.

*/

MPI_Recv(..., ( rank-1 ) % size ,...);

MPI_Send(..., ( rank+1 ) % size ,...);

}

Другой пример – посылка данных и получение подтверждения:

MPI_Send(..., anyRank ,...); /* Посылаем данные */

MPI_Recv(..., anyRank ,...); /* Принимаем подтверждение */

Ситуация настолько распространенная, что в MPI специально введены две функции, осуществляющие одновременно посылку одних данных и прием других. Первая из них - MPI_Sendrecv. Она имеет 12 параметров: первые 5 параметров такие же, как у MPI_Send, остальные 7 параметров такие же, как у MPI_Recv. Один ее вызов проделывает те же действия, для которых в первом фрагменте требуется блок IF-ELSE с четырьмя вызовами. Следует учесть, что:

ü и прием, и передача используют один и тот же коммуникатор;

ü порядок приема и передачи данных MPI_Sendrecv выбирает автоматически; гарантируется, что автоматический выбор не приведет к "клинчу";

ü MPI_Sendrecv совместима с MPI_Send и MPI_Recv, т.е может "общаться" с ними.

MPI_Sendrecv_replace помимо общего коммуникатора использует еще и общий для приема-передачи буфер. Не очень удобно, что параметр count получает двойное толкование: это и количество отправляемых данных, и предельная емкость входного буфера. Показания к применению:

ü принимаемые данные должны быть заведомо НЕ ДЛИННЕЕ отправляемых;

ü принимаемые и отправляемые данные должны иметь одинаковый тип;

ü отправляемые данные затираются принимаемыми.

MPI_Sendrecv_replace так же гарантированно не вызывает клинча.

Клинч (deadlock, тупик) – процесс находится в состоянии тупика, если ожидает события, которое никогда не произойдет. Пример клинча:

-- Ветвь 1 -- -- Ветвь 2 --

Recv( из ветви 2 ) Recv( из ветви 1 )

Send( в ветвь 2 ) Send( в ветвь 1 )

Это вызовет клинч: функция приема не вернет управления до тех пор, пока не получит данные; поэтому функция передачи не может приступить к отправке данных; поэтому функция приема... и так до самого SIG_KILL.

Коллективные функции

Под термином "коллективные" в MPI подразумеваются три группы функций:

ü функции коллективного обмена данными;

ü точки синхронизации, или барьеры;

ü функции поддержки распределенных операций.

Коллективная функция одним из аргументов получает описатель области связи (коммуникатор). Вызов коллективной функции является корректным, только если произведен из всех процессов-абонентов соответствующей области связи, и именно с этим коммуникатором в качестве аргумента (хотя для одной области связи может иметься несколько коммуникаторов, подставлять их вместо друг друга нельзя). В этом и заключается коллективность: либо функция вызывается всем коллективом процессов, либо никем; третьего не дано.

Для ограничения области действия коллективной функции частью ветвей, создается временная группа/область связи/коммуникатор на базе существующих, как это показано в разделе про коммуникаторы.

Наши рекомендации