Анализ масштабируемости кластерных систем с учетом накладных расходов
Выводы:
- Эффективность падает с увеличением числа процессоров
- Эффективность растет с увеличением сложности задачи
14. Кластерные системы. Проблема организации связей между узлами кластера. Типы сетей в кластерах. Стандартные сетевые технологии, применяемые для соединения узлов (Ethernet, Infiniband). Технология RDMA.
Сеть кластера в первую очередь предназначена не для связи машин, а для связи вычислительных процессов. Поэтому чем выше будет пропускная способность вашей сети, тем быстрее будут считаться параллельные задачи, запущенные на кластере.
Параметры сетевого оборудования:
Пропускная способность- это скорость передачи данных между двумя узлами после того, как связь установлена.
Латентность- это среднее время между вызовом функции передачи данных и самой передачей. Время затрачивается на адресацию информации, срабатывание промежуточных сетевых устройств, прочие накладные расходы, возникающие при передаче данных.
Сетевые технологии для кластерных систем
Gigabit Ethernet:
- Производители: Intel, Broadcom,…
- Пропускная способность TCP/IP: до 120 Мбайт/с
- Пропускная способность MPI:до 70 Мбайт/с
- Задержка: ~50 мкс
- Топология: Коммутируемая
10G Ethernet:
- Производители: Mellanox, Cisco, Brocade,…
- Пропускная способность TCP/IP: до 1,2 Гбайт/с
- Пропускная способность MPI: до 700 Мбайт/с
- Задержка: ~10 мкс
- Топология: Коммутируемая
InfiniBand:
- Производители: Qlogic, Mellanox,Cisco, …
- Эффективная пропускная способность: базовая 2ГБит/с (модификации SDR, DDR, QDR, FDR, EDR, 1Х, 4Х, 12Х) до 56 Гбит/с
- Задержка: ~ 100 нс – 500 нс (3 мкс)
- Топология: Fat Tree (до 648 портов в коммутаторе/директоре)
Проприетарные технологии:
- Тороидальные топологии межузловых соединений: пример: Tofu interconnect Architecture (6D torus, 10 link, 2009) - K Computer
- Каждый с каждым: NEC SX
RDMA: классический режим работы DMA:прямой доступ к памяти - режим обмена данными между устройствами или же между устройством и основной памятью без участия ЦП. В результате скорость передачи увеличивается, так как данные не пересылаются в ЦП и обратно.
RDMA: удаленный прямой доступ в память:вариант прямого доступа к памяти DMA к ОЗУ другого компьютера. Такой доступ позволяет получить доступ к данным хранящимся в удаленной системе без привлечения ОС обоих компьютеров. Является методом пересылки данных с высокой пропускной способностью и низкой латентностью и особенно полезен в кластерах.
15. Кластерные системы. Архитектуры межузловых соединений (топологии). Метрики (характеристики) топологий. Типы передач данных при оценке потерь.
Классификации топологий
1. Уровень
- Логический
- Физический
2. Однородность
- Однородные
- Неоднородные
3. Регулярность
- Регулярные
- Нерегулярные
- Частично регулярные: с краевыми эффектами, с нарушенной структурой
- Иерархические
Некоторые топологии:
- Шина
- N-мерная решетка
- Звезда
- Кольцо
- Полносвязная
- Дерево (в т.ч. бинарное)
- Гиперкуб
- 2D/3D-тор
- Толстое дерево (Fat Tree) (1)
- Плоская бабочка (Flattened Butterfly) (2)
- Топология Dragonfly (3)
Характеристики топологий:
- Диаметр (D)
- Связность (C)
- Ширина бинарного деления (BW)
- Стоимость (Cst)
Типы передач:
1. По способу передачи
- Сообщения
- Пакеты
2. По направлению:
- 1->1
- Простая 1->N / N->1
- Обобщенная 1->N / N->1
- Обобщенная N->N