Идеи VLIW используются и в EPIC.

Обозначения устройств

• B –целочисленные устройства исполнения

• C –компьютер ( включает хотя бы одно I )

• Core – процессорное ядро

• Ch –канал ввода-вывода

• D –устройство ввода-вывода

• E –устройство исполнения ( АЛУ )

• F –устройства с плавающей точкой

• H –магистраль данных

• I –устройство обработки потока команд

• IO –интерфейс устройства ввода-вывода

• M –устройство памяти ( обычно ОП )

• P –процессор

• U –неспецифицированное устройство

• X –коммутатор

• Csh –кэш

• Csh1, Csh2 –кэш 1-го, 2-го уровней

• Cshi, Cshd –кэш команнд, кэш данных

• Rg –регистры

• Lds –устр-во загрузки-записи

• Br –блок предсказания переходов

• GrP –графический процессор

• Server – сервер.

• Super – суперкомпьютер.

• SS (Storage System) – система хранения данных.

• Cluster – кластерная система.

• Node – узел.

• Hub – сетевой концентратор для передачи информации в простой сети.

• Switch – сетевой концентратор - это устройство, предназначенное для соединения нескольких узлов компьютерной сети или нескольких блоков ВС в пределах одного сегмента.

• Router - маршрутизатор, это сетевое устройство, на основании информации о топологии сети и определённых правил, принимающее решения о пересылке пакетов сетевого уровня (уровень 3 модели OSI) между различными сегментами сети.

2. Конвейерная обработка – подстрочный индекс p (pipeline): I p, E p

3. Векторные команды – подстрочный индекс v, который следует за I: I v, I pv

4. Различные устройства одного и того же типа обозначаются целым числом: E1p, E3p

5. Правило подстановки ( по аналогии с алгеброй): I [ E1, E2 ]; E1=………; E2=……….

6. Группа устройств – { }. Разделители:

, - устройства работают параллельно; {4F p , 2B}

/ - устройства работают последовательно. { E1 / E2 / E3 }

7. Множественные устройства: 10Е

8.Дублирование – черта над символом: 64Р = 64{E-M(сверху черта над Е-М)};

9. Число разрядов: I₁₆, F _{p 64}

Для блоков памяти: n M w * b, Пример: M _{1K * 32}; 8 M _{64 * 64}

n – кол-во банков памяти, w – объем памяти, b - разрядность

10. Характеристическое время - > [ нс ]: I ⁴⁰ , M ⁶⁵⁰

11. Связь посредством шины:

—неспецифицированное

—>симплексное

<—>дуплексное

<—/ —>полудуплексное

12. Цепь устройств: Е — Rg — Csh1 — Csh2 — M

13. Матрицы процессоров - > « c – nn »

288 { 3E — M } ^0-2D PEPE

[ 64 ² P ] ^1-2D DAP

[ 32 ² P ] ^2-2D CLIP

[ 64 ² P ] ^1-3D

[ 64 ² P ] ^Torr

14. Перекрестные соединения

I p [ 16 F x 17 M ]

15. Комментарии - > ( )

16. Управление - > I [ ]

Вид управления (подстрочн): a – асинхр, l – синхр, r

I _p [ 10 F, 10 С ] _r

17. Подстр. индекс у C или P может быть: CISC / RISC / VLIW / EPIC / Векторная / SMP / MPP/Кластер/ ClusterHA/ ClusterNLB/ ClusterHPC/ SAN/ DAS/NAS/CAS

Пример

P CISC(i8086)= I p8[B 16 –16Rg 13*8] –16M 1M*16

1. RISC-идеология. История, основные принципы, признаки RISC. Достоинства и недостатки.

До начала 80-х годов прогресс в области ВТ за счет смены средств элементной базы компьютеров (на различных физических принципах). Последние десятилетия процессоры развиваются на базе интегральных полупроводниковых микросхем.

В конце1970-х гг. IBM: около 20% всех команд процессора занимают при выполнении около 80% всего процессорного времени, а остальные 80% команд — оставшиеся 20%.

Возникла идея свести набор команд к минимуму, зафиксировать их длину для удобства декодирования, а непосредственный доступ к памяти (загрузку данных в регистры ЦП из памяти и копирование из регистров в память) разрешить лишь некоторым из них.

В начале 80-х Дэвид Дайзел с Дэвидом Патерсоном (David Patterson) опубликовали известную статью – «Необходимость RISC компьютеров».

Вывод: на уровне микропроцессора нужно оставить только эти самые 20%, а остальные операции выполнять с помощью механизмов типа микропрограмм (примерно так же, как реализуются операции с плавающей запятой в компьютере без сопроцессора).

RISC (Reduced Instruction Set Computing) -архитектура сокращенного набора команд. Данный тип микропроцессора нацелен на быструю и эффективную обработку небольшого набора команд. Архитектура RISC основана на том, что процесс декодирования и выполнения большинства команд должен быть достаточно прост, и в результате набор команд RISC-микропроцессора ограничен.

В ходе работы такой процессор оптимизирует каждую команду для быстрого выполнения, обычно в пределах одного такта. Однако при выполнении сложных команд RISC-микропроцессоры работают медленнее, чем CISC-микропроцессоры общего назначения, поскольку эти команды необходимо разбивать на более простые.

CISC (Complex/Complete Instruction Set Computing) - архитектура полного набора команд. Микропроцессор CISC использует набор машинных инструкций, полностью соответствующий набору команд языка ассемблера.

Вычисления разного типа в нем могут выполняться различными командами, даже если они приводят к одному результату (например, умножение на два и сдвиг на один разряд влево).

Такая архитектура обеспечивает разнообразные и мощные способы выполнения вычислительных операций на уровне машинных команд, но для выполнения каждой команды обычно требуется большое число тактов процессора.

Первые реализации RISC

Джон Хеннеси – Стэнфорд,Беркли: MIPS (1981г.):32разр, 16рег, 2Мгц. - микропроцессор без блокированных стадий конвейеров: реализована идея оптимизации работы конвейеров благодаря упрощению набора команд. В марте 1992 г. Silicon Graphics — основной потребитель ЦП MIPS — начал поглощать MIPS Computer Systems.

«Признаки» RISC

1. Сокращенный набор команд.

2. Большинство команд – за один такт.

3. Только содержимое Rg + команды загрузки/выгрузки для работы с ОП.

4. Отказ от микропрограмм, «жесткие» конвейеры. Суперскалярность - способность исполнения процессором нескольких инструкций (команд) за один такт.

5. Фиксированный простой и одинаковый формат команд.

6. Много основных регистров и большая кэш-память.

7. Оптимизирующий компилятор + оптимизированные библиотеки команд-функций, не входящих в набор команд.

Достоинства RISC:

• снижается стоимость разработки и производства процессоров,

• упрощается реализация схем конвейерной и параллельной обработки данных,

• упрощается реализация создания многопроцессорных систем.

Недостатки:

• RISC-процессорам необходимо более сложное программное обеспечение, компенсирующее отсутствие сложных операций на аппаратном уровне.

Архитектуры RISC и CISC не разделены непреодолимой пропастью. Сейчас все микропроцессоры имеют черты обеих архитектур.

Слияние идеологий:

Ядра ЦП претерпели кардинальные изменения: они стали проектироваться во многом по принципам RISC, но в то же время для сохранения совместимости с существующим программным обеспечением снаружи в ЦП все так же поступали обычные команды CISC.

Для того чтобы такая модель ЦП оказалась работоспособной, требуется обязательное внутреннее преобразование CISC-команд в одну или несколько RISC-команд, непосредственно выполняющихся ядром ЦП.

Пример:архитектура процессора i860.

1. «Пострисковские» архитектуры. Концепции многоядерности, multithreading, VLIW и EPIC. Их характеристика и различия. Примеры.

1.MultyCore ( Многоядерность ) - центральный процессор, содержащий два и более вычислительных ядра на одном процессорном кристалле или в одном корпусе.

Примеры: Sun, Intel, AMD

Многоядерные процессоры можно классифицировать:

• По наличию или отсутствию поддержки когерентности кэшей между ядрами.

• По способу связи между ядрами: разделяемая шина, сеть (Mesh) на каналах точка-точка, сеть с коммутатором, общие кеши.

• Во всех существующих на сегодняшний день многоядерных процессорах кэш-память первого уровня у каждого ядра своя, а кэш 2-го уровня существует в нескольких вариантах:

- разделяемый — кэш расположен на одном кристалле с ядрами и доступен каждому из них в полном объёме. Например: семейство Intel Core.

- индивидуальный — отдельные кэши равного объёма, интегрированные в каждое из ядер.

+ По внутренней архитектуре ядер!

2.VLIW-( Very Long Instruction Word ) + EPIC(Explicitly Parallel Instruction Computing )

Примеры: Itanium, Е2К

VLIW - общее определение для архитектур, в которых длинные инструкции содержат описание сразу нескольких операций, которые могут выполняться параллельно.

Идея технологии «очень длинных слов команд VLIW»:создается специальный компилятор планирования, который перед выполнением прикладной программы проводит ее анализ, и по множеству ветвей последовательности операций определяет группу команд, которые могут выполняться параллельно. Каждая такая группа образует одну сверхдлинную команду.

Это позволяет решать две важные задачи:

1. в течение одного такта выполнять группу коротких, «обычных» команд.

2. упростить структуру процессора.

Этим технология VLIW отличается от суперскалярности. В суперскалярных процессорах также есть несколько вычислительных модулей, но задача распределения между ними работы решается аппаратно. Это сильно усложняет дизайн процессора, и может быть чревато ошибками. В процессорах VLIW задача распределения решается во время компиляции и в инструкциях явно указано, какое вычислительное устройство должно выполнять какую команду.

Краткая история EPIC

- проект имел название Impact - в нач 1990-х годов были заложены теоретические основы самой архитектуры, затем были начаты работы в рамках создания инструментальных средств для процессора EPIC - проект по созданию инструментальных средств известен под названием Trimaran.

Первые реализации: Е2К – Россия, Б.А.Бабаян-МЦСТ, Itanium - Intel

Кластерная архитектура

Реализация объединения машин, представляющегося единым целым для ОС, системного ПО, прикладных программами пользователей.

Типы кластеров

1. Системы высокой надежности/готовности (High Availability Systems, HA).
2. Системы для высокопроизводительных вычислений (High Performance, HP, Compute clusters ).
3. Многопоточные системы.
4. Load-balancing clusters. (распределение вычислительной нагрузки)

Пример: архитектура кластера theHIVE

5. NUMA архитектура Non Uniform Memory Access – неоднородный доступ к памяти

Каждый процессор имеет доступ к своей и к чужой памяти (для доступа в чужую память используется коммутационная сеть или даже проц чужого узла). Доступ к памяти чужого узла может поддерживаться аппаратно: спец. контроллеры.

- : дорого, плохая масштабируемость.

Сейчас: NUMA осущ доступ к чужой памяти программно.

• Вычислительная система NUMA состоит из набора узлов (содержит один или несколько процессоров, на нем работает единственная копия ОС), которые соединены между собой коммутатором либо быстродействующей сетью.

• Топология связей разбивается на несколько уровней. Каждый из уровней предоставляет соединения в группах с небольшим числом узлов. Такие группы рассматриваются как единые узлы на более высоком уровне.

• ОП физически распределена, но логически общедоступна.

• В зависимости от пути доступа к элементу данных, время, затрачиваемое на эту операцию, может существенно различаться.

• Примеры конкретных реализаций: cc-NUMA, СОМА, NUMA-Q

Пример: HP Integrity SuperDome

Упрощенные блок-схемы SMP (а) и MPP (б)

1. Пять основных архитектур высокопроизводительных ВС, их краткая характеристика, примеры. Сравнение кластерной архитектуры и NUMA.

В кластере каждый процессор имеет доступ только в своей памяти, в NUMA не только к своей, но и к чужой (для доступа в чужую память используется коммутационная сеть и процессор чужого узла).

1. SMP архитектура. Принципы организации. Достоинства, недостатки. Масштабируемость в «узком» и «широком» смысле. Область применения, примеры ВС на SMP.

SMP архитектура (symmetric multiprocessing) - cимметричная многопроцессорная архитектура. Главной особенностью систем с архитектурой SMP является наличие общей физической памяти, разделяемой всеми процессорами.

1. SMP-система строится на основе высокоскоростной системной шины, к слотам которой подключаются функциональные блоки трех типов: процессоры (ЦП), оперативная память (ОП), подсистема ввода/вывода (I/O).

2. Память является способом передачи сообщений между процессорами.

3. Все вычислительные устройства при обращении к ОП имеют равные права и одну и ту же адресацию для всех ячеек памяти.

4. Последнее обстоятельство позволяет очень эффективно обмениваться данными с другими вычислительными устройствами.

5. SMP используется в cерверах и рабочих станциях на базе процессоров Intel, AMD, Sun, IBM, HP.

6. SMP-система работает под управлением единой ОС (либо UNIX-подобной, либо Windows). ОС автоматически (в процессе работы) распределяет процессы по процессорам, но иногда возможна и явная привязка.

Принципы организации:

• SMP система состоит из нескольких однородных процессоров и массива общей памяти.

• Один из часто используемых в SMP архитектурах подходов для формирования масштабируемой, общедоступной системы памяти, состоит в однородной организации доступа к памяти посредством организации масштабируемого канала память-процессоры.

• Каждая операция доступа к памяти интерпретируется как транзакция по шине процессоры-память.

• В SMP каждый процессор имеет по крайней мере одну собственную кэш-память (а возможно, и несколько). Можно сказать, что SMP система - это один компьютер с несколькими равноправными процессорами.

• Когерентность кэшей поддерживается аппаратными средствами.

• Все остальное - в одном экземпляре: одна память, одна подсистема ввода/вывода, одна операционная система.

• Слово "равноправный" означает, что каждый процессор может делать все, что любой другой. Каждый процессор имеет доступ ко всей памяти, может выполнять любую операцию ввода/вывода, прерывать другие процессоры.

Масштабируемость:

• В «узком» смысле: возможность подключения аппаратных средств в некоторых пределах (процессоры, память, интерфейсы).

• В «широком» смысле: линейный рост показателя производительности при увеличении аппаратных средств.

Достоинства:

• простота и универсальность для программирования. Архитектура SMP не накладывает ограничений на модель программирования, используемую при создании приложения: обычно используется модель параллельных ветвей, когда все процессоры работают абсолютно независимо друг от друга - однако, можно реализовать и модели, использующие межпроцессорный обмен. Использование общей памяти увеличивает скорость такого обмена, пользователь также имеет доступ сразу ко всему объему памяти.

• легкость в эксплуатации. Как правило, SMP-системы используют систему охлаждения, основанную на воздушном кондиционировании, что облегчает их техническое обслуживание.

• относительно невысокая цена.

• преимущество, связанное с параллелизмом. Неявно производимая аппаратурой SMP пересылка данных между кэшами является наиболее быстрым и самым дешевым средством коммуникации в любой параллельной архитектуре общего назначения. Поэтому при наличии большого числа коротких транзакций (свойственных, например, банковским приложениям), когда приходится часто синхронизовать доступ к общим данным, архитектура SMP является наилучшим выбором; любая другая архитектура работает хуже.

• архитектура SMP наиболее безопасна. Из этого не следует, что передача данных между кэшами желательна. Параллельная программа всегда будет выполняться тем быстрее, чем меньше взаимодействуют ее части. Но если эти части должны взаимодействовать часто, то программа будет работать быстрее на SMP.

Недостатки:

SMP-cистемы плохо масштабируемы:

1. Системная шина имеет ограниченную (хоть и высокую) пропускную способность и ограниченное число слотов, так называемое «узкое горлышко».

2. В каждый момент времени шина способна обрабатывать только одну транзакцию, вследствие чего возникают проблемы разрешения конфликтов при одновременном обращении нескольких процессоров к одним и тем же областям общей физической памяти. Когда произойдет такой конфликт, зависит от скорости связи и от количества вычислительных элементов.

Все это препятствует увеличению производительности при увеличении числа процессоров и числа подключаемых пользователей. В реальных системах эффективно можно использовать не более 8-16-32 процессоров.

Область применения: для работы с банковскими приложениями

Пример: Архитектура Sun Fire T2000. Архитектура UltraSPARC T1.

1. SMP архитектура. Совершенствование и модификация SMP архитектуры. SMP в современных многоядерных процессорах. Когерентность КЭШа.

SMP архитектура (symmetric multiprocessing) - cимметричная многопроцессорная архитектура. Главной особенностью систем с архитектурой SMP является наличие общей физической памяти, разделяемой всеми процессорами.

Совершенствование и модификация SMP:

Пример: Архитектура QBB серверных систем серии GS DEC

С целью увеличения производительности шины произведена попытка убрать шину, но оставить общий доступ к памяти --> переход и замена общей шины локальным коммутатором (или системой коммутаторов): каждый процессор в каждый момент времени скоммутирован с 4 банками памяти.

- каждый проц работает с каким-то банком памяти,

- переключается на другой банк памяти

- начинает работу с другим банком памяти.

Транспьютерные топологии

Физические топологии 2D — шина (bus), звезда (star), кольцо (ring), дерево (tree), сетка (mesh)

Классическая МРР - 3D-решетка

Определения ассоциативных кэшей

Смешанные

-iSCSI

-Fibre Channel

-FCIP (Fibre Channel over IP)

-iFCP (Internet Fibre Channel Protocol)

Infiniband (?)

Построен SAN с исп FCoE (CNA) Пр топологии SAN на базе FC: Трехуров топология CE

Достоинства SAN:

- Открытые стандарты

- Обеспечивает непрерывность работы

- Обеспечивает высокую надежность

- Консолидация серверов и хранилищ

- Масштабируемость и реконфигурируемость в реальном времени

- Централизованное управления

- Безопасность

- «Быстрое» создание архивных копий

- Сокращение затрат (TCO, ROI)

Компоненты SAN:

1. Адаптеры для подключения к SAN

-HBA / TBA (FC)

-HCA / TCA (Infiniband)

-NIC / ToE NIC / SNIC (iSCSI)

-CNA (FCoE)

2. Коммуникационное оборудование

-Коммутаторы / Шлюзы / Маршрутизаторы

-Директоры / Бэкбоны

3. Интеллектуальные системы хранения (ISS)

4. Роботизированные ленточные библиотеки

3. Архитектуры интеллектуальные системы хранения данных (ISS). Обобщенная схема. Архитектура EMC² CLARiiON. Кэш-память в ISS. Кэш-память EMC² CLARiiON. Архитектура EMC² Symmetrix.

Интеллектуальные системы хранения данныхпредставляют собой полно функциональные RAID-массивы, обеспечивающие оптимизированные возможности обработки ввода/вывода. Эти массивы снабжены операционной средой, осуществляющей управление, распределение и использование ресурсов хранения. Такие системы хранения данных конфигурируются с большими объемами памяти, называемой кэш-памятью, и используют сложные алгоритмы обработки вводов/выводов для приложений, для которых производительность систем является критичной.

Архитектура EMC Symmetrix

Системный отсек Symmetrix состоит из внешних контроллеров (называемых Диспетчерами канала) для подключения к хост-узлу, глобальной кэш-памяти большой емкости (называемой Диспетчером глобальной памяти) и внутренних контроллеров (называемых Диспетчерами дисков) для подключения к диску.

Отсек накопителя представляет собой корпус, который может вмещать до 240 накопителей.

Компоненты EMC Symmetrix:

1. До 12 Channel Director

-Fibre Channel, ESCON, FICON, iSCSI, Gigabit Ethernet

2. До 8 Global Memory Director

-2-64 Гбайта DDR SDRAM

-16 портов в/в

3. До 8 Disk Director

-До 2400 дисков

4. 2 Cross Communication Module (XCM)

-Сервисные процессоры

-Коммуникации между директорами

5. Модули PS+UPS+BBU

6. Модули вентиляторов

4. NAS подход к построению СХД. Обобщенная схема. Классификация архитектур NAS-решений. Основные компоненты NAS-хранилищ. Архитектура EMC² Celerra, VNX. Тенденция к унификации систем хранения данных.

NAS – Network Attached Storage - специализированное устройство, служащее в качестве выделенного высокопроизводительного шлюза для доступа к разделяемым данным на файловом уровне через сетевую среду общего назначения, как правило, посредством сетевой файловой системы.

По сути, представляет собой компьютер с дисковым массивом (обычно RAID-массивом), предоставляющий доступ к хранимым данным другим клиентам сети. Несколько таких компьютеров могут быть объединены в одну систему.

- Хранилище данных доступное через сеть общего пользования

- Доступ к данным на уровне файловой системы (сетевой): CIFS и NFS

- IDC: в 2012 году более 80% от общего количества продаваемых хранилищ составят файловые хранилища

Обобщенная структура NAS

Классификация NAS

1. По степени интеграции с устройствами хранения данных

-Integrated NAS(Standalone NAS/NAS server) - Интегрированное сетевое хранилище

-Gateway NAS(NAS head/Proxy NAS)-Шлюз м/д сетевыми клиентами и SAN (иногда DAS) хранилищами

2. По аппаратной базе

-На базе серверов общего назначения

-На базе специализированных аппаратных решений

Примеры NAS серверов:

1.Pure NAS

-EMC Celerra series

-HDS BlueArc Corporation Titan 3200

-HP ProLiant DL585 Storage Server

-Sun ZFS StorageTek 7X20 Series

2. Unified Storage

-EMC Isilion

-EMC VNX / VNXe Series

- NetApp FAS6200 , FAS3200, FAS 2000 series

3. Virtual Appliance / Software

-OpenFiler

-Sun Storage Appliance Software

Компоненты NAS сервера

1. Управляющие узлы

--- Средства управления компонентами системы

--- Обеспечивает контроль взаимодействия

2. Data movers \ Filers – перенос данных

--- Сетевые интерфейсы

--- Интерфейсы к системам хранения

--- Буферная память

--- Работают под специальной ОС

3. Коммуникационные узлы

--- Средства сетевого интерфейса для подсистемы хранения

4.Узлы хранения

--- Управление массивами данных

--- Работают под специальной ОС

5. Вспомогательные узлы

--- Питание

--- Охлаждение

Достоинства CAS-систем

+ Обеспечивают неизменность и целостность данных

+ Сокрытие от клиентского ПО места хранения данных

+ Отсутствие дублирования данных

+ Быстрый доступ к данным

+ Управление жизненным циклом данных на уровне объектов хранения

+ Независимость от технологии хранения

+ Оптимизированная стоимость владения

+ Масштабируемость

Архитектура EMC Centera

Архитектура Centera представляет собой платформу без единичных точек отказа. В ней используется массив независимых узлов (RAIN). Число идентичных узлов в одной стойке может составлять 16, 24 или 32, что обеспечивает от 4,6 до 9,6 Тбайт защищенной емкости хранения. Каждый узел содержит процессор и 600 Гбайт емкости хранения, на каждом выполняется копия ПО Centera в одном из двух эксплуатационных режимов - узел хранения (обеспечивается долговременное хранение объектов типа BLOP и CDF) и узел доступа (магистраль для взаимодействия между сервером приложений и узлами хранения). Узел связан со всеми другими узлами в кластере через частную локальную сеть.

Узлы доступа не предусматривают долгосрочного хранения контента, поэтому защищенная память кластера Centera определяется исключительно числом узлов хранения. Подобная архитектура обеспечивает системам Centera исключительную масштабируемость и по вместимости, и по производительности, а также простоту управления физическими ресурсами хранения.

Типичной для CAS архитектурой является RAIN (Redundant Arrays of Independent Nodes). Системы состоят из независимо функционирующих узлов хранения. Каждый узел содержит дисковый массив, центральный процессор, память и соединения Ethernet, служащие магистралями связи внутри модуля. Каждый узел, также как и подключаемые к сети устройства хранения, работает со своей собственной операционной системой. RAIN – это своего рода реализация RAID на узлах, а не на дисковых массивах.

Недостатки: можно выделить наличие узлов доступа, пропускающих через себя данные с узлов хранения. Это создает потенциальные узкие места в потоке данных в системе, снижает ее надежность.

8. RAID-массивы. Классические уровни RAID (0-5). Расширение классических уровней RAID (1E, 5E, 5EE). Сравнение и характеристики.

RAID (redundant array of independent disks — избыточный массив независимых жёстких дисков, 1987-1994) — массив из нескольких дисков, управляемых контроллером, взаимосвязанных скоростными каналами и воспринимаемых внешней системой как единое целое. В зависимости от типа используемого массива может обеспечивать различные степени отказоустойчивости и быстродействия.

Уровни RAID:

- Без обеспечения надежности хранения данных (RAID 0)

- С возможностью потери до 1 жесткого диска (RAID 1-5)

- С возможностью потери до 2 любых дисков (RAID 6)

-Кластерные (комбинированные) – с возможностью потери до 1 (2) дисков из группы (RAID1+0, 0+1)

Подходы к реализации

1. Программный RAID (LVM и т.п.)

2. Аппаратный RAID

-Плата расширения

--Программная реализация на уровне драйвера (интерфейс для подключения HDD)

--Аппаратная реализация (полноценный RAID контроллер)

-Отдельная система (DAS, SAN)

3. Реализация при помощи SAN (виртуализаторы на уровне SAN)

4. Комбинированные подходы

RAID 6: EVENODD

- Коды четности распределены по дискам

- P – XOR внутри горизонтальныхгрупп

- Q – XOR внутри диагональных групп

- Случайная запись вызывает 6 операций ввода/вывода для 13 блоков и 12 для 3 блоков

RAID 6: X-Code

- Количество дисков должно быть простым числом

- P – XOR внутри диагональных групп слева направо

- Q – XOR внутри диагональных групп справа налево

- Случайная запись вызывает 6 операций ввода/вывода

RAID 6: Reed-Solomon

- XOR внутри горизонтальных групп

- R-S внутри горизонтальных групп

- Случайная запись вызывает 6 операций ввода/вывода

- М.б. расширен для обесп надежного хранения данных в случае отказа большего числа дисков (>2)

RAID 1+0: Отказоустойчивый массив с дублированием и параллельной обработкой

RAID 0+1: Отказоустойчивый массив с параллельной обработкой и зеркалированием

RAID 5+0. Отказоустойчивый массив с распределенными блоками четности и повышенной производительностью

10. Оценка надежности уровней RAID. Проблема скрытых (отложенных) ошибок. Последовательное моделирование методом Монте-Карло в задачах оценки надежности дисковых массивов (Метод Элиреса).

Оценка надежности:

1. при помощи Марковских цепей (1988)

2. последовательное моделирование методом Монте-Карло – метод Элиреса (Jon G. Elerath) (2007)

Модель сбоев HDD Пример скрытой ошибки

Рекомендации по применению RAID-массивов

12. Кластерные системы. Типы кластерных систем. Достоинства и недостатки архитектуры. Примеры кластерных архитектур. Кластерные системы и СХД.

Кластер (первые идеи 1950-1960)- две или более вычислительных системы (узлы кластера), объединенных при помощи сетевых технологий и представляемых перед пользователем в качестве единого информационно-вычислительного ресурса.

История создания:1950-1960: Первые идеи, 1967: Закон Амдала (Gene Amdahl), 1984: DELL VAXCluster, 1989: Parallel Virtual Machine

Вычислительная кластерная система: набор рабочих станций общего назначения используемый в качестве дешевого варианта массивно-параллельного компьютера

Классификации топологий

1. Уровень

- Логический

- Физический

2. Однородность

- Однородные

- Неоднородные

3. Регулярность

- Регулярные

- Нерегулярные

- Частично регулярные: с краевыми эффектами, с нарушенной структурой

- Иерархические

Некоторые топологии:

- Шина

- N-мерная решетка

- Звезда

- Кольцо

- Полносвязная

- Дерево (в т.ч. бинарное)

- Гиперкуб

- 2D/3D-тор

- Толстое дерево (Fat Tree) (1)

- Плоская бабочка (Flattened Butterfly) (2)

- Топология Dragonfly (3)

Характеристики топологий:

- Диаметр (D)

- Связность (C)

- Ширина бинарного деления (BW)

- Стоимость (Cst)

Типы передач:

1. По способу передачи

- Сообщения

- Пакеты

2. По направлению:

- 1->1

- Простая 1->N / N->1

- Обобщенная 1->N / N->1

- Обобщенная N->N

GRID: История создания

Включает:

---История развития сетевых технологий

---История развития вычислительных систем

---История развития сетевых служб и протоколов

---История развития средств программирования

---История развития ПО ГРИД-систем

- С 1967 – первые сетевые устройства с коммутацией пакетов

- 2009 – продолжение следует…

GRID: История создания ПО

1. 1988 – Проект Condor

- Запуск приложений в рамках вычислительной сети департамента

- Поиск подходящих ресурсов

- Устойчивость к сбоям

2. 1993 – Проект Legion

- Объектно-ориентированная модель всех ресурсов

3. 1994 – Проект Nimrod

- Централизованное управление индивидуальными задачами

- Поиск свободных ресурсов и запуск на них задач

- LAN-ориентированное ПО

4. 1997 – Проект UNICORN

- Комбинация инструментальных средств и портала

5. 1997 – Storage Resource Broker (SRB)

- Клиент-серверное промежуточное ПО

- Однородный интерфейс для подключения к гетерогенным ресурсам данных через сеть и доступ к реплицируемым наборам данных

- Доступ к наборам данных и ресурсам используя их атрибуты, а не имена или место расположения

6. 1998 – Globus Toolkit 1.0

- Средства управления безопасностью

- Средства доступа к данным и передачи данных

- Средства поиска и распределения ресурсов

- Средства для удаленного выполнения задач

7. 1998 - Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing Infrastructure,” Morgan Kaufmann, 1998

- Описание GRID концепции и способов ее применения

8. 2002 – Open GRID Service Architecture (OGSA)

- Объединение GRID и Веб-сервисов

9. Современность – Globus Toolkit 4, новые подходы к построению GRID на уровне исследований

Классификация GRID

Уровни ПО GRID систем:

1. Приложения для конкретных научных сфер: химия, биология, косметология, физика высоких энергий, экология

2. Наборы инструментальных средств: удаленная визуализация, распределенные вычисления, средства программирования, удаленные измерения, коллективные приложения

3. GRID-сервисы: аутентификация, авторизацию, размещение и распределение ресурсов, получение результатов выполнения задач, статистику и служебную информацию, удаленный доступ к данным, стратегию и способы обнаружения неисправностей

4. GRID-ресурсы: транспортные протоколы, сервера имен, планировщики использования процессоров, инфраструктура открытого ключа, статистика по отдельным сайтам, сервис каталогов

Применение GRID(решение вычислительно сложных задач): физика высоких энергий, биофизика, геофизика и геология, химия и биохимия, генетика, астрономия и космология, метеорология, материаловедение

Примеры GRID систем

1. TeraGRID

--- Объединяет более 30 ВС: SMPs, MPPs, Clusters

--- Производительность более 1,9 PFLOPS (>1,5 PFLOPS)

--- Общая емкость разделяемого хранилища данных более 5 петабайт

2. Enabling Grids for E-sciencE (EGEE)

_ Инфраструктура приблизительно из 260 сайтов в 50 странах

_ Более чем из 92 тыс. ЦПУ, доступная пользователям круглосуточно 7 дней в неделю

_ Созданы ресурсы хранения свыше 20 петабайт

_ Поддерживается устойчивая и постоянная работа на уровне 30 тыс. задач в сутки; эта нагрузка может повышаться до 150 тыс. задач в сутки

_ Обеспечены возможности передачи данных на уровне свыше 1.5 ГБ/с

3. Russian Data Intensive Grid (RDIG)

_ Организован в 2003 году

_ Инфраструктура для интенсивных операций с научными данными

_ 15 ресурсных центров, в том числе МИФИ

_ 2758 процессоров

Обозначения устройств

• B –целочисленные устройства исполнения

• C –компьютер ( включает хотя бы одно I )

• Core – процессорное ядро

• Ch –канал ввода-вывода

• D –устройство ввода-вывода

• E –устройство исполнения ( АЛУ )

• F –устройства с плавающей точкой

• H –магистраль данных

• I –устройство обработки потока команд

• IO –интерфейс устройства ввода-вывода

• M –устройство памяти ( обычно ОП )

• P –процессор

• U –неспецифицированное устройство

• X –коммутатор

• Csh –кэш

• Csh1, Csh2 –кэш 1-го, 2-го уровней

• Cshi, Cshd –кэш команнд, кэш данных

• Rg –регистры

• Lds –устр-во загрузки-записи

• Br –блок предсказания переходов

• GrP –графический процессор

• Server – сервер.

• Super – суперкомпьютер.

• SS (Storage System) – система хранения данных.

• Cluster – кластерная система.

• Node – узел.

• Hub – сетевой концентратор для передачи информации в простой сети.

• Switch – сетевой концентратор - это устройство, предназначенное для соединения нескольких узлов компьютерн