Глава 2 Принципы работы и основные характеристики

Принципы работы суперкомпьютера SuperMUC

SuperMUC находится на шестой позиции в рейтинге Top 500 мощнейших суперкомпьютерных систем в мире по данным на ноябрь 2012г. Производительность системы составляет 2,8 петафлопс. SuperMUC был разработан компанией IBM и установлен в Суперкомпьютерном Центре им. Лейбница, который служит главным компьютерным центром для Мюнхенских университетов и Баварской Академии Наук.

Суперкомпьютер создан на базе IBM iDataPlex и использует 155000 процессорных ядер. В системе установлено 18432 процессора Intel Xeon E5-2680 и 820 процессоров Intel Xeon E7-4870. Объем оперативной памяти составляет 340ТБ. Для хранения данных доступно более 10ТБ дискового пространства под управлением файловой системы IBM GPFS. Интересной особенностью суперкомпьютера является разработанная IBM система охлаждения Aquasar, которая охлаждает процессоры горячей водой с температурой до 40°С, что позволяет сократить общее энергопотребление на 40%.

Рис. 1 SuperMUC No 4 of the Top500 List

SuperMUC состоит из большого числа «тонких» вычислительных узлов средней мощности, каждый из которых обладает пиковой производительностью в несколько сотен гигафлопс, и нескольких десятков мощных «толстых» вычислительных узлов, оснащенных большим объемом разделяемой памяти. Сетевое соединение узлов позволяет добиться идеального линейного масштабирования приложений вплоть до уровня в 10 000 задач.

В составе SuperMUC находится 18 блоков с «тонкими» узлами и один блок с «толстыми» узлами, который также применяется для поддержки системы миграции SuperMIG. Каждый блок содержит более 8192 ядер. Все вычислительные узлы в рамках одного блока соединяются посредством технологии Infiniband с полностью неблокируемой архитектурой (FDR10 в случае тонких узлов / QDR для толстых узлов). SuperMUC работает под управлением ОС SUSE Linux Enterprise Server, позволяющей выполнять частотное масштабирование.

«SuperMUC работает во много раз эффективнее своего предшественника. Мы используем частотное масштабирование, являющееся функцией ядра Linux в системе SUSE Linux Enterprise там, где это возможно. Это позволяет нам запускать приложения в наиболее оптимальном режиме. Мы стараемся задействовать новые средства обеспечения энергоэффективности, встраиваемые в Linux», - сообщил Герберт Губер, глава подразделения высокопроизводительных систем Суперкомпьютерного Центра им. Лейбница.

SuperMUC использует революционную схему водяного охлаждения, разработанную IBM. Активные компоненты, такие, как процессор и память, напрямую охлаждаются водой с рабочей температурой вплоть до 40°С. «Система высокотемпературного жидкостного охлаждения» в сочетании с инновационным программным обеспечением позволяет существенно снизить энергопотребление системы. Более того, отработанное тепло используется для отопления зданий Суперкомпьютерного Центра.

Энергопотребление суперкомпьютера гораздо ниже в сравнении с системами, обладающими аналогичным уровнем производительности. Как сообщил проф. Боде, «Уникальная схема прямого водяного охлаждения делает SuperMUC крайне энергоэффективным. Процессоры и оперативная память напрямую охлаждаются теплой водой, и отсутствует необходимость в создании дополнительной охлаждающей инфраструктуры. Данная схема была разработана IBM специально для SuperMUC. Использование процессоров Intel и новейшего программного обеспечения позволяет еще больше сократить энергопотребление».

Для питания суперкомпьютера требуется всего лишь 3,52МВт электроэнергии, что значительно снижает затраты на содержание системы. Среднее энергопотребление SuperMUC составляет 217,2кВт в день и 155,7кВт в месяц.

Руководитель Суперкомпьютерного Центра им. Лейбница, Профессор Арндт Боде, особо отметил удобство работы с системой: «Процессоры SuperMUC оснащены стандартным набором инструкций, таким же, как на ноутбуках, персональных компьютерах и серверах. Это значительно упрощает программирование SuperMUC в сравнении со многими другими суперкомпьютерами, требующими более сложной процедуры адаптации программного кода».

Суперкомпьютер будет использоваться для широкого спектра исследовательских работ, в том числе для моделирования кровотока в области искусственного сердечного клапана, разработки малошумных самолетов и проведения исследований в области геофизики, в том числе, изучения землетрясений. SuperMUC, помимо всего прочего, оснащен мощными системами визуализации: огромным стереоскопическим экраном с разрешением QuadHD и пятисторонней системой погружения в виртуальную реальность под названием CAVE (пещера), которые предназначены для визуализации трехмерных наборов данных в таких областях, как наука о Земле, астрономия и медицина.

Во время празднования 50-летней годовщины Компьютерного центра имени Лейбница - Leibniz-Rechenzentrum (LRZ) Академии Наук Баварии в Гархинге, Германия летом 2012 года – компания IBM официально представила самый мощный и скоростной суперкомпьютер в Европе, решающий сложные научные задачи в области физики и динамике жидкостей и работающий на платформе SUSE Linux Enterprise Server. SuperMUC в июне 2012 г. занял 4 место в списке 500 самых скоростных в мире суперкомпьютеров. SuperMUC на платформе System X iDataPlex компании IBM оснащен более чем 155 000 ядрами процессоров, которые обеспечивают совокупно максимальную производительность более 3 петафлопов (единиц компьютерной производительности).

Особенностью SuperMUC является инновационная технология охлаждения системы теплой водой, разработанная компанией IBM, в основу которой положена система циркуляции крови в организме человека. В результате SuperMUC затрачивает на 40% меньше энергии на охлаждение систем, чем «классические» вычислительные центры, а так же позволяет аккумулировать и использовать сэкономленную энергию для отопления зданий Компьютерного Центра Лейбница.

«SuperMUC в несколько раз эффективнее своего предшественника. По необходимости мы пользуемся частотным масштабированием, - функцией платформы Linux на базе SUSE Linux Enterprise Server. Это позволяет максимально эффективно и оптимально работать с приложениями и означает, что мы везде, где возможно, используем недавно разработанные механизмы энегосбережения на платформах Linux”, - говорит Др. Герберт Губер (Dr. Herbert Huber) Глава отдела Высокопроизводительных систем в Компьютерном Центре Лейбница.

Компьютер SuperMUC весом 100 тонн занимает 500 квадратных метров в Расчётном центре имени Лейбница (LRZ) в Гархинге. Учёные из 24 европейских стран, а также из Израиля и Турции смогут использовать его для своих расчётов в самых разных областях – от геофизики и астрономии до биологии и генной инженерии. Уже в ближайшее время на SuperMUC специалисты смоделируют Большой взрыв, давший начало Вселенной, исследуют движения земной коры, что позволит с большей вероятностью предсказывать землетрясения, и создадут объёмную модель человеческого мозга, гигантскую проекцию которой в формате 3D потом покажут в отдельной лаборатории.

Главной гордостью создателей компьютера является система охлаждения. Для поддержания оптимальной температуры процессоров впервые в таком масштабе применяются не вентиляторы (кулеры), а вода. Обычно в помещение, где стоят компьютеры, близкие по размеру к SuperMUC, невозможно войти без затычек для ушей, поскольку из-за многочисленных кулеров, работающих на полную мощность, шум стоит, как на аэродроме. Но новый SuperMUC практически бесшумен. Всё лишнее тепло от разогретых процессоров забирает вода, которую в зимнее время будут подавать в радиаторы и отапливать все остальные помещения вычислительного центра. Предполагается, что такая система охлаждения позволит сэкономить в год один миллион евро на электричестве и отоплении.

Но даже несмотря на такую экономию, SuperMUC будет потреблять примерно столько же электроэнергии, сколько весь город Гархинг, в котором и находится вычислительный центр. Сообщается, что чувствительные счета за электричество будут оплачиваться совместно из федерального бюджета и из земельного бюджета Баварии.

По мощности SuperMUC оказался четвёртым компьютером в мире, обойдя китайский Tianhe-1A. Два других самых мощных компьютера находятся в США и один в Японии. Американский суперкомпьютер Sequoia специализируется на симуляции испытаний ядерного оружия, Mira – на расчётах из области биоинформатики (математическое моделирование биологических процессов). Японский суперкомпьютер «K computer» лишён специализации, учёные используют его для самых разных химических и физических расчётов.

На торжественной церемонии открытия немецкого SuperMUC министр образования и научных исследований Аннетте Шаван (Annette Schavan) высказала надежду, что новый компьютер позволит Германии играть ведущую роль в решении глобальных проблем, связанных с климатом, источниками энергии, мобильностью, коммуникацией и безопасностью, поскольку, по словам Шван, «суперкомпьютеры – это ключ к ответам на самые насущные вопросы XXI века».

Немецкий суперкомпьютерный центр им Лейбница при Академии наук Баварии отметил свое 50-летие и презентовал новый суперкомпьютер SuperMUC, являющийся четвертым самым мощным компьютером в мире и самым мощным компьютером на базе процессоров x86.Создан суперкомпьютер был компанией IBM, а работает он под управлением операционной системы SUSE Linux Enterprise Server. Также SuperMUC стал самым быстрым суперкомпьютером в Европе, где очень популярны натяжные потолки. В заявлении разработчиков SUSE говорится, что машина имеет уникальную систему охлаждения, похожую на кровеносную систему в организме человека. Благодаря этой системе компьютер имеет пониженное энергопотребление. Второй изюминкой машины является система сбора тепла, которое потом используется для подогрева воды в университетском кампусе.Также в заявлении говорится, что машина имеет 155 000 процессорных ядер, способных доставить производительность в 3 петафлоп/сек. Объем оперативной памяти компьютера составляет 324 терабайта.Напомним, что сейчас SUSE принадлежит инвестиционному фонду Attachmate, но раньше он входил в компанию Novell, а до этого он был создан группой немецких программистов, сохранивших свою связь с данной ОС.

Именно поэтому в Германии к SUSE Linux особенное отношение и здесь позиции этой системы довольно сильны.По статистике, SUSE работает примерно на трети из 25 мощнейших суперкомпьютеров.