С. П. Котелевский

Ин-т вычислительной математики

и математической геофизики СО РАН

(Россия, 630090, Новосибирск, пр. Лаврентьева, 6,

тел.(383) 3306279, Е-mail: [email protected])

С.П. Котелевский

Ин-т вычислительной математики

и математической геофизики СО РАН

(Россия, 630090, Новосибирск, пр. Лаврентьева, 6,

тел.(383) 3307777, Е-mail: gling@sscc.ru)

Н.В. Кучин

Ин-т вычислительной математики

и математической геофизики СО РАН

(Россия, 630090, Новосибирск, пр. Лаврентьева, 6,

тел.(383) 3307777, Е-mail: kuchin@sscc.ru)
Сибирский Суперкомпьютерный Центр:

направления развития

Аннотация. Сибирский Суперкомпьютерный Центр коллективного пользования (ССКЦ КП) это детище академика А.С. Алексеева, первого научного руководителя ССКЦ и первого председателя Совета по Супервычислениям при Президиуме СО РАН. Основные вычислительные мощности это кластер НКС-160 с пиковой производительностью в 1 ТФлопс и 4-х процессорный сервер с 64 ГБайтами оперативной памяти. Во многом благодаря усилиям А.С. Алексеева сформировалось сообщество пользователей ССКЦ со своими задачами и научными проблемами. Основная задача сейчас это привлечение новых пользователей и новые прикладные задачи, расширение сферы приложений высокопроизводительных вычислений не только в СО РАН и университетах Новосибирска, но и в промышленности. В первую очередь для этого необходимо увеличение вычислительных ресурсов с тем чтобы стабильно находиться в первой десятке списка Top 50 наиболее высокопроизводительных компьютеров по СНГ.

Основные направления деятельности. Сибирский Суперкомпьютерный Центр создан в 2001 году постановлением Президиума СО РАН при ИВМиМГ СО РАН на базе инициативно созданного в институте в 1996 г. суперкомпьютерного центра для развития высокопроизводительных информационно-вычислительных технологий математического моделирования в институтах СО РАН и университетах Сибири, оказания вычислительных услуг и консультаций по параллельным вычислениям институтам Сибирского Отделения СО РАН. В его задачи входит обеспечение вычислительными ресурсами институты СО РАН и университеты Сибири по проведению математического моделирования в фундаментальных и прикладных исследованиях; координация работ по развитию суперкомпьютерных центров Сибири, осуществляемая Советом по Супервычислениям при Президиуме СО РАН; организация обучения специалистов СО РАН и студентов университетов (НГУ, НГТУ, СибГУТИ) методам параллельных вычислений на суперкомпьютерах (поддержка ежегодных зимних и летних школ по параллельному программированию для студентов); сотрудничество с Intel, HP и промышленными организациями, тестирование новых процессоров и серверов на задачах пользователей; сетевое взаимодействие с другими суперкомпьютерными центрами СО РАН, Москвы и других городов России, а также зарубежных стран, совместная разработка технологий распределенных вычислений.

В 2007 г. на кластерах ССКЦ работали 103 пользователя: сотрудники 12 институтов СО РАН, 3-х университетов (НГУ, НГТУ, СибГУТИ) г. Новосибирска и НИИ механики МГУ, г. Москвы. Вычислительные ресурсы ССКЦ использовались при выполнении 29 грантов РФФИ, 23 Интеграционных и заказных проектов СО РАН, 11 проектов по Программам отделений РАН, 8 проектов по Программам Министерства образования и науки, 2 проектов по Международным программам.

Основными вычислительными ресурсами ССКЦ являются кластер НКС-160 на базе процессора Intel Itanium2 и сервер HP Integrity rx4640 с общей памятью объемом 64 Гбайта и четырьмя процессорами Intel Itanium2. НКС-160 - это совместная разработка Сибирского Суперкомпьютерного Центра СО РАН, Intel и HP. Начальное ядро кластера было получено по акту дарения от Intel и включало в себя 8 серверов HP Integrity rx1620, Infiniband switch Voltaire ISR 9024, RedHat Enterprise Linux ES release 4, Intel MKL, компиляторы Intel Fortran и Intel C++. Сегодня кластер включает в себя 84 сервера HP Integrity rx1620. Его пиковая производительность составляет 1075 GFLOPS и производительность на тесте High Performance Linpack 828.7 GFLOPS.

Если кластеры предназначены для решения параллельных задач с использованием Message Passing Interface (MPI), то четырехпроцессорный сервер hp Integrity rx4640-8 на базе процессоров Intel Itanium2 c 64 Гбайтами RAM — прежде всего для трехмерных задач, требующих большого объема оперативной памяти, а также параллельных задач с использованием OpenMP. При таком подходе поддерживаются две современных парадигмы параллельных вычислений - MPI для систем с распределенной памятью (кластеров) и OpenMP для систем с общей памятью.

Прикладное программное обеспечение включает коммерческие пакеты Gaussian 03 и Fluent 6.3 со средствами подготовки данных задачи Gambit и построения сеток TGrid.

Пакет Gaussian основывается на использовании квантовомеханических законов для расчета энергий, молекулярных структур и частот вибраций молекулярных систем, а также множества других свойств, производных от этих базовых характеристик.

Пакет Fluent предназначен для моделирования сложных течений жидкостей и газов с широким диапазоном свойств. Посредством обеспечения различных параметров моделирования и использования многосеточных методов с улучшенной сходимостью, пакет обеспечивает оптимальную эффективность и точность решения для широкого диапазона моделируемых скоростных режимов.

Центр Компетенции по высокопроизводительным вычислениям. В июне 2008 года на базе ССКЦ открыт Центр Компетенции СО РАН – INTEL, основными задачами которого являются: внедрение современных вычислительных технологий на базе разработок фирмы Intel и достижений СО РАН в промышленное производство Сибирского региона; обучение современным вычислительным технологиям на базе разработок фирмы Intel организаций добывающих отраслей, промышленности, науки и ВУЗов; оказание консультаций по параллельному программированию и вычислительных услуг на базе кластеров, имеющихся в ССКЦ (платформы Intel Itanium2, многоядерным Quad-Core Intel® Xeon® 5400 Harpertown и в перспективе Nehalem) по параллельным супервычислениям; сравнительная оценка производительности новых разработок фирмы Intel в области технических и программных средств на реальных задачах, решаемых в ССКЦ.
Развитие ССКЦ КП. Развитие ССКЦ как Центра Обработки Данных (ЦОД) по высокопроизводительным вычислениям включает в себя прежде всего рост вычислительных мощностей, расширение и модернизацию как инфраструктуры ЦОД, так и служб эксплуатации, предоставление пользователям как вычислительных ресурсов, так и вычислительных услуг, расширение числа пользователей и классов решаемых задач, объединение Суперкомпьютерных ЦОД-ов быстрыми каналами связи. Все это невозможно без качественного роста финансирования ССКЦ КП.

Принято решение об объединении ресурсов ССКЦ и ИЦиГ с целью создания единого кластера. В 2008 году его производительность составит около 6 ТФлопс c расширением в 2009 году до 35 – 40 ТФлопс. Объединенный кластер будет размещен в ЦОД ССКЦ и обслуживаться силами сотрудников ССКЦ. Часть вычислительных ресурсов нового кластера будет зарезервирована под задачи Биоинформатики. Кластер будет создан на базе процессоров Intel Xeon E5450 и сдвоенных блейд-серверов HP BL2x220c. На это же решение ориентируется Московский Межведомственный Суперкомпьютерный Центр при наращивании мощности кластера МВС-100k до 100 ТФлопс.

Инфраструктура ЦОД ССКЦ это машинный зал общей площадью в 140 квадратных метров, система автоматического пожаротушения, пожарная и охранная сигнализация, источники бесперебойного энергопитания, установки промышленного кондиционирования, системы мониторинга и управления, кабельное хозяйство. За счет высокой плотности пиковая производительность одной стойки с четырьмя полками HP c7000 (64 сервера HP BL2x220c) достигает 12 ТФлопс, тепловыделение около 32 КВт и вес около одной тонны. Обычные воздушные промышленные кондиционеры с таким тепловыделением уже не справляются. Поэтому в следующем году при наращивании кластера до запланированных 35 – 40 ТФлопс необходима комбинированная система кондиционирования с возможностью FreeCooling для экономии электроэнергии в холодное время года.

Примером современной инфраструктуры ЦОД является СКИФ МГУ. Отметим что при пиковой производительности кластера в 60 ТФлопс его вес достигает 30 тонн, а общее энергопотребление комплекса составляет 720 КВт., см. http://parallel.ru/cluster/skif_msu.html и http://www.osp.ru/os/2008/05/5198633/ .

Стоимость инфраструктуры доходит до 40% от общей стоимости проекта, см. http://www.pcweek.ru/themes/detail.php?ID=113407 .

Для эффективной эксплуатации дорогостоящего оборудования предполагается расширение числа сотрудников и запрашиваются дополнительные ставки у Президиума СО РАН.

ССКЦ предоставляет своим пользователям вычислительные ресурсы, силами ВНТК «ПАРАЛЛЕЛЬ» оказывает консультации по пакетам Gaussian и Fluent и практическую помощь в распараллеливании пользовательских алгоритмов и программ, а также проводятся семинары в рамках Центра Компетенции СО РАН – Intel, см. http://www2.sscc.ru/SORAN-INTEL/seminar.htm. Планируется расширять эту активность прежде всего в части консультационного обслуживания по программному обеспечению (ПО) Intel (компиляторы, библиотеки MKL и IPP, Intel MPI etc.), проведения тренингов по ПО Intel, оказанию практической помощи пользователям. Прорабатываются вопросы оказания вычислительных услуг, таких как поддержка крупномасштабных вычислительных экспериментов, организация промышленной эксплуатации прикладных комплексов пользователей на ресурсах ССКЦ и силами его сотрудников.

Каналы связи с высокой пропускной способностью между Суперкопьютерными Центрами ССКЦ, ИТПМ СО РАН, НГУ необходимы для оперативного обмена данными. В дальнейшем они будут использоваться для организации Грид – сегмента Новосибирского Научного Центра. В настоящее время забрать из кластеров ССКЦ или наоборот передать для обработки относительно небольшие объемы данных в 5 – 10 Гбайт превращается в большую проблему.

Фактически каждые два года происходит смена поколений процессоров. Технологический прогресс в развитии вычислительной техники влечет за собой быстрое моральное устаревание эксплуатируемых вычислительных мощностей. Это приводит к необходимости обновления каждые 2 – 3 года парка технических средств.

1. 
   Алексеев А.С., Глинский Б.М., Котелевский С.П., Кучин Н.В. Малышкин В.Э. Сибирский Суперкомпьютерный Центр (ССКЦ), перспективы его развития // Труды Международной конференции по вычислительной математике МКВМ-2004, Новосибирск: Изд. ИВМиМГ СО РАН, 2004, с 3-19
   
2. 
   Алексеев А.С., Глинский Б.М. Сибирский Суперкомпьютерный Центр в проблемах науки, образования и информационно-вычислительной поддержки наукоемкой промышленности. //Вестник СибГУТИ. 2007. №1, Новосибирск. C. 12-18.
   
3. 
   Глинский Б. М., Кучин Н. В., Медведев Ю. Г., Котелевский С. П. Сибирский суперкомпьютерный центр СО РАН: опыт проектирования, построения и сопровождения программно-аппаратной среды. // Труды конференции: Научный сервис в сети Интернет: многоядерный компьютерный мир, 24-29 сентября, Новороссийск, -М.: Изд-во МГУ, 2007,стр 12-19.
   
4. 
   Глинский Б. М., Котелевский С. П., Кучин Н. В., Медведев Ю. Г. Сибирский суперкомпьютерный центр СО РАН: текущее состояние и перспективы. //Тезисы докладов 4-ой Сибирской школы-семинара по параллельным и высокопроизводительным вычислениям, Томск, 9-12 октября 2007, стр. 11-12.