Создание вычислительной фермы, построенной по технологии grid

GRID представляет собой распределенную по всему миру систему компьютерных центров, предназначенных для общего использования в рамках совместных проектов, требующих очень больших вычислительных ресурсов и объемов хранимых данных. В МИФИ создается узел GRID сети, предназначенный прежде всего для моделирования и обработки экспериментальных данных в рамках сотрудничества с Европейским Центром Ядерных Исследований (ЦЕРН) [8.1]. О постановке задачи, идеологии GRID, планах МИФИ и первых шагах по созданию такого GRID узла рассказано в предыдущем отчете за 2003 год. Здесь приведены данные о работах, выполненных в 2004 году, современном состоянии проекта и планах на 2005 год.

В 2003 году в МИФИ был создан прототип будущего GRID узла – компьютерная ферма (кластер) Lxfarm [8.2], [8.3]. Кластер предназначен для проведения расчетов и хранения больших объемов данных, главным образом, в области ядерной физики, физик элементарных частиц и космических лучей. Кроме того, кластер выступает как узел GRID – всемирной распределенной системы вычислительных центров.

В начале 2004 года на ферме было установлено новое оборудование: два двухпроцессорных вычислительных сервера на базе процессоров Xeon. Оборудование было закуплено в конце 2003 года на средства CRDF. Подключение этих серверов значительно увеличило вычислительную мощность фермы.

В июне 2004 года на средства CRDF был закуплен файл-сервер с объемом дискового пространства 2 Тбайт, а также стойка-шкаф для монтажа компьютерного оборудования. Кроме того, на средства по федеральной целевой программе “Электронная Россия” были закуплены и установлены три компьютера и мощный источник бесперебойного питания в стоечном исполнении.

В настоящее время в состав фермы Lxfarm входят следующие компьютеры:

• 
  lxfarm99 – двухпроцессорный Pentium-4 866 Мгц, 1 Гбайт RAM, 4x36 Гбайт SCSI диски с RAID контроллером. Играет роль файл-сервера домашних каталогов пользователей и общего программного обеспечения.
  

• 
  lxfarm01-lxfarm03 – компьютеры на процессоре Celeron 733 Мгц, 128 Мбайт RAM. Предназначены для отладки программ и проведения несложных расчетов.
  

• 
  lxfarm04, lxfarm05 – двухпроцессорные Xeon 2800 Мгц, 1 Гбайт RAM. Предназначены для проведения расчетов, требующих значительных затрат компьютерного времени.
  

• 
  lxfarm06-lxfarm08 – осуществляют некоторые сервисы GRID (описано ниже).
  

• 
  lxfarm09 – файл-сервер с общим объемом дисков 2 Тбайт. Предназначен для хранения больших объемов данных, прежде всего, в GRID-узле.
  

Перечислим кратко сервисы, предоставляемые на кластере Lxfarm. Более подробно о сервисах Lxfarm и о порядке работе на компьютерах фермы можно прочесть в документе “Работа на кластере Lxfarm”, который доступен на сайте http://lxfarm.mephi.ru в разделе “Документация”.

• 
  NIS сервис обеспечивает единую систему авторизации и аутентификации пользователей на компьютерах фермы.
  

• 
  NFS – сетевая файловая система – предназначена для "экспорта" домашних каталогов пользователя, а также каталогов общего программного обеспечения на все компьютеры, где это необходимо. Таким образом, NIS и NFS обеспечивают для пользователей единую рабочую среду: пользователь входит на любой компьютер, где ему открыт доступ, с одним именем и паролем и имеет там одни и те же рабочий каталог и программное обеспечение. Кроме того, система NFS применяется для "экспорта" каталогов, предназначенных для хранения больших объемов данных и каталогов, в которые осуществляется резервное копирование.
  

• 
  AFS сетевая файловая система. В отличие от NFS, которая является локальной файловой системой, AFS, напротив, предназначена для совместного использования дискового пространства компьютерами, разбросанными по всему миру. Вычислительная ферма МИФИ подключена в качестве клиента к AFS-серверам ЦЕРН в связи с тем, что основное сотрудничество и по линии исследования фундаментальных свойств материи и по линии развития GRID-технологий МИФИ ведет в основном с ЦЕРН.
  

• 
  PBS – система управления заданиями (batch система). Суть системы состоит в следующем. Пользователь, желающий выполнить задание на одном из компьютеров фермы, составляет по некоторым правилам специальный файл, в котором указывает, какую именно программу он хочет выполнить, и какие ресурсы (входные данные, требуемое процессорное время и т.п.) ему для этого необходимы. Система сама решает, на каком из компьютеров фермы это задание будет выполняться с учетом текущей загрузки процессоров, их быстродействия, а также запрошенных пользователем ресурсов.
  
• 
  Резервное копирование. Ежедневно осуществляется резервное копирование домашних каталогов пользователей, общего программного обеспечения, а также некоторых наиболее важных системных файлов. Такое резервирование страхует на случай возможных сбоев на основном файл-сервере.
  
• 
  Web-сервер предоставляет информацию о кластере Lxfarm/GRID, содержит необходимую документацию и полезные ссылки на Интернет ресурсы (Рис. 8.2). Адрес Web-сервера: http://lxfarm.mephi.ru.
  

• 
  Система электронной почты предназначена, главным образом, для внутреннего использования: информирования пользователей о новостях, изменениях в системе и т.п.
  
• 
  Система мониторинга (Рис. 8.2) обеспечивает информацию о состоянии компьютеров фермы, их загрузке, объемах занятого и свободного дискового пространства, сетевом трафике и т.п.
  

Программное обеспечение общего назначения установлено на компьютере lxfarm99 в каталог /opt, который, экспортируется системой NFS с lxfarm99 на все другие компьютеры кластера. Таким образом, пользователи на любом компьютере фермы имеет один и тот же набор программного обеспечения. В настоящий момент установлены и протестированы следующие пакеты программ.

• 
  Библиотеки CERNLIB версий 2001, 2002 и 2003. Это большой пакет программ, написанных, главным образом, на языке Фортран.
  

• 
  Пакет CLHEP, также разработанный в ЦЕРН, содержит библиотеки программ для базовых функций и операций, написанных на С++. Этот пакет используется, в частности в GEANT4.
  

• 
  Несколько версий пакета ALIROOT эксперимента ALICE: 3.07, 3.10.01, 3-09-Release, 4-01-Rev-01.
  

• 
  Пакет программ GEANT4 для моделирования детекторов частиц и процессов взаимодействия элементарных частиц с веществом. В качестве программ визуализации для GEANT4 можно использовать пакеты DAWN и OpenGL.
  

• 
  Пакет ROOT версий 3.02.07, 3.03.09, 3.05.07, 3.10.02 и 4.00.03. ROOT в настоящее время является одним из основных средств в физике частиц для обработки экспериментальных и моделированных данных, а также для представления полученных результатов.
  

• 
  Программа Geant4 VMC представляет собой виртуальный Монте-Карло интерфейс между ROOT и GEANT4.
  

• 
  Две программы для моделирования ядро-ядерных взаимодействий высоких энергий: VENUS и UrQMD.
  

• 
  Программа Монте-Карло моделирования эксперимента CBM – G4CBM.
  

• 
  Пакет atlsim представляет собой интегрированную среду для моделирования и обработки данных, включающий в себя такие программ из CERNLIB, как PAW и GEANT3.
  

В настоящее время ферма Lxfarm используется для проведения высокопроизводительных расчетов, связанных с рядом российских и международных экспериментов в области физики частиц высоких энергий, ядерной физики и физики космических лучей. Ферма используется группами МИФИ, участвующих в следующих работах:

• 
  Эксперимент ALICE на строящемся коллайдере LHC в ЦЕРН.
  
• 
  Эксперимент ATLAS также на строящемся коллайдере LHC в ЦЕРН.
  
• 
  Эксперимент CBM на будущем ускорителе ядер в GSI, Германия.
  
• 
  Баксанский Подземный Сцинтилляционный Телескоп.
  
• 
  Эксперимент “НЕВОД” на установке в МИФИ.
  
• 
  Спутниковый эксперимент “PAMELA”.
  
• 
  Эксперимент “STAR”, проходящий на коллайдере релятивистских ядер RHIC в США.
  

Во второй половине 2004 года была проведена установка и наладка оборудования, а также программного обеспечения, необходимого для функционирования кластера Lxfarm в качестве GRID узла. Основное сотрудничество МИФИ в рамках GRID ведет с ЦЕРН. Поэтому мы устанавливаем программное обеспечение LCG [8.4] – ветви GRID, предназначенной для моделирования и обработки данных экспериментов на строящемся коллайдере LHC. На ферме в МИФИ были установлены следующие сервисы GRID:

• Сервер конфигураций и программного обеспечения LCFGng – для хранения программного обеспечения LCG, его обновления по мере необходимости и экспорта на другие компьютеры GRID узла МИФИ. Наличие такого сервиса позволяет в значительной степени автоматизировать процессы установки и обновления программ на других компьютерах узла.

• Сервер управления вычислениями CE (Computing Element) – для приема заданий, направляемых на узел GRID МИФИ, как из локальной сети, так и из других GRID узлов, и распределения этих заданий по свободным ресурсам узла. Кроме того, на этом же компьютере установлен GRIS (GRid Information System) – сервис, который в режиме реального времени собирает информацию об имеющихся и свободных ресурсах GRID узла МИФИ и делает эту информацию доступной всем другим узлам LCG.

• Сервер хранения данных SE (Storage Element) – для хранения больших объемов данных и распределения их по запросам на другие узлы. Система GRID предполагает репликацию часто используемых файлов на те SE, которые географически расположены наиболее близко к узлам GRID, где выполняются задания. Это позволяет значительно снизить затраты на передачу больших объемов данных по сети.

• Интерфейс пользователя UI (User Interface) – компьютер с необходимым программным обеспечением, с которого пользователи осуществляют постановку задач на выполнение, их мониторирование и т.п. С помощью этого же компьютера реализуется система аутентификации пользователей в системе LCG.

• Большинство остальных компьютеров фермы используются в качестве WN (Working Node), на которых собственно и выполняются задания, направленные на GRID узел МИФИ. Для обеспечения оптимальной загрузки фермы применяется описанная выше система PBS.

8.6 Планы на 2005 год

• 
  Закупка и установка дополнительного оборудования. В первую очередь речь идет о закупке вычислительных серверов, необходимых для увеличения мощности фермы.
  
• 
  Установка программного обеспечения экспериментов ATLAS и ALICE на компьютерах фермы. Это позволит эксплуатировать узел МИФИ не только в качестве GRID клиента, т.е. для составления и отправки заданий на другие GRID-узлы, но и в качестве сервера. Использование ресурсов фермы другими участниками международных экспериментов позволит поднять престиж МИФИ в качестве крупного научного центра и послужит укреплению научных связей.
  
• 
  Учитывая междисциплинарный характер проекта GRID, мы планируем разработать новую методику и соответствующую программную среду для установки в рамках единой вычислительной фермы МИФИ трёх различных диалектов математического обеспечения GRID. Помимо LCG, это будут система «NorduGrid» для проведения различных расчётов в области фундаментальной ядерной физики и «FusionGrid» - для проведения расчётов, обмена и обработки экспериментальных данных в области международного сотрудничества по программе управляемого термоядерного синтеза. Создание подобной среды позволит реализовать многофункциональную направленность вычислительной фермы МИФИ, построенной по технологии GRID.
  
• 
  Поскольку GRID является весьма новой технологией, то существует проблема подготовки специалистов для работы в той области. Мы планируем организовать в 2005 году обучение заинтересованных специалистов работе в среде GRID.
  

Список литературы

1. 
   http://www.cern.ch
   
2. 
   В.И.Метечко, С.Ю.Смирнов. Создание многопроцессорной вычислительной фермы в рамках концепции распределенной сети GRID. Сб. тр. научной сессии МИФИ-2003, т.10, с.26, М.,МИФИ, 2003
   
3. 
   С.Ю.Смирнов, В.О.Тихомиров. Введение в опытную эксплуатацию вычислительной фермы, построенной по технологии GRID. Сб. тр. научной сессии МИФИ-2004, т.10, с.14, М.,МИФИ, 2004
   
4. 
   http://lhc.web.cern.ch