Математическое моделирование функционирования кластерных и распределенных систем распознавания

Математическое моделирование функционирования кластерных и распределенных систем распознавания

Кластеры повышенной производительности

• 
  Физическая схема:
  
  • 
    План стойки для каждого их типа (например, управляющие и вычислительные стойки).
    
  • 
    Поэтажный план расположения стоек во время процесса установки системы и при рабочем использовании, если они отличаются.
    
  • 
    Схемы внутренних соединений стоек для сети, цепей питания, пульта оператора и т.д.
    
  • 
    Схема внешних соединений для серверов системы хранения, терминальных серверов и т.д.
    
• 
  Логическая схема:
  
  • 
    Схема сети, включая диапазоны IP-адресов, конфигурацию подсетей, соглашения по наименованию компьютеров и т.д.
    
  • 
    CSM-конфигурация по расположению пользовательских сценариев, аппаратные настройки и требования по мониторингу.
    
  • 
    Требования к операционным системам, список специализированных пакетов и параметры конфигурации системы.
    
  • 
    Схема системы хранения данных, включая схему файловой системы, разбиение дисков, параметры репликации и т.д.
    

• 
  У
  Рис.2 Схема архитектуры кластера
  правляющий сервер - Функция управляющего сервера может выполняться одним сервером или на несколькими. В среде с одним сервером управляющий сервер функционирует в автономном режиме. Можно настроить также управляющие серверы с высокой готовностью. Для этого можно использовать программное обеспечение CSM для поддержки высокой готовности (high-availability - HA), которое будет выдавать тактовые импульсы ("heartbeat") между двумя серверами и поддерживать динамическое восстановление после сбоев при возникновении аварийных ситуаций. Другим возможным методом организации нескольких управляющих серверов является использование репликации, если поддержка HA не важна для вашей среды. В этом случае вы можете резервировать данные управляющего сервера на другую рабочую систему, которую можете, при необходимости, перевести в оперативный режим вручную. На рисунке 2 соединения управляющей сети выделены красным цветом. Управляющий сервер - это CSM-сервер, использующийся исключительно для внутреннего управления кластером при помощи CSM-функций: управление установкой системы, мониторинг, облуживание и другие задачи. В данном кластере присутствует только один управляющий сервер.
  
• 
  Серверы хранения данных и дисковые накопители - Вы можете подключить несколько серверов хранения данных к организованному на дисковых накопителях хранилищу данных при помощи различных механизмов. Подключить систему хранения данных к серверу можно напрямую: либо через SAN-коммутатор (storage area network - сеть хранения данных) по оптическому волокну или медному кабелю, либо используя оба типа соединений (см. рисунок 2). Эти серверы предоставляют совместный доступ к системе хранения данных другим серверам кластера. Если необходимо резервирование базы данных, подключите резервное устройство к серверу хранения данных, используя дополнительное медное или оптическое соединение. В примере кластера хранилище представляет собой единую сущность, обеспечивающую доступ к общей файловой системе в пределах кластера. В следующей статье данной серии будет более подробно описана установка, настройка и реализация аппаратного обеспечения системы хранения данных и кластерной файловой системы.
  
• 
  Пользовательские узлы - В идеальном случае вычислительные узлы кластера не должны принимать внешние подключения и должны быть доступны только для системных администраторов через управляющий сервер. Пользователи системы могут зарегистрироваться на вычислительных узлах (или узлах регистрации) для выполнения своей работы в кластере. Каждый пользовательский узел состоит из образа с возможностями любого редактирования, необходимых библиотек разработчика, компиляторов и всего, что необходимо для создания кластерного приложения и получения результатов.
  
• 
  Узлы планирования - Для запуска рабочей нагрузки на кластере пользователи должны передать свою работу узлу планирования. Фоновый процесс-планировщик (scheduler daemon), работающий на одном или нескольких узлах планирования, применяет предопределенную политику для запуска рабочих нагрузок в кластере. Аналогично вычислительным узлам, узлы планирования не должны принимать внешних подключений от пользователей. Системные администраторы должны управлять ими при помощи управляющего сервера.
  
• 
  Вычислительные узлы - Эти узлы выполняют рабочую нагрузку кластера, принимая задания от планировщика. Вычислительные узлы - это самые свободные части кластера. Системный администратор может легко переустанавливать или перенастраивать их при помощи управляющего сервера.
  

Стандарты MPI

• 
  передача и получение сообщений между отдельными процессами;
  
• 
  коллективные взаимодействия процессов;
  
• 
  взаимодействия в группах процессов;
  
• 
  реализация топологий процессов;
  

• 
  динамическое порождение процессов и управление процессами;
  
• 
  односторонние коммуникации;
  
• 
  параллельный ввод и вывод.
  

1. 
   Для каждого процессора в SMP-машине порождается отдельный MPI-процесс. MPI-процессы внутри этой системы обмениваются сообщениями через разделяемую память (необходимо настроить MPICH соответствующим образом).
   
2. 
   На каждой машине запускается только один MPI-процесс. Внутри каждого MPI-процесса производится распараллеливание в модели "общей памяти", например с помощью директив OpenMP.
   

1. 
   Архитектура, как таковая, не привязана к какой-то определённой технологии,
   
2. 
   Независимость организации системы от используемой вычислительной платформы (платформ),
   
3. 
   Независимость организации системы от применяемых языков программирования,
   
4. 
   Использование сервисов, независимых от конкретных приложений, с единообразными интерфейсами доступа к ним,
   
5. 
   Организация сервисов как слабосвязанных компонент для построения систем [6]
   

1. 
   Методы распознавания / А.Л. Горелик, В.А. Скрипкин - 4-е изд., испр.; Москва. Высшая школа, 2004г., 261 с.
   
2. 
   Тихоглаз Ю.С.,Юсупов Б.Б. Обработка опытных данных СЗМ с применением методов планирования эксперимента // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ 2006
   
3. 
   Квортли Мэнди (Mandie Quartly), Уайт Грехем (Graham White) - Установка большого Linux-кластера: Часть 1. Введение и аппаратная конфигурация (http://www.ibm.com/developerworks/ru/library/es-linuxclusterintro/index.html?S_TACT=105AGX99&S_CMP=GR01)
   
4. 
   OpenMosix//Википедия (http://ru.wikipedia.org/wiki/OpenMosix)
   
5. 
   BOINC // Википедия (http://ru.wikipedia.org/wiki/BOINC)
   
6. 
   Сервисно-ориентированная архитектура // Википедия (http://ru.wikipedia.org/wiki/Сервисно-ориентированная_архитектура)