ВВЕДЕНИЕ
Применение распределённых вычислений для решения самых разнообразных задач становится всё актуальнее с каждым годом. Темпы роста объёмов обрабатываемых данных постоянно увеличиваются [1], а вычислительные способности единичного процессора не безграничны. Производительность одного процессорного ядра ограничена различными факторами. Одна из самых серьёзных преград на пути увеличения производительности – проблема тепловыделения. Рольф Ландауэр в 1961 году показал [2], что бесконечное увеличение энергоэффективности традиционной вычислительной техники теоретически невозможно. Выделение теплоты при вычислениях неизбежно и обусловлено увеличением энтропии при уничтожении информации. Рост вычислительной мощности процессора ограничен также атомарной природой вещества и конечной скоростью света.
В силу этих и ряда других причин процесс совершенствования традиционных процессоров сильно замедлился и, возможно, через некоторое время практически остановится. Существуют различные альтернативные варианты развития вычислительной техники: «обратимые», или «консервативные» вычисления, способные обойти принцип Ландауэра; квантовые компьютеры; оптические компьютеры. Но все эти перспективы пока далеки от повсеместного применения на практике. Поэтому основное направление увеличения производительности вычислительных систем на данный момент – это параллельные и распределённые вычисления.
Тактовая частота новых процессоров в последнее время практически не возрастает, зато тенденцией стало увеличение количества ядер на одном процессоре и (или) количества процессоров в системе. Программное обеспечение, для которого критично быстродействие, должно использовать эти ресурсы. Это означает, что приложения должны поддерживать параллельные вычисления. Параллельные вычисления – это такой способ организации компьютерных вычислений, при котором программы разрабатываются как набор взаимодействующих вычислительных процессов, работающих параллельно (одновременно) [4]. Использование параллелизма при разработке программ позволяет значительно увеличить быстродействие в рамках одной машины.
Но при решении ряда задач становится необходимым задействовать вычислительную мощность целого комплекса вычислительных машин. Такие задачи решаются при помощи распределённых вычислений. При применении распределённых вычислений отдельные процессы программы выполняются не на разных процессорах одной машины, а на разных машинах, объединённых в параллельную вычислительную систему (такая группа компьютеров иногда называется кластером).
Параллельное выполнение программ сейчас применяется практически повсеместно – многоядерные процессоры используются как на серверах, так и на персональных компьютерах и мобильных устройствах. Распределённые системы имеют более узкую область применения. Как правило, необходимость в распределённых вычислениях возникает, если решаемая задача имеет хотя бы одну из следующих особенностей:
1) высокая вычислительная сложность задачи, несоизмеримая с мощностью одного компьютера;
2) большой объём обрабатываемых данных, несоизмеримый с размером оперативной памяти одной машины;
3) необходимость в быстрой масштабируемости системы.
Основные сферы применения распределённых вычислений:
1) Веб-сервера. Для высоконагруженных серверов применяют подход, при котором запрос от клиента поступает на сервер распределения нагрузки, который перенаправляет его на один из наименее загруженных рабочих серверов, а тот в свою очередь обрабатывает запрос и возвращает ответ.
2) ПО, занимающееся обработкой большого количества статистических данных и данных из Интернета. Например, различные краулеры, анализаторы посещаемости сайтов, а также поисковые системы. Один из наиболее популярных подходов к распределённой обработке данных – MapReduce – запатентовала и применяет для работы своего поисковика компания Google.
3) Суперкомпьютеры – кластеры, занимающиеся обработкой трудоёмких научных и прикладных задач. На таких компьютерах обычно рассчитываются сложные математические и программные модели, например, модели климата для составления прогноза погоды.
4) «Добровольные вычисления». Виртуальные вычислительные системы, состоящие из тысяч и миллионов компьютеров обычных пользователей, которые установили себе соответствующий клиент и отдают своё процессорное время для распределённой обработки. Такие системы обычно применяются для решения научных, медицинских и биологических задач (например, известная система Folding@Home – проект по расчёту третичной структуры белков).
Существует ряд ПП для управления кластером при ведении распределённых вычислений: реализации стандарта MPI (MPICH, WMPI, MPJ); различные реализации модели MapReduce (Apache Hadoop, Qizmit, Greenplum); BOINC – система для организации добровольных вычислений; система PVM. Но практически всё это ПО достаточно сложно в применении и ориентировано на узкоспециализированное применение. Цель этого проекта – создать ПС, позволяющее с лёгкостью применять парадигму распределённых вычислений для любых повседневных задач, как на специально подготовленном кластере, так и на любой группе компьютеров, объединённых локальной сетью или сетью Интернет. Этот сервис позволит, например, эффективно использовать по мере надобности ресурсы компьютеров домашней сети. При этом обращение к сервису для выполнения очередной задачи должно быть максимально простым и не требовать никакой подготовки сети.
|
