Модель коллектива вычислителей. Концепция неограниченного параллелизма

Модель коллектива вычислителей представляет собой совокупность моделей одиночных вычислителей, объединенных каналами передачи информации.

В основу модели коллектива вычислителей положены следующие принципы ее построения.
1) Принцип параллельного выполнения операций означает, что в модели коллектива вычислителей предполагает разбиение сложной задачи на подзадачи, которые затем распределяются между вычислителями и решаются параллельно во времени.

2) Принцип переменной логической структуры означает, что структура сети обмена информацией в модели устанавливается в соответствии со структурой обмена информацией между подзадачами.

3) Принцип конструктивной неоднородности означает широкую ориентацию на универсальное выполнение функций, выполняемых отдельными частями модели.

Модель коллектива вычислителей характеризуется рядом качественно новых свойств по сравнению с традиционной моделью вычислителя. Такими свойствами являются следующие:
а) отсутствие центрального вычислителя, а также распределение функций управления и хранения информации между вычислителями позволяет существенно упростить реализацию процесса вычислений с ростом числа вычислителей;
б) структурная универсальность модели позволяет воспроизводить любую схему вычислений, структура которой совпадает со структурной схемой решаемой задачи;

в) обеспечивается неограниченное наращивание производительности благодаря возможности наращивания числа вычислителей с ростом сложности задачи;
г) благодаря принципу переменности структуры обеспечивается непрерывность вычислений даже при появлении неисправных вычислителей, т.е. реализуется режим живучести;
д) использование принципа однородности позволяет применять технологию массового производства, что приводит к существенному снижению стоимости модели;
е) модель позволяет решать качественно новые классы сложных задач, решение которых с помощью модели вычислителя принципиально невозможно.

В отличие от модели одиночного вычислителя модель коллектива вычислителей не имеет теоретического предела производительности благодаря возможности подключения неограниченного числа вычислителей. Переменная логическая структура и конструктивная неоднородность позволяют достичь высокой надежности и экономичности модели коллектива вычислителей.

Концепция неограниченного параллелизма. В настоящее время созданыразличные типы ПВМ. Для эффективного решения сложных вычислительных задач необходимо согласовывать структуру параллельных алгоритмов с архитектурой этих ПВМ. При этом возникают такие, например, вопросы:
- что общего в существующих ПВМ и чем они различаются?
- какие алгоритмы можно эффективно решать на существующих ПВМ?
- как должна быть устроена ПВМ, способная эффективно решать данный класс параллельных задач?
- как добиться преемственности программного обеспечения, разработанного для традиционных ЭВМ?

В начале 60-х годов появилась и стала развиваться концепция математических исследований, связанная с построением и изучением параллельных численных методов линейной алгебры, получившая название концепции неограниченного параллелизма(КНП). В ее основу положены предположения, что параллельный алгоритм реализуется на ПВМ, которая имеет:

а) любое нужное число идентичных процессоров;
б) произвольно большую память, одновременно доступную всем процессорам;
г) время, необходимое для взаимодействия процессоров с памятью, управления процессом и выполнения всех вспомогательных операций, является пренебрежительно малым,
д) никакие конфликтные ситуации (например, между процессорами и памятью) в ПВМ не возникают;
е) все входные данные перед началом вычислений записаны в память ПВМ и др.

Совместный анализ существующих традиционных параллельных алгоритмов, разработанных на основе КНП, и созданных к настоящему времени вычислительных средств ПВМ показывает, что они плохо согласуются друг с другом, а параллельные структуры алгоритмов, разработанные математиками, слабо изучены создателями ПВМ.

КНП оказалась практически несостоятельной, поскольку она исключает из сферы своего внимания такие вопросы, как загруженность процессоров, устойчивость параллельных алгоритмов к ошибкам округления, конфликтные ситуации в ПВМ и др. (раздел 2.3). В связи с этим КНП используется лишь на начальном этапе исследований, связанных с предварительной оценкой возможностей создаваемых параллельных алгоритмов.

Припроектировании и создании параллельных и распределенных вычислительных систем в настоящее время осуществляется совместное исследования свойств параллельных алгоритмов и вычислительных средств ПВМ.