Распаралелливание

Распараллеливание программ — процесс адаптации алгоритмов, записанных в виде программ, для их эффективного исполнения на вычислительной системе параллельной архитектуры (в последнее время, как правило, на многопроцессорной вычислительной системе). Заключается либо в переписывании программ на специальный язык, описывающий параллелизм и понятный трансляторам целевой вычислительной системы, либо к вставке специальной разметки (например, инструкций MPI или

• Ускорение S_p = T₁ / T_p, где T_p — время исполнения распараллеленной программы на p процессорах, T₁ — время исполнения исходной программы. В идеальном случае (отсутствие накладных расходов на организацию параллелизма) равна p.
• Загруженность S_p / p = T₁ / pT_p, показывающая долю использования процессоров. В идеальном случае равна 1, или 100 %. Эта величина зачастую гораздо более наглядно характеризует эффективность параллелизма в серии испытаний при разных p, чем S_p, особенно на графиках.

При распараллеливании важно учитывать не только формальный параллелизм структуры алгоритма, но и то, что обменные операции в параллельных ЭВМ происходят, как правило, значительно медленнее арифметических. С этим связано существование львиной доли накладных расходов на организацию параллелизма.

Ссылки

• Введение в OpenMP: API параллельных программ для многопроцессорных систем с общей памятью (рус.)