tNavigator на кластерах

При росте размерности моделей эффективность расчета на рабочей станции может снижаться за счет падения скорости обращения к общей оперативной памяти. Таким образом, несмотря на использование более высокоскоростных процессоров с большим количеством ядер, скорость расчета не может продолжать увеличиваться в силу ограничения со стороны памяти.

Снять данное ограничение можно за счет применения вычислительных машин с распределенной памятью (кластеров), привлечение которых требует применения MPI-алгоритмов для обмена данными между узлами.

В tNavigator реализован уникальный гибридный алгоритм, который позволяет использовать алгоритм на MPI для распределения задач между узлами кластера и потоки исполнения для распределения задач по ядрам внутри каждого узла (MPI+threads). Данный подход позволяет снять существующие технологические ограничения, задействовать все вычислительные ресурсы и достичь ускорения в десятки раз при использовании кластеров, основанных на многоядерных процессорах.

moscow cluster

В Московском офисе "Rock Flow Dynamics" для расчетов гидродинамических моделей используется кластер, состоящий из 137 узлов (2652 ядер). 100 узлов:  2x Xeon E5 2680v2, 20 узлов: 2x Xeon 5650, 8 узлов: 2x Xeon E5 2630v4, 9 узлов: 2x Xeon E5 2680v4, Infiniband 56 Gb/s, RAM 12.8TB, 300TB HDD.

Пример ускорения расчета на кластерах.

В качестве примера достигаемого ускорения можно привести расчет tNavigator на части кластера «Ломоносов» в МГУ:  512 узлов, 4096 ядер, Xeon X5670, Infiniband QDR 40Gb/s. Была рассчитана трехфазная модель: 20 миллионов активных блоков, 39 скважин. Достигнуто ускорение в 1328 раз. Насколько нам известно, это является абсолютным мировым рекордом в области гидродинамического моделирования. Результаты опубликованы в статье SPE 163090.

lomonosov speed

Мы продолжаем вести активную работу в направлении повышения эффективности параллельных вычислений, и уверены, что даже такие высокие показатели еще далеки от пределов наших возможностей.