Настройка HPC-кластера для ПК ЛОГОС на площадке заказчика

Столкнулись со сбоями при запуске ПК ЛОГОС или другого CAE на кластере?
Настроим Slurm, MPI-окружение, сеть InfiniBand и удаленный рендеринг 3D-графики. Работаем по всей РФ, возможен выезд на закрытый контур заказчика.
Для выполнения инженерных расчетов на высокопроизводительном кластере недостаточно просто установить программное обеспечение. Чтобы инженеры запускали задачи в ЛОГОС без сбоев и простоев, согласованно должны работать MPI-окружение, планировщик задач и сеть InfiniBand. Сбой в любом из звеньев — это остановленный расчёт и потерянное время инженеров. Помимо решения «расчетных» вопросов пользователям важно иметь доступ к графическим ресурсам, что необходимо для подготовки тяжелых задач в препроцессоре.
Для одного из наших заказчиков — предприятия ракетно-космической отрасли — специалисты «ИскраТех» провели комплексную настройку программной среды HPC-кластера для обеспечения расчетов в ПК ЛОГОС. Работы выполнялись с выездом на площадку клиента в рамках договора технической поддержки. Как показывает практика, запрос на профессиональное развертывание и оптимизацию HPC-кластеров сейчас крайне актуален для многих промышленных компаний. Ниже рассказываем, какие задачи стояли перед инженерами и как было реализовано решение.

Какие задачи решались: настройка Slurm HPC-кластера для ПК ЛОГОС
Кластер нужно было подготовить к работе с ЛОГОС по четырем направлениям:
- Запуск параллельных расчетов Логос Аэро-Гидро, Логос Тепло и Логос Прочность через единый планировщик;
- Удалённая работа пользователей с графическими компонентами ЛОГОС;
- Управляемое распределение ресурсов между задачами разного приоритета, в том числе совместный счёт ЛОГОС и другой CAE-системы;
- Запуск MPI-приложений без сбоев.
Программная среда: Open MPI, Slurm и ЛОГОС
Основа любого параллельного расчета на кластере — MPI-окружение. Специалисты ИскраТех выполнили сборку Open MPI 4.1.4 — версии, поддерживаемой ПК ЛОГОС, со всем необходимым для запуска задач трех модулей:
- Поддержка языков C, C++ и Fortran — для Логос Аэро-Гидро, Тепло и Прочность;
- Запуск MPI-задач через планировщик Slurm;
- Интеграция с интерфейсом управления процессами PMI2 Slurm — единый способ запуска для всех трех модулей;
- Сетевые транспорты UCX и openib.

Удалённая графическая работа с GPU-ускорением
Инженеры работают не только с решателем, но и с пре- и постпроцессором. Рабочие станции пользователей не рассчитаны на тяжелую графику, поэтому специалисты ИскраТех настроили удаленный доступ к управляющему узлу кластера, оснащенному мощной видеокартой NVIDIA. Каждый пользователь подключается со своего рабочего места и получает собственную независимую графическую сессию, в которой запускает графические компоненты ЛОГОС, а вся отрисовка выполняется на узле. Для этого специалистами ИскраТех была выполнена настройка VirtualGL и обеспечена постоянная работа headless X-сервера на GPU. Мощность видеокарты доступна всем пользователям, что особенно важно для тяжелых задач — например, при построении расчётных сеток в несколько десятков миллионов ячеек и обработке результатов.

Очереди Slurm: приоритеты и совместный счёт
Для расчетных задач ЛОГОС специалисты ИскраТех настроили три очереди Slurm — с высоким, средним и низким приоритетом. Очередь с высоким приоритетом предназначена для быстрых проверочных запусков и ограничена по времени выполнения. Основные расчеты идут через очередь со средним приоритетом, а задачи, которые могут подождать, — через очередь с низким.
Кроме того, на вычислительных узлах организован совместный счет ЛОГОС и другой CAE-системы. Для CAE-системы выделена отдельная очередь, задачи обеих программ выполняются одновременно с изоляцией ресурсов узлов, а при нехватке ресурсов кластера ожидают запуска в порядке приоритета.

Стабильный MPI-счет: устранение ошибок запуска
Нестабильный запуск MPI-задач нередко связан с конфликтами сетевых адаптеров. Специалисты ИскраТех устранили проблему, связанную с сетевыми интерфейсами InfiniBand на уровне RDMA на вычислительных узлах и управляющем узле кластера. Это исключило конфликты при работе MPI-приложений ЛОГОС и другой CAE-системы, а вместе с настройкой Open MPI устранило ошибки при запуске задач ЛОГОС, в частности:
- WARNING: There was an error initializing an OpenFabrics device
- Cannot allocate memory
- PMIX ERROR: NOT-FOUND / pmix_psec_base_open failed
- Shmem: posix: file name search — max attempts exceeded
- Number of ep addresses exceeds 6
- There are more than one active ports … default subnet GID prefix
Заключение: настройка Slurm HPC-кластера для ПК ЛОГОС
В результате на кластере заказчика задачи ЛОГОС запускаются через Slurm единым способом. Пользователи работают с графикой удаленно — в собственных сессиях и с ускорением на GPU. Расчёты распределяются по очередям с разным приоритетом, ЛОГОС и CAE-система делят узлы с изоляцией ресурсов, а типовые ошибки MPI устранены.
В рамках подобных проектов специалисты ООО «ИскраТех» выполняют:
- Настройку программной среды HPC-кластера для работы с программным комплексом ЛОГОС: сборку и отладку MPI-окружения, его интеграцию с планировщиком Slurm;
- Организацию удалённого графического доступа к кластеру с аппаратным ускорением на GPU;
- Настройку распределения вычислительных ресурсов между пользователями, задачами и программными комплексами;
- Диагностику и устранение сбоев при запуске параллельных расчётов, в том числе связанных с сетью InfiniBand.
Если вашему кластеру нужна настройка под инженерное ПО или стабильный запуск расчётов — свяжитесь с нами: info@iskra-tech.ru, +7 343 247 27 33.
Получить консультацию
Заполните форму прямо сейчас, и мы свяжемся с Вами!
* Обязательные поля для заполнения