Документация

Настройка сервера с InfiniBand

InfiniBand — это высокоскоростная коммутируемая компьютерная сеть для высокопроизводительных вычислений с высокой пропускной способностью и низкой задержкой. InfiniBand используется в суперкомпьютерах, центрах обработки данных и системах искусственного интеллекта.

Важно

Сеть InfiniBand доступна только для серверов с серией процессора g7 NVIDIA Hopper H200 SXM 141Gb InfiniBand Intel Sapphire Rapids 2.8 GHz.

Характеристики InfiniBand:

  • поддержка RDMA — прямой доступ к памяти удалённого узла без участия CPU;

  • пропускная способность — до 800 Гбит/с (на линк с NDR);
  • минимальная задержка (менее 1 мкс).

Если вы заказали сервер с серией процессора g7 NVIDIA Hopper H200 SXM 141Gb InfiniBand Intel Sapphire Rapids 2.8 GHz, то выполните настройки:

  1. Подключитесь к серверу.
  2. Создайте виртуальный сетевой интерфейс:
    где:

    • ibp7s0 — название физического (родительского) интерфейса InfiniBand, на базе которого создаётся виртуальный сетевой интерфейс.
      Если на сервере 1 GPU-процессор, то название физического интерфейса — ibp7s0. Если на сервере несколько GPU-процессоров, то у каждой сетевой карты InfiniBand своё название физического интерфейса — ibp7s0, ibp8s0, ibp9s0 и т.д.;

    • <имя интерфейса> — для удобства может состоять из имени физического интерфейса InfiniBand и InfiniBand Partition Key. Например, ibp7s0.0x794c;

    • <InfiniBand Partition Key> — идентификатор, используемый для логической сегментации сети InfiniBand на изолированные группы (разделы).

      Примечание

      InfiniBand Partition Key указан на странице сервера на вкладке Общая информация. Для серверов с серией, отличной от g7 NVIDIA Hopper H200 SXM 141Gb InfiniBand Intel Sapphire Rapids 2.8 GHz, InfiniBand Partition Key не указывается.

  3. Включите виртуальный сетевой интерфейс:
  4. Назначьте IP-адрес для виртуального сетевого интерфейса (в примере — 10.0.0.1/24):
  5. Выполните команды на всех серверах, между которыми нужна связь по InfiniBand.

Полезные ссылки