☰

RHEL 7でIPoIB（IP over infiband）、scp速度を設定する

tag-icon • tag-icon linux infiniband
RHEL 7でIPoIB（IP over infiband）、scp速度を設定する

RHEL 7.9のインフィニバンドの集中講座を進行中です。私のサーバーにはすべてHDR ConnectX-6カードが取り付けられています。これは、各サーバーがQ8700 mlnxに接続されたシンプルなLANの私の研究室にあります。変化まず、infinibandの基本的なネットワーキング機能だけが必要なので、サーバー間でデフォルトのnfsマウントを作成できますssh。scp

  • c15つの名前のサーバーがあります。c5
  • それぞれはRHEL 7.9 x86-64を実行します。
  • mlnxofedinstall最初から最後までやりMLNX_OFED_LINUX-5.2-1.0.4.0-rhel7.9-x86_64.isoました。
  • systemctl enable openibdそれぞれを実行してから再起動しました。
  • その後は手動で行いましたが、/etc/init.d/opensmd startその後のみc1
  • RHEL 7では、NetworkManager GUIを使用してib0インターフェイスを次のように設定しました。
    • c1..c5はそれぞれ192.168.2.1から192.168.2.5です。
    • 指定されていない各ゲートウェイのサブネットマスクは255.255.255.0です。
    • これにより、ip ib0報告されたリンク速度は100000です。
  • これは全部ですか？それとも他のものがたくさん欠けているのでしょうか？
  • 私の1gbps銅ネットワークでは、scp常に112MB /秒が表示されます。私の計算は1000mbps / 8 = 125MBpsで、これは89.6％の効率を提供し、これは112MBpsです。 HDR Infineband Datagram IPoIBが100000 mb / s、つまり100倍速いと仮定すると、11200 MB / sを表示する必要がありますか？
    • 上記の操作のみを行いましたが、現在の速度は262 MB /秒（30 GBのtarファイルをscpとして指定）です。もしあれば、どれほど良くなるべきでしょうか？

ベストアンサー1

ib_ipoibモジュールがロードされていることを確認してください。

 lsmod | grep ipoib
ib_ipoib              124872  0
ib_cm                  53085  2 rdma_cm,ib_ipoib
ib_core               357959  8 rdma_cm,ib_cm,iw_cm,mlx5_ib,ib_umad,ib_uverbs,rdma_ucm,ib_ipoib
mlx_compat             55063  13 qedr,rdma_cm,ib_cm,iw_cm,auxiliary,mlx4_ib,mlx5_ib,ib_core,ib_umad,ib_uverbs,mlx5_core,rdma_ucm,ib_ipoib

そうでない場合は、次のようにロードできます。

modprobe ib_ipoib

おすすめ記事