☰

HDR IPoIBおよび10GbE以上の速度、放射率測定

tag-icon • tag-icon ssh ip scp infiniband
HDR IPoIBおよび10GbE以上の速度、放射率測定

私は大容量データファイル（10GB以上など）を処理するときにIPoIB {IP over infiniband}を使用しており、従来の1gbps有線ネットワーク速度よりも優れている必要があります。

背景：

  • 1Gbps有線ネットワークでは、SSH安全コピー私のLinuxサーバーとWindows PC間の速度またはSambaファイル転送は次のとおりです。112MB/秒。 メモ:毎秒メガバイトです。私たちはより速くなりたいです。
  • 私のLinuxサーバーにはMellanox HDR inifinibandスイッチとアダプタカードがあります。
    • 100GbpsのHDR
  • RHEL 7.9 x86-64を実行しており、最新のMellanox isoドライバがインストールされています。
  • RHEL Network Managerでは、私のib0インターフェースは静的IPアドレスを次のように使用します。データグラム現在、少数のRHEL Linuxサーバー間でインフィニバンドネットワーキングが実行されています。美しい....これは仕事です。。
  • スピードテストでセキュアコピーを行うと、30GBのtarファイルで同じターゲットサーバーを砲撃する3台のサーバーがあるにもかかわらず、約260MB/秒の安定した速度が得られました。
  • 私の考えでは、1gbpsの有線ネットワークが1秒あたり1000メガビット（バイトあたり8ビットで割った）で最大125MB /秒で、112MB /秒（89％）を得たので満足しています。
    • 1gbpsから100gbsのインフィニバンドまで、対応する11200MB/sに近いものを見たいです。安全コピー速度は260MB/秒しか出ません。 260 / 11200 = 2%... あまりにも良いですか？

100Gbps HDR Infinebandでどのような速度が現実的であるかを教えてください。ethtool ib0100,000個のリンク数を報告すると、これが一度のテストで私がscp今まで知っているすべてです。

これで100Gbpsを使用するようになりましたが、いくつかの制限があるためscp表示されますか？ssh

何が良いですか？速度テストこの状況で私は何ができますか？最終的な目的はscpおよび最終的にnfs。 rdmaのnfsについて知っていますが、今始めています。。

私も誰かのレポートを見たいです。 (回答)熱狂必要な伝送速度を達成するために、QDR、EDR、FDRなどの低速イン​​フィニバンドをすべて含む10GbE以上のネットワーク。

修正する:次のテストを行いました。したがって、ネットワーク速度は100 Gbpsですが、転送速度はCPUが選択したパスワード（およびhmac）を処理できる速度によって制限されます。したがって、あなたがしたいのは、高価なインフィニバンド設定を購入することだけですscp。 ここでは転送速度をMB/秒単位で便利に報告するため、scpだけを使用しました。

私は私のサーバールームにある2つのサーバーにいる唯一の人です。両方のサーバーのハードウェアは同じで、どちらもIntel 8628 CPU、周波数= 2.9ghzの4ソケットサーバーです。

メモ:aes-###ctr と hmac-sha2-aes### を使用する 1Gbps レガシー有線ネットワークでは、1 日中安定した 112 MB/秒の scp 速度を実現します。

ここに画像の説明を入力してください。

ベストアンサー1

このコピーにSSHを使用したい場合、制限要因はパスワードの速度である可能性が高くなります。一般的な1Gbpsネットワークの場合、制限はネットワーク速度であるため、ほとんどの暗号化は同じように行われます。

ただし、より高速なネットワークを使用する場合は、パスワードが重要です。あなたのハードウェアが最新のamd64であると仮定すると、これが[email protected]最も速い速度であることはほぼ確実です。これは、最新のamd64 CPUにAESおよびGCMを高速化するための指示が含まれており、AES-128がより安全なバージョンよりも高速であるためです。

私のシステムでOpenSSLを使用する最速のAEADパスワードを比較するためにAES-128 / GCMを使用すると5.8 GB / s、AES-256 / GCMを使用して4.1 GB / s、ChaCha20 / Poly 1305を使用すると2.1 GB / sを得ました。ここでの制限は、実際にCPUがデータを暗号化して有線で転送できる速度です。この場合、マルチスレッド方式で暗号化を行わない限り、他のプログラムがより高速になると考える理由はありません。制限はCPU速度だからです。

次のコマンドを実行して、OpenSSL（OpenSSHで使用）バージョンの速度をテストできます。

$ openssl speed -evp aes-128-gcm
$ openssl speed -evp aes-256-gcm
$ openssl speed -evp chacha20-poly1305

パスワードを調整したい場合は、次のようにしてください。

$ scp -o [email protected],[email protected],[email protected] \
  file user@host:file

一般に、より高速な転送が必要な場合は、マルチスレッド暗号化を実行できる一種の転送技術を使用するか、暗号化されていない状態で転送する必要があります。もちろん、後者はより高速ですが、ネットワーク内のすべての人にデータと認証資格情報が公開されます。

鍵交換メカニズムや公開鍵タイプなどの他の暗号化パラメータは、接続を確立するのにかかる時間に影響を与える可能性がありますが、転送速度には影響しません。ここではAEADを使用しているので、MAC設定も重要ではありません（そして、AEADはほぼ確実に高速です）。

パスワードの切り替え後もパフォーマンスが向上しない場合は、ディスク、CPU、RAMなどが制限要因となる可能性があります。 RHEL 7は2014年からリリースされ、カーネル、暗号化ライブラリ、およびドライバは過去7年間でパフォーマンスがわずかに向上している可能性があるため、より最新のオペレーティングシステムを使用してパフォーマンスを向上させることも可能です。

次の手順を実行して（Martinが提案したように）、ディスクに問題があるかどうかをテストできます。

# dd if=/dev/sda of=/dev/null bs=1M count=10240

これにより、ディスクが10 GBブロックにデータを転送できる最大速度に似た情報が印刷されます。

おすすめ記事