[メラノックス]私が書かなければならないインフィニバンドHDRは100Gbpsだそうです。
単一ファイルコピーを実行した場合、その後のコピーの最大速度は480 MB /秒、平均速度は約460 MB /秒でした。ただし、最初のファイルがRAMにキャッシュされ、読み取り速度制限が適用されないと仮定しますmy30gb.tar。 。 SAS SSDがインストールされました。 30GBのtarファイルの書き込みは最初にRAMに保存されます。ソースサーバーとターゲットサーバーの両方に700 GBのRAMがあります。rsync --progressmy30gb.tar
Sambaを使用してwin10から銅1gbpsのサーバーに/から同じ種類のコピーを実行すると、常に112 MB /秒を取得します。それが私の基準点です。たとえば、
私のインフィニバンドHDRが100倍の場合、私のショーがrsync --progress100倍の速度に近づかないのはなぜですか？私は約450 MB /秒だけを見ており、112,000 MB /秒を観察すると予想しています。 450/112,000改善率が1％にもならないのですか？混乱してください。
インフィニバンドネットワークの速度が1秒あたりのビット単位で宣伝されることを知っていますが、1秒あたりのバイト単位の予想ファイル転送速度と大容量ファイルを転送するのにかかる時間に関連する可能性があることを探しています。
Infineband HDRの2つのLinuxサーバー間には他のオーバーヘッドやトラフィックがなく、NFS接続はv4.1とプロトコルTCPです。 RDMAプロトコルは正常に動作し、30GBのtarファイルを使用して同じ転送値をまだ観察しました。
ネットワーク調整またはnfs調整は可能かどうか？ すべての操作が正しく行われた場合、Infiniband HDRが期待できるファイル転送速度はいくらですか？ 1gbps銅、100gbpsインフィニバンド、またはその他のネットワークなど、特定のネットワークでのNFSのファイルコピー速度に関する制限要因を理解したいと思います。 FDR、EDR、QDRなど、1Gbpsの銅よりも早い世代のインフィニバンドの使用について洞察力のある人がいる場合は、ご意見をお寄せください。
Mount NFSマウントパラメータはデフォルト値で、次のとおりです。
(rw,nosuid,noexec,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.1.2,local_lock=none,addr=192.168.1.1,_netdev)
ベストアンサー1
慎重に設定すると、NVMEoFを使用して、継続的かつリンクに近い速度の読み取り/書き込みパフォーマンスを達成できます。慎重な構成には以下が含まれます。 NICを処理するのに十分なPCIe帯域幅はありますか？ PCIe Gen 3 x 16 レーンスロットは、100 Gbit Infiniband リンクをサポートできるほど高速です。その後、十分なPCIe帯域幅とデータをNVMEアレイに転送するのに十分なPCIeレーンがあることを確認する必要があります。 NICおよびNVMEアレイがコンピュータの同じPCIeホスト上にあることを確認する必要があります。そのPCIe帯域幅を使用する他のデバイスが何であるかを考慮する必要があります。
Infinibandやその他の高速ネットワークでは、データ転送からコア、CPU、割り込みなどを除外することが重要になります。彼らはしばしば制限要因です。最悪の場合の1つは、CPUがバッファに触れる必要がある場合です。
Infinibandの主な利点は、CPU介入なしでリモート直接メモリアクセス（RDMA）です。ネットワークインターフェイスカードNICを介してメモリからリモートコンピュータNICにデータを移動し、DMAをメモリに直接移動します。
まず、Infiniband、NIC、NVidia（Mellanox）OFEDが正しく設定され、広告された100 Gbpsを達成していることを確認してください。 NVidiaが提供する「perftest」を使用してこれを行うことができます。
Infiniband 伝送帯域幅 ib_send_bw テストが開始点です。
Infinibandに接続されているコンピュータでのみ「ib_send_bw」を実行してください。別のコンピューターで「ib_send_bw XXX.XXX.XXX.XXX」を実行します。ここで、XXX.XXX.XXX.XXX は、最初のコンピュータの Infiband アダプタの IP アドレスです。
https://www.ibm.com/docs/fi/linux-on-systems?topic=linuxonibm/performance/howtos/verifyrdma.htm
iperf3またはnetcat（nc）を使用して推定することもできます。たとえば、次の質問と回答は次のとおりです。
https://askubuntu.com/questions/7976/how-do-you-test-the-network-speed-2つのボックス間
rsyncはデフォルトでCPU読み取りバッファに関連するデルタ/差分比較を実行します。圧縮またはsshでrsyncを使用すると、CPUはすべてのデータを再読み込みして操作する必要があるため、パフォーマンスが低下します。 NVMEoF（NVME over Fabric）、iSCSIなど、CPU介入なしにデータを転送できる技術を使用すると、多くの利点があります。