単一のLustreクライアントのLustreインストールファイルシステムの保存機能をベンチマークしたいと思います。
私はストレージ管理者ではなくアプリケーション開発者なので、複数のクライアントのストレージ書き込み帯域幅の飽和度を心配するのではなく、単一のアプリケーションサーバー/Lustreクライアントが一度にどれくらいの書き込みを行うかについて心配します。私のアプリケーションのパフォーマンス。
私が見つけたこのページにはいくつかのベンチマークがあります。しかし、誰もが1つのクライアントを使用するのではなく、複数のクライアントを同時に構成することに興味があるようです。私が探しているものについてもっと興味深いものがありますか？
あるいは、ddを使用してさまざまなブロックサイズと数のファイルシステムをベンチマークする簡単なスクリプトがあります。 Lustreクライアントでこのddスクリプトを実行して得られた結果を信頼できますか？そうでなければなぜですか？ネットワーク帯域幅に制限があることを知っていますが、これがパフォーマンスがどのように制限されるかを知りたいです。
ベストアンサー1
Linuxページキャッシュのパフォーマンスの制限により、優れたネットワークおよびストレージ機能を備えたLustreクライアントは、シングルスレッド書き込みで約1〜2 GB / sの速度を達成できます。単一のクライアント上の複数の個々のファイルに書き込む複数のスレッドは、現在のLustreバージョンから最大約10 GB / sのネットワークまたはCPU制限まで、より高いパフォーマンスを達成できます。現在、8つの100GBitネットワークインターフェースを備えたDGX100クライアントで、これを潜在的な50GB / sに増やす努力が行われています。
「dd」にどのようなオプションを使用していますか？たとえば、「bs = 1MB」がない場合、「dd」はシステムコールごとに512バイトを書きます。大容量ファイルの書き込み（32 MB 以上など）を実行すると、O_DIRECTパフォーマンスが向上する可能性があります。