何百万もの小さなファイルに最適なパーティション形式とRAID設定は何ですか? [閉鎖]

何百万もの小さなファイルに最適なパーティション形式とRAID設定は何ですか? [閉鎖]

数百万の小さなファイルがフォルダごとに分散されている場合、最良のパーティション形式は何ですか、それをできるだけ早く管理するためのRAID設定は何ですか?たとえば、すべてのファイルを検索し、xMBより大きいファイルを検索するなどの操作を実行します。

この場合、RAIDに4~5個のSSDを分散させることで性能向上に役立つでしょうか。

ほとんどのファイルが1MB未満であることを考えると、この場合より速く実行できるパーティション形式はありますか?

編集する:問合せのためにデータを複数回読み取るため、読取り回数は書込み回数の2倍以上である。データは重要ではありません。データ保護よりも速度が重要です。

ベストアンサー1

通常、RAIDを使用すると、読み取りに対してN(デバイス数)* I(iops)を取得でき、RAIDレベルに応じて書き込みを一部分割できます。 (N*I)/2 はミラーリングに使用され、/4 は raid5 に使用され、/6 は raid6 などに使用されます。

デバイスエラーのために失われる可能性があり、最初から再生成する必要がある場合、または単に新しいデータを生成する必要がある重要でないデータの場合、RAID0は最速の書き込み速度を持ちます。これは複数のデバイスにまたがる単純なストライプであり、書き込みIopsを消費するためのパリティの読み取りまたは書き込みは発生しません。 RAID0では、読み書き性能はN * Iでなければなりません。 (CPUと選択したファイルシステムのキャッシュ方法は数値にわずかに影響を与える可能性がありますが、通常この値に非常に近いはずです。

使用可能なドライブの数と必要な容量に応じてRAID10を使用すると、読み取りパフォーマンスはNのままになります。私の執筆実績とあなたの執筆実績は(N)I)/2 なぜなら、ミラーの両側に書き込みを実行しなければならないからです。

EXT4を使用してストライプ化された4-5 SSDは、データ保護を犠牲にしてパフォーマンスとシンプルさの最高の交差点を提供します。

RAID10は、容量と書き込みパフォーマンスを半分に減らし、読み取りパフォーマンスを維持し(まだすべてのドライブで読み取り可能)、優れたデータ整合性を提供します。

一時データの場合は、必要に応じて複数のフォルダを持つ単一のパーティションでEXT4とRAID0を使用します。

おすすめ記事