多くの小さなファイルに最適なファイルシステムは何ですか?

多くの小さなファイルに最適なファイルシステムは何ですか?

私は1億2000万個を超える小さなファイルを保存したい2TBドライブを搭載したDebian 10サーバーを持っています。 ext4を使用すると、inodeが不足します。

どのファイルシステムを使用する必要がありますか?

reiserfsとreiser4について読みましたが、それでもサポートされているかどうかはわかりません。

私が使用できる組み込みのDebianパッケージを含むファイルシステムはありますか?

主なユースケースは、Apacheを使用して256x256ラスターマップタイルをユーザーに提供することです。制限要因はping時間なので、速度はそれほど重要ではないと思います。できるだけ多くのバイトを使用することも重要ですが、ディスクの空き容量もたくさんあります。

編集:ファイルは通常1kbから3kbです。

ベストアンサー1

「小さい」サイズを指定しませんが、ファイルが十分に小さく圧縮可能な場合、embedded_dataこの機能が有効になっているZFSプールはブロックポインタ自体に「小さい」ファイルを格納できるため、ブロック(またはそれ以上)を割り当てる必要はありません。 )ファイルストレージスペースを提供し、ファイルデータがファイルメタデータとともにブロックポインタ自体に書き込まれるため、ファイルを読み書きするためのI / O呼び出しも削除されます。

また、ZFSにはinodeが不足していません。

 embedded_data

           This feature improves the performance and compression ratio of
           highly-compressible blocks.  Blocks whose contents can compress
           to 112 bytes or smaller can take advantage of this feature.

           When this feature is enabled, the contents of highly-
           compressible blocks are stored in the block "pointer" itself (a
           misnomer in this case, as it contains the compressed data,
           rather than a pointer to its location on disk).  Thus the space
           of the block (one sector, typically 512 bytes or 4KB) is saved,
           and no additional i/o is needed to read and write the data
           block.

おすすめ記事