ハッシュベースのファイルシステム?

ハッシュベースのファイルシステム?

次のハッシュベースのファイルシステムはありますか?

  • コンテンツのハッシュでインデックス付けされるブロックストア(512b、4KB、または128KBのいずれか)があります。
  • 各ブロックには使用回数があります。 0に達すると、ブロックのリポジトリが解放されます。
  • ファイルはブロックハッシュの長さとリストです。

これにより、次のようなさまざまな最適化が可能になります。

  • 大容量ファイルはほぼ無料でコピーできます(必要な時間とストレージスペースの面で)。
  • 大容量ファイルのコピーは、書き込み中のコピーを使用して最小限のディスク領域を占有しながら変更を保存します。
  • ファイル同等性の計算が速くなります。

そのようなファイルシステムはすでに存在していますか?

そうでなければ実現できないか良い考えですか?

ベストアンサー1

重複排除機能を持つCOW(記録中コピー)ファイルシステムについて話しているようです。両方ZFSそしてBTRFSある程度はこのように機能します。 Btrfsはオフライン重複排除重複したブロックを一定期間作成した後にマージできるツールです。 ZFSはオンライン重複排除を実行できます。

オンライン重複排除は良いアイデアですか?ユースケースによって異なりますが、そうでない場合があります。 ZFS Wikipediaの記事によると、「重複排除を効果的に使用するには、より多くのRAMが必要になる可能性があります。ストレージTBあたり1〜5 GBのRAMが推奨されています。」オフライン重複排除は、より多くの状況で実用的かもしれません。

おすすめ記事