非常に大きなnfs共有移行のためのRsync

非常に大きなnfs共有移行のためのRsync

変更ログがより早く蓄積されるように、rsync操作をさまざまな部分に分割する方法を知りたいです。状況は、1つのストレージプラットフォームから新しいストレージプラットフォームに移行することです。 2.5mmファイルを含む大きなフラットディレクトリがあります。 rsync 変更ログは現在完了するまでに数日かかります。複数のtxtファイルをそれぞれ約100,000個のファイルに分割し、他のサーバーでこれらのテキストファイルに対して複数のrsyncジョブを実行したいと思います。

私のシェルスクリプトゲームはとても弱いです。 100,000個のファイルに対して「ls」を実行し、それをtxtファイルにパイプしてから、このディレクトリ内のすべてのファイルが表示されるまで、次の100,000個のファイルセットを選択する方法を知っていますか? 25個のtxtファイルのいずれかに保存されます。

あるいは、誰かがrsyncよりも良いアイデアを持っているなら、聞きたいです。

ベストアンサー1

探している25個のファイルを作成するには...

$ find /lots/of/files | split -d -l 100000

これにより、それぞれ100,000行を含むファイルが作成されます。できることがたくさんあるので、splitマンページを確認してください。 、、...-dのように、アルファベット順ではなく数字順に名前が付けられます。x01x02x25

ここでファイルを繰り返し、rsyncを実行できます。

for file in x*
do
   # Run rsync command using $file as the change list
done

ファタイ

おすすめ記事