映画プロジェクトで72TBの画像シーケンスのコピーを作成する必要がある課題があります。私は650万枚の11MBの画像を持っていると推定しています。
ソースドライブは、ターゲットRAID5 SASと同様に、読み取り/書き込み速度が1000 MB / sのRAID5 SASです。
私のテスト100GBのビデオファイルは、上記の速度でソースからターゲットに移動しました。
-avbを使用するRSYNC 3.2.6の現在の最大速度は211 MB / sです。
TARで20GB（説明のためにランダムに選択されています）の非圧縮zipを作成し、RSYNCにパイプして多くの小さなファイルを処理するためのオーバーヘッドを減らすことを探索すると、どのような利点がありますか？
現在の課題は4～5日程度かかると予想されますが、短縮したいと思います。
どんな意見でも大歓迎です！
Mac OS 12.3 M1スタジオウルトラ
ベストアンサー1
現在、いくつかの小さなファイルを探して読み書きすることに制限されています。持つ20GBの.zip/.tarファイルが役に立ちます。作るzip同じことを行う必要があるため、rsyncよりも遅くなる可能性があります（ランダムアクセスを読む）。しかし、私の言葉をそのまま受け入れないでください。 rsyncを一時停止してテストしてください！テストはほぼ常に正解です。
Linuxでは、このツールを使用してiostatディスクを待つのにかかる時間の割合を確認することをお勧めします。 OS Xを使用している場合は、OS Xに対応するものが何であるかわかりません。
フルソースRAIDとターゲットRAIDを組み合わせる場合まったく同じ最後に（オプションは提供されていますが-bそうではありません）、dd1000 MB / sで実行されているRAIDデバイスなどのものを使用できます。しかし、必ず知っておいてください。正確にddで何をしていますか？そうしないと、データが破損する可能性があります。
これが頻繁に行われている場合は、イメージの作成中にrsyncを繰り返し実行して4日間待たないようにすることをお勧めします。