あるサーバーから複数のサーバーにディレクトリ全体(すべてのレベル)をコピーする

あるサーバーから複数のサーバーにディレクトリ全体(すべてのレベル)をコピーする

Linux サーバー: a1 ローカルディスク: /scratch ローカルディスクのディレクトリ: /scratch/builda

/ buildaには100,000を超えるファイル(約100 GB)があります。

私のコンピューティングクラスタには、a1からa100まで約100台のサーバーがあります。

a:/scratch/builda を同じ構造の a2 - a100 にコピーする必要があります。 buildaの下のすべてのファイルは、同じ構造、権限、チェックサムなどをコピーして維持する必要があります。

私はrscyn --recursive a1:/ scratch / builda a2:/ scratch(thro a100)を試しました。 scpを試しました。自動化されたftpを試しました。

rsycnと並列の使用を見てみました。

10〜12回実行した後、すべてが遅くなったりクラッシュしたり、その後は遅くなり、いつ完了するかを予測することはできません。

私はGrid-ftpについて読みましたが、それは複雑に見え、グローバスをよく理解していません。

どんな助けでも。

Windows(b1:x:\ builda〜b2-b100:x:\ builda)とLinux(a1:/ scratch / builda〜a2-a100:/ scratch / builda)では、高速で少ないパスワード(またはsshパスワードを使用)が必要です。キー)

ありがとう

ベストアンサー1

おすすめ記事