初めて実行すると、cpはrsyncより高速ですか?

初めて実行すると、cpはrsyncより高速ですか?

私は現在、これを使用してrsyncSamsung Portable SSD T7からHPCクラスターに73 GBのファイルをコピーしています。

rsync -avh path/to/dataset [email protected]:/path/to/dest

以下が適用されます。

  1. 私のローカルコンピュータ(T7が接続されている)は、Ubuntu 20を実行しているVirtualBox VMです。
  2. T7伝送速度は最大約2.5kmでなければなりません。 1000MB/秒
  3. ネットワークは約7.9Mbpsのアップロード速度を提供しました。
  4. これによれば、Rsync転送速度はボトルネックを1〜5MB / sに制限することができます。回答

問題は、9時間が経過するように移動が完了していないという点だ。 ~によると1cp空のディレクトリを使用することをお勧めします(最初)。私はこれが本当かどうか理解していません。誰かがこれを説明できますか?

ベストアンサー1

そう言うけど、

  1. ネットワーク速度は約8Mb / sです。
  2. rsync約1-5MB/sで実行されています。

1MB/s が約 10Mb/s であることを考えると、これはrsync大きな助けになります。

私は、おそらく圧縮を追加し-zrsyncネットワーク接続で適切なフラグを使用しているので、中断して圧縮を再開することもできます。中断された部分から続きます。

簡単に計算してみてください。 73GBは73,000MB *または730,000Mb です。について。ネットワーク速度は8Mb / sです。つまり、コピーには約730,000/8 = 91,250秒かかります。理論的には、ネットワーク帯域幅を最大限に使用すると仮定すると、25時間です。

*なぜ1024:1ではなく1000:1ですか?部分的にはGB:MBが厳密に1000:1だからですが、ほとんどは近似値だからです
。 ‡8ビットから1バイトに8:1ではなく10:1を推奨するのはなぜですか?これには2つの理由があります。 (a)これはO(n)近似であり、(b)パケット/プロトコルオーバーヘッドを考慮する必要があります。


今質問に正確に答えてください。例: "初めて実行すると、cpはrsyncより高速ですか?「使用する場合は、cpローカルサーバーとリモートサーバー間の転送を管理できることが必要です。これはsshfsNFSと同じかもしれませんscp

  1. cpNFS経由でマウントされたファイルシステム。よく調整されたネットワークを使用すると、これは非常に効果的です。
  2. cp超えているsshfs。これには、暗号化オーバーヘッドだけでなく、sshファイルシステムFUSEによって実装されたカーネルとユーザースペースの間の変換も含まれます。効率が低い。
  3. scp(暗黙の終わりssh)。これには の暗号化オーバーヘッドが含まれますssh。許可されており、リンク圧縮によって追加の利点が得られます(-C)。
  4. rsyncssh私たちが言及していないので暗黙的に終了しましたrsyncd)。これには の暗号化オーバーヘッドが含まれますssh。許可され、プロトコル圧縮の利点をさらに享受できます(-z)。

私は定量的なパフォーマンス測定をしていません。これは定性的な評価でした。ただし、次の回答のコメントを参照してください。scpがなぜそんなに遅く、どのように速くすることができますか?公平ではありますが、これは単一の大きなファイルではなく、複数のファイルの比較転送速度について話します。

ただし、rsyncネットワーク経由で接続すると再起動できるという利点があります。--partial転送中にも正しいフラグ(つまり)があります。 73GBファイルの場合、転送時間は約25時間で、これは大きな潜在的な利点です。

おすすめ記事