私のrsyncはなぜそんなに遅いのですか?

私のrsyncはなぜそんなに遅いのですか?

私は100MBit接続を介して〜4,500万個のファイル/〜1.8TBのデータ(Mac OS X Time Machineバックアップ)を転送するrsyncタスクを実行しています。

私はMacPortsのrsync 3.1.1を使用しています(最初は組み込みのrsyncバージョン2.6.9にMac OS X固有のキャッシュパラメータがあったので試しましたが、メモリが不足しています)。

rsync -HzvhErlptgoDW --stats --progress --out-format="%t %f %b" /source/ /destination/

ソースはFirewire 800に接続された外部3.5インチHDDです。ターゲットはローカルにマウントされたスパースディスクイメージパッケージです(ただし、対応する「ソースファイル」はネットワークストレージにあります)。 . s 同様のファイルの場合は良いですが、この操作が長くなるほど(3 日前に再起動しました)速度が遅くなり、次のように何も起こらないと長い一時停止が発生します。

2011-01-22-070305/Macintosh HD/Library/Application Support/Apple/Mail/Stationery/Apple/Contents/Resources/Photos/Contents/Resources/Bamboo.mailstationery/Contents/Resources/Mask3.png
          1.28K 100%    3.26kB/s    0:00:00 (xfr#48406, ir-chk=1050/4166332)
2016/01/16 18:26:48 Volumes/src/Backups.backupdb/mm/2011-01-22-070305/Macintosh HD/Library/Application Support/Apple/Mail/Stationery/Apple/Contents/Resources/Photos/Contents/Resources/Bamboo.mailstationery/Contents/Resources/Mask3.png 313
2011-01-22-070305/Macintosh HD/Library/Application Support/Apple/Mail/Stationery/Apple/Contents/Resources/Photos/Contents/Resources/Bamboo.mailstationery/Contents/Resources/banner-green.jpg
         32.26K 100%    0.00kB/s    0:00:00 (xfr#48407, ir-chk=1049/4166332)
2016/01/16 19:17:37 Volumes/2TB/Backups.backupdb/mm/2011-01-22-070305/Macintosh HD/Library/Application Support/Apple/Mail/Stationery/Apple/Contents/Resources/Photos/Contents/Resources/Bamboo.mailstationery/Contents/Resources/banner-green.jpg 31279

(タイムスタンプを太字で表示することはできませんが、見てわかるように、最初のファイルは18:26で終わり、2番目のファイルは19:17で終わり、2番目のファイルはわずか32kBです)

転送がCPUに縛られているとは思わない。いくつかのCPUスパイクがありますが、CPU負荷は通常10%未満です。全体的に、このタスクで作成された3つのrsyncプロセスは、転送が発生した72時間の間にほぼ5時間のCPU時間を使用しました。コンピュータ自体は1日23時間アイドル状態を維持します。

メモリも問題になりません。操作が始まった後、メモリ圧力は「緑色」でした。

カーネル作業はかなりのCPU時間を蓄積しましたが(この記事を書いている間57時間)、稼働時間は25日で、rsyncがこの57時間をすべて費やす方法はありません。

いくつかの最終詳細

  • より良いロギングのために3日前に再起動したとき、プロセスは数日間実行されていました。最初のファイル転送には9時間かかりました。
  • まず、Finderを使用して、このディレクトリツリーを同じソースから同じ宛先に転送します。合計3日かかりました。これまで6日を過ごしましたが、木の3分の1も移動できなかったようです。
  • これに加えて、同じソースとターゲット間でファイル転送を試みましたが、最高速度で実行されました。

ベストアンサー1

ローカルにインストールされたスパースディスクイメージパッケージを対象としています。(ただし、「ソースファイル」はネットワークリポジトリにあります)

これがあなたの問題です。ローカルコンピュータとネットワークストレージ(SMB、AFP、NFSなど)間でデータを転送するプロトコルでは、パフォーマンスが低下し、これは一般的な落とし穴です。

Rsyncは転送するビットを確認するために各ファイルを読み取る必要があります(日付が異なる場合)。あなたの場合、ファイルシステムが引っ張られています。フルファイルrsyncを読む前に、ネットワークストレージからローカルMacに転送してください。スピードが遅くなっています。

NB Webサポートについて明確に説明していただきありがとうございます。

おすすめ記事