rsyncを使用して、マイコンピュータの一部のファイルを外付けハードドライブにバックアップしようとしています。コピーはうまく機能しますが、標準のUSB 2.0の場合でも時間がかかります。 USB 2.0の場合、実際の転送速度は30MB/s程度にする必要がありますが、私のテストでは速度が2MB/sに達することもありました。私が使っているペンドライブは32GB USB3.0、FAT32 fsです。
注：各テストの前にペンドライブの内容全体を消去し、他のUSBポートでも試してみました。
私が使用しているスクリプトの一部は次のとおりです。
mkdir /media/eusbd0
mount -t vfat -o shortname=mixed,iocharset=utf8 /dev/sdb1 /media/eusbd0
# copy only data between date1 to date2
for dir in $(find /home/records -type d -newermt "2016-08-04" ! -newermt "2016-08-18" 2>&1); do
if [ "/home/records" != "$dir" ]; then # skip parent dir
rsync -ravP --inplace --modify-window=2 --log-file=/var/log/download_records "$dir" /media/eusbd0 > /var/log/rsync_report.txt
fi
done
#sync
umount -l /media/eusbd0
これは rsync 出力の一部です。
sending incremental file list 2016-08-11/ 2016-08-11/gps_00000 44,179 100% 10.88MB/s 0:00:00 (xfr#1, to-chk=34/36) 2016-08-11/log 106,792 100% 101.84MB/s 0:00:00 (xfr#2, to-chk=33/36) 2016-08-11/log_cam0 5,532 100% 5.28MB/s 0:00:00 (xfr#3, to-chk=32/36) 2016-08-11/rec_2016-08-11.13_57_22.mov 3,513,782 100% 108.10MB/s 0:00:00 (xfr#4, to-chk=31/36) 2016-08-11/rec_2016-08-11.13_59_00.mov 4,281,177 100% 63.79MB/s 0:00:00 (xfr#5, to-chk=30/36) 2016-08-11/rec_2016-08-11.14_02_09.mov 3,359,207 100% 36.82MB/s 0:00:00 (xfr#6, to-chk=29/36) 2016-08-11/rec_2016-08-11.14_04_16.mov 1,877,863 100% 17.91MB/s 0:00:00 (xfr#7, to-chk=28/36) 2016-08-11/rec_2016-08-11.14_05_42.mov ........ 50,482,791 100% 114.90MB/s 0:00:00 (xfr#20, to-chk=15/36) 2016-08-11/rec_2016-08-11.15_14_53.mov 19,291,527 100% 34.52MB/s 0:00:00 (xfr#21, to-chk=14/36) 2016-08-11/rec_2016-08-11.15_18_42.mov 50,700,461 100% 58.68MB/s 0:00:00 (xfr#22, to-chk=13/36) 2016-08-11/rec_2016-08-11.15_20_20.mov ....... sent 802,030,914 bytes received 685 bytes 94,356,658.71 bytes/sec total size is 801,832,718 speedup is 1.00 tail: /var/log/rsync_report.txt: file truncated sending incremental file list 2016-08-16/ 2016-08-16/log 41,966 100% 8.77MB/s 0:00:00 (xfr#1, to-chk=16/18) 2016-08-16/obd_00000 46,798 100% 44.63MB/s 0:00:00 (xfr#2, to-chk=15/18) 2016-08-16/rec_2016-08-16.16_24_12.mov 50,649,317 100% 18.64MB/s 0:00:02 (xfr#3, to-chk=14/18) 2016-08-16/rec_2016-08-16.16_25_50.mov 25,602,242 100% 7.78MB/s 0:00:03 (xfr#4, to-chk=13/18) 2016-08-16/rec_2016-08-16.16_57_42.mov 50,496,580 100% 15.18MB/s 0:00:03 (xfr#5, to-chk=12/18) 2016-08-16/rec_2016-08-16.16_59_20.mov 50,617,906 100% 13.29MB/s 0:00:03 (xfr#6, to-chk=11/18) 2016-08-16/rec_2016-08-16.17_00_58.mov 50,759,115 100% 10.16MB/s 0:00:04 (xfr#7, to-chk=10/18) 2016-08-16/rec_2016-08-16.17_02_36.mov 50,883,325 100% 6.81MB/s 0:00:07 (xfr#8, to-chk=9/18) 2016-08-16/rec_2016-08-16.17_04_14.mov 47,995,074 100% 4.41MB/s 0:00:10 (xfr#9, to-chk=8/18) 2016-08-16/rec_2016-08-16.17_09_44.mov 50,813,636 100% 2.35MB/s 0:00:20 (xfr#10, to-chk=7/18) 2016-08-16/rec_2016-08-16.17_11_22.mov 50,953,015 100% 2.52MB/s 0:00:19 (xfr#11, to-chk=6/18) 2016-08-16/rec_2016-08-16.17_13_00.mov 50,221,069 100% 2.93MB/s 0:00:16 (xfr#12, to-chk=5/18) 2016-08-16/rec_2016-08-16.17_14_38.mov 50,445,757 100% 2.87MB/s 0:00:16 (xfr#13, to-chk=4/18) 2016-08-16/rec_2016-08-16.17_16_16.mov 51,036,959 100% 3.16MB/s 0:00:15 (xfr#14, to-chk=3/18) 2016-08-16/rec_2016-08-16.17_17_54.mov 51,056,196 100% 3.19MB/s 0:00:15 (xfr#15, to-chk=2/18) 2016-08-16/rec_2016-08-16.17_19_32.mov 50,434,922 100% 3.12MB/s 0:00:15 (xfr#16, to-chk=1/18) 2016-08-16/rec_2016-08-16.17_21_10.mov 19,456,000 100% 2.71MB/s 0:00:06 (xfr#17, to-chk=0/18) sent 701,682,372 bytes received 343 bytes 4,512,429.04 bytes/sec total size is 701,509,877 speedup is 1.00
出力は非常に高速で始まり、最後に行くほど遅くなることがわかります。なぜこれが起こるのですか？
私がコピーするファイルはほぼ同じです（サイズが少し異なる場合があります）、ファイル数が100個未満で非常に少ないです。他のペンドライブも試してみましたが、同じ結果が得られました。
ありがとうございます！
新しい実験：
私は同じファイルをコピーするためにrsyncの代わりにcpioを使ってみました。修正されたスクリプト：
mkdir /media/eusbd0
mount -t vfat -o shortname=mixed,iocharset=utf8 /dev/sdb1 /media/eusbd0
# copy only data between date1 to date2
for dir in $(find /home/records -type d -newermt "2016-08-04" ! -newermt "2016-08-18" 2>&1); do
if [ "/home/records" != "$dir" ]; then # skip parent dir
find "$dir" -print | cpio -pdm /media/eusbd0 > /var/log/rsync_report.txt
fi
done
#sync
umount -l /media/eusbd0
コピーするデータ量は約3GBで、必要なcpio時間は900秒です。これは、平均転送速度が3〜4 MB / sであることを意味します。 rsyncの速度もこの値に近いため、問題はハードウェアまたはドライバに関連しているようです。
修正する 別のFAT32形式のペンドライブを3つ試してみましたが、同じ結果が得られました。その後、NTFS fsを試して30MB / s以上の良い結果を得ましたが、残念ながら私が所有している4つのUSBスティックのうちの1つでのみ可能でした。外付けHDDとSSDを使った他の実験でも、20MB/sを超えるかなり良い結果が現れました。
全体的に、私のマザーボード（またはドライバ）はおそらくUSBスティックやFAT32 fsが好きではないでしょう。電源が入っているかどうかにかかわらず、外付けハードドライブは少なくともNTFSで期待どおりに動作します。そして、なぜこれが起こるのかわかりません。
ベストアンサー1
rsyncレプリケーションに最適なソリューションではありません。これはファイル同期に最適なソリューションです。ほとんどのデータの書き込み/読み出し速度はバッファによって異なります。ファイルに書き込むと、バッファがいっぱいになり、速度が速くなります。バッファがデバイスに書き込まれると（バッファフラッシュ）、速度が低下します。デバイスの書き込み速度は、仕様（USB 2.0または3.0 ...）だけでなく、プロトコル（実装）、ドライバ、ブロックサイズによって異なります。場合によっては、同期プログラムに最初に変更を検索させるよりも、ファイル全体をコピーする方が良い場合があります。これによりオーバーヘッドが発生し、ローカルに接続されたデバイスの速度が遅くなります。ネットワーク経由でこれを行うと、状況が変わる可能性があります。