aws cliを使用したxargs（Amazon s3コピー）

私のアカウントにある2つのS3バケット間で何百ものファイルをコピーするプロセスをスピードアップしようとしています。

Bucket1
dt=2017-01-01/ 
   file1, file2, file3 ... file100
..
..
dt=2017-01-31/

各ファイルのサイズは約300〜400 MBで、場合によっては1 GBになります。

これで、それを2番目のバケット、つまり同じ構造のバケット2にコピーする必要があります。

aws cliコマンドを使ってみましたが、非常に遅いです。 aws s3 cp s3://Bucket1/ s3://Bucket2/ --recursive

次に、&-スクリプトを使用して並列プロセスを開始してみました。

while read line
do
aws s3 cp s3://Bucket1/${line} s3://Bucket2/${line} --recursive &
done < date-list

Contents of date-list
dt=2017-01-01/
dt=2017-01-02/
..
..

これもあまり改善されておらず、すべてのフォルダがコピーされるのを見ることはできません。 2017年1月5日以降は中止されました。理由が気になります。

可能な解決策を探している間、AWSでこのブログを見つけましたが、xargsを使用しているようです。https://aws.amazon.com/blogs/apn/getting-the-most-out-of-the-amazon-s3-cli/

そのため、代わりにxargsを使用するようにスクリプトを変更しました。

while read line
do
echo ${line} | xargs -n1 -P100 -I {} aws s3 cp s3://Bucket1/{} s3://Bucket2/{} --recursive
done < date-list

特定の月のすべての日付の並列コピーをトリガーする方法はありますか？それから多分1年後になるかもしれません。今は毎日複製されていますが、1年以上のデータを複製する必要があることを考慮すると、まだ遅くなります。

どんなアドバイスも本当にありがとうございます。