S3バケット内のサブフォルダの合計サイズを取得するためにbashスクリプトを作成しようとしています。
私のバケツs3://パス1/パス2/サブフォルダ
path2フォルダ内には、次のような多くのサブフォルダがあります。
2019_06
2019_07
2019_08
2019_09
2019_10
2019_11
2019_12
Bashスクリプトから各サブフォルダのサイズを取得する必要があります。
私はこのようなスクリプトを書いた。
**
#!/bin/bash
FILES=$(mktemp)
aws s3 ls "s3://path1/path2/" >> "$FILES"
cat $FILES
echo
for file in $FILES
do
if [ ! -e "$file" ]
then
s3cmd du -r s3://path1/path2/$file
echo "$file"; echo
continue
fi
echo
done
**
cat $tmpfileの出力は次のとおりです。
2019_06
2019_07
2019_08
2019_09
2019_10
2019_11
2019_12
しかし、エラーが発生します。 forループに変数を渡すとき。理想的には、私の目標は、forループが各反復ごとにdo内で実行されることです。コマンドは次のようにする必要があります。
s3cmd du -r s3://path1/path2/2019_06
s3cmd du -r s3://path1/path2/2019_07
s3cmd du -r s3://path1/path2/2019_08
など...
これにより、フォルダのフルサイズを得ることができます
助けてください!
ベストアンサー1
あまりにも多くの要求をするのではなく、バケット内のすべてのオブジェクトを繰り返し一覧表示し、出力からローカルにすべてのサイズを追加します。
スタート:aws s3 ls --recursive s3://path1/ > all-files.log
その後、all-files.log
ローカルで処理します。はるかに簡単:)