コメント

tarアーカイブは、長期クラウドストレージソリューション（Amazon S3 Glacier Deep Archive、Google Cloud Archive Storageなど）にアップロードされます。

ああ！だからディスクにtarアーカイブは必要ありません！

代わりに、Amazon S3または他の場所にアップロード中にすぐにtarアーカイブを作成できます。さらに、あなたは本物容量に応じて費用を支払うので、圧縮したいです。

解決策は非常に簡単でなければなりません。

tar c fileA fileB | aws s3 cp s3://mybucket/backup.tar -
    : :     :     :           :                        :
    : :     :     :           :                        \- read data from stdin
    : :     :     :           \- How to call the object
    : :     :     \- unix pipe: the stdout of the
    : :     :        tar command becoms the stdin
    : :     :        of the aws command.
    : \-----\- files to be compressed
    \--compression command

個人的に特に非常に小さなファイルが数千個あるとすると、tarフォーマットによるオーバーヘッドが非常に大きくなります。使用することをお勧めします

tar c --zstd file1 file2 … file1000 | aws s3 cp s3://mybucket/backup.tar.zst -

すぐにデータを圧縮します。クラウドホストへのアップロード時間と有料スペースを節約し、通常はここで行うことが正しいことです。