私はしばしばサーバー間またはaws s3に何百万もの小さなファイル(小さな画像、txt、json)を転送する必要があります(ファイルあたり平均5〜50,000個)。
zip / tar -cfに加えて、転送速度を最適化するために単一のファイルにマージするより高速な方法はありますか?
ベストアンサー1
似たようなものtar cz * | ssh <host> "tar xfc -"
?心から、問題は何ですかtar
?このコマンドは中間ファイルを生成しません。
私はしばしばサーバー間またはaws s3に何百万もの小さなファイル(小さな画像、txt、json)を転送する必要があります(ファイルあたり平均5〜50,000個)。
zip / tar -cfに加えて、転送速度を最適化するために単一のファイルにマージするより高速な方法はありますか?
似たようなものtar cz * | ssh <host> "tar xfc -"
?心から、問題は何ですかtar
?このコマンドは中間ファイルを生成しません。