高圧縮で100GBファイルをより高速にgzipする方法

高圧縮で100GBファイルをより高速にgzipする方法

Linuxシステムには100 GB以上のファイルがあり、次のコマンドを使用してgzipを試みると、gzipを完了するのに少なくとも1〜2時間かかります。

gzip file.txt

gzipを使用するときと同じ圧縮レベルでgzipをすばやく実行する方法はありますか?


CPU: Intel(R) Core(TM) i3-2350M CPU @2.30GHz

ベストアンサー1

gzipを使用している場合は、主に1つのプロセッサコアを使用します。データの読み書きなどの一部の操作はカーネル操作であり、カーネルは異なるコアを使用します。 MiGz(https://github.com/linkedin/migz)または豚(https://zlib.net/pigz/、詳しくは次をご覧ください。https://medium.com/ngs-sh/pigz-a-faster-alternative-to-gzip-for-big-files-d5909e46d659)。

おすすめ記事