44TBのgzipファイルがあり、各ファイルサイズは圧縮時に1.5GB、圧縮されていない場合はそれぞれ2.0GBです。圧縮されていないファイルのみを読み取ることができるツールがあります。ファイルの小さな部分にのみアクセスすればよいので、ファイル全体を解凍し、結果をディスクに書き込むオーバーヘッドを避けたいと思います。このツールはgzipで圧縮されたデータをすぐに読み取ることはできません。
アプリケーションの観点から見ると、ファイルのすべての機能がありますが、データをディスクに保存するのではなく、メモリ内の即時（おそらくキャッシュ）データを計算する（読み取り専用）ファイルタイプオブジェクトを生成する方法はありますか？ ）？名前付きパイプを試してみることはできますが、照会は許可されません。 tmpfsで解凍するのはディスクに解凍するよりもわずかに高速ですが（10〜20％）、まだファイル全体を解凍する必要があります。書き込み権限は必要ありません。
マシンには2TBのRAMがあり、Red Hat Enterprise Linux Serverバージョン6.7で動作します。データはpanfsファイルシステムにあります。他のファイルシステムは、小さな（20GB）tmpfsといくつかの一時スペース（15TBが他のファイルシステムと共有）です。私にはシステム管理者権限がありません。