tarまたはPythonのtarfileモジュールを使用して名前付きパイプからtarballを作成する

Question

これのためにイライラしないでください...あなたはそれを把握すると確信しています！

私の考えでは、tarがあなたを混乱させることは、「名前付きパイプをサポートする」ということは、名前付きパイプを認識して保存できることを意味するということです。名前付きパイプで後で名前付きパイプに復元できるようにアーカイブに保存します。これは実際に望むものではありません。

また、ファイルを記述するエントリがコンテンツの前に保存され、ファイルエントリにファイルサイズを含める必要があるため、コンテンツの正確なサイズがわからない限り、tarファイルの形式は実行中の操作にはあまり適していません。事前にするのは大変です...

持つこのソリューション（TarFileStdinを参照）、この問題を解決するためにハッキングを使用します。ファイルサイズが0のTarInfoを挿入し、ファイルの内容を保存し、最後に元のTarInfoのオフセットを見つけて正しいサイズで上書きします。 .... . しかし、読んでください。

「.tar.xzファイルからメタデータファイルをすばやく抽出できるようにtarballをインデックス化できるようにしたい」と述べたので、ZIPファイルのように見えます！ ZIP形式は、まずすべてのファイルの内容を保存し、次にZIPの末尾にファイル情報とオフセットテーブルを保存します。そういう意味で言われたように、インデックスが作成されます。このツールはファイルの終わりから始めてファイルテーブルを簡単に見つけることができるため、ZIPの内容をすばやく一覧表示できます。

ZIPのデフォルト圧縮形式を使用するか、ZIPの保存モード（非圧縮）を使用して、そこにxyz.pcap.xzファイルを追加できます。 *.xz ファイルを ZIP に追加すると、Parallelxz などの外部コンプレッサーを簡単に使用できます。

Python 3zipfile.ZipFileオブジェクトにopen()方法名前だけでファイルを追加し、内容を書き込むことができるファイルオブジェクトを受け取ることができます。

APIを使用して、shutil.copyfileobj()名前付きパイプの圧縮pcapをZIPファイルに追加できます。

import shutil
import zipfile

with zipfile.ZipFile('mydata.zip', 'w') as zf:
    with zf.open('xyz.pcap.xz', 'w') as outputf:
        with open('/path/to/namedpipe', 'r') as inputf:
            shutil.copyfileobj(inputf, outputf)
    zf.write('metadata.pickle')  # from local directory

このコードスニペットは、xzで圧縮されたpcapデータを名前付きパイプに書き込み、メタデータが現在のディレクトリに "metadata.pickle"というファイルにシリアル化されていると仮定します。（もちろんopen()ZipFileを使用して、ピクルスメタデータをZIPファイルのエントリに直接シリアル化することもできます！）

zipfileのデフォルト圧縮を使用するには、ZipFileのデフォルト圧縮を設定できます。

with zipfile.ZipFile('mydata.zip', 'w', zipfile.ZIP_LZMA) as zf:

（デフォルトはZIP_STOREDです。これは圧縮がないことを意味し、xz圧縮データをそこに送信する場合はおそらく望むものです）。

よりzipファイルのドキュメント詳細については。最新のPythonにはより多くの機能があります。たとえば、Python 3.5では、実際にはzipファイルをパイプに書き込んでSSH経由でリモートホストに直接アップロードできます。

これがあなたに役立つことを願っています！本当にタールボールが必要な場合は試してみてください。この回答しかし、Python 3のzipfileソリューションを使用することが説明されているユースケースへのより良いアプローチだと思います！したがって、この形式が機能する場合は本当にお勧めします。

Answer 1