Office 365 ログの入れ子になった配列をテーブルに変換する

Question

サンプルデータとして提供されたJSONから始めました。このJSONがどのような方法で前処理されたかはわかりません。

最上位Foldersの配列が見えるのでいいえ単一の項目が含まれている場合は配列で、まだ配列でない場合は、まず配列に変換する必要があります。でjq我々はこれを行うことができます

.Folders |= (if type == "array" then . else [.] end)

残りの変換の一般的なアイデアは、上位レベルのデータ（つまり、最上位レベルのいくつかのキーと値のペアと各要素のキー）をId下位レベル（つまり要素）にコピーすることです。その後、各要素をCSVレコードに変換できます。PathFoldersFolderItemsFolderItems

キーの名前が重複するのを防ぐには、要素のキーFolders名をに変更する必要があります（そして一貫性のためにId同じレベルの名前をに変更する必要があります）。FolderIdPathFolderPath

必要な最上位データを選択し、内部変数を使用して下に転送できます。

pick(.CreationTime, .Id, .UserId, .ClientIPAddress) as $record

これは$record生成されます

{
  "CreationTime": "2024-02-06T12:13:14",
  "Id": "abcdabcd-1234-1234-5555-888888888888",
  "UserId": "[email protected]",
  "ClientIPAddress": "5.5.5.5"
}

...最初のJSONオブジェクトです。得られたキーは最終CSV出力に必要な順序ではありません。

Foldersその後、要素のみを抽出して.Folders[]各要素のId合計を選択できますPath。再利用できないように名前を変更するので、pick()より実践的な作業が必要です。

.Folders[] | { FolderId: .Id, FolderPath: .Path } as $folder

その後、それを使用して、合計の前に追加できる要素の.FolderItems[]セットを取得できます。FolderItems$record$folder

.FolderItems[] | $record + $folder + .

単一jq表現で：

.Folders |= (if type == "array" then . else [.] end) |
pick(.CreationTime, .Id, .UserId, .ClientIPAddress) as $record |
.Folders[] | { FolderId: .Id, FolderPath: .Path } as $folder |
.FolderItems[] | $record + $folder + .

質問のデータを考慮すると、結果は次のようになります。

{
  "CreationTime": "2024-02-06T12:13:14",
  "Id": "abcdabcd-1234-1234-5555-888888888888",
  "UserId": "[email protected]",
  "ClientIPAddress": "5.5.5.5",
  "FolderId": "EEEEEEEE",
  "FolderPath": "\\Outbox",
  "InternetMessageId": "<[email protected]>",
  "SizeInBytes": 12345
}
{
  "CreationTime": "2024-02-06T12:13:14",
  "Id": "abcdabcd-1234-1234-5555-888888888888",
  "UserId": "[email protected]",
  "ClientIPAddress": "5.5.5.5",
  "FolderId": "EEEEEEEE",
  "FolderPath": "\\Outbox",
  "InternetMessageId": "<[email protected]>",
  "SizeInBytes": 11122
}

(等)

個人的には、次の方法を使用してこのJSONオブジェクトのセットをCSVに変換します。ミラー:

$ jq '.Folders |= (if type == "array" then . else [.] end) | pick(.CreationTime, .Id, .UserId, .ClientIPAddress) as $record | .Folders[] | { FolderId: .Id, FolderPath: .Path } as $folder | .FolderItems[] | $record + $folder + .' file | mlr --j2c cat
CreationTime,Id,UserId,ClientIPAddress,FolderId,FolderPath,InternetMessageId,SizeInBytes
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,EEEEEEEE,\Outbox,<[email protected]>,12345
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,EEEEEEEE,\Outbox,<[email protected]>,11122
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,EEEEEEEE,\Outbox,<[email protected]>,88888
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,44444
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,100000
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,109000
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,22000
2024-02-06T12:13:14,abcdabcd-1234-1234-5555-888888888888,[email protected],5.5.5.5,FFFFFFFFFFFFFFFFFAB,\Inbox,<[email protected]>,333333
2024-02-06T20:00:00,abcdabcd-1234-1234-6666-9999999999999,[email protected],7.7.7.7,12341234,\Temp,<[email protected]>,77777
2024-02-06T20:00:00,abcdabcd-1234-1234-6666-9999999999999,[email protected],7.7.7.7,12341234,\Temp,<[email protected]>,888888
2024-02-06T20:00:00,abcdabcd-1234-1234-6666-9999999999999,[email protected],7.7.7.7,12341234,\Temp,<[email protected]>,99999

jqMillerを使用してCSVに変換するには、mlrコマンドを次のように置き換えます。

jq -s -r '(first|keys|@csv), map([.[]]|@csv)[]'

これにより、最初の入力オブジェクトでキーがCSVヘッダーとして選択され、すべての値の形式がオブジェクトごとに1つのレコードとして指定されます。

Answer 1