ファイル構造を維持しながら、複数のjsonファイルから重複行を削除します。

ファイル名にスペースや特殊文字がないと仮定すると、この方法は適切です。最初に処理されるファイルの所望のソート順序を得るために、最初のコマンドを調整する必要があるかもしれない。

#!/bin/bash
temp=$(mktemp)
for file_to_dedupe in $(echo *.json|sort)
do
   for file_to_strip in *.json
   do
      [ "$file_to_dedupe" == "$file_to_strip" ] && continue
      grep -w -Ff ${file_to_dedupe} -v ${file_to_strip} > ${temp}
      mv ${temp} ${file_to_strip}
   done
done

説明する

• temp=$(mktemp)使用するtmpファイルを作成します。
• for file_to_dedupe in $(echo *.json|sort)重複したファイルを削除するには、ファイルの繰り返しを開始してください。
• for file_to_strip in *.json重複を削除するには、ファイルを繰り返し起動します。
• [ "$file_to_dedupe" == "$file_to_strip" ] && continue現在のファイルをスキップします。
• grep -w -Ff ${file_to_dedupe} -v ${file_to_strip} > ${temp}正確なトリックを排除するために各行をパターンとして使用file_to_dedupe
• mv ${temp} ${file_to_strip}新しいファイルを所定の位置に配置します。