3つの繰り返しフィールド(スペースで区切られた文字列)を含むテキストファイルから行を削除する方法

3つの繰り返しフィールド(スペースで区切られた文字列)を含むテキストファイルから行を削除する方法

次の長いテキストファイルがあります(ダウンロードリンクとダウンロードしたファイル名から生成されます)。

file01 48976 5873987 48976 48976 thdshiesde
file02 29876 589845637 29876 29876 uyjedrty 54
file03 38745 58934 99432 38745 hytug 48

など。

フィールド2、4、5の重複行を削除したいです。

上記の例では、次のように生成したいと思います。

file03 38745 58934 99432 38745 hytug 48

など。

(最初の2行には削除に必要な重複フィールドが含まれていますが、3行目には含まれていないため、そのまま残ります。)

どんな提案がありますか?

ベストアンサー1

AWKがすることは簡単です:

awk '!($2 == $4 && $4 == $5)'

おすすめ記事