☰

特定の列に基づいてCSVの固有レコードを識別する[重複]

tag-icon • tag-icon text-processing csv uniq deduplication
特定の列に基づいてCSVの固有レコードを識別する[重複]

入力が次の場合

foo,bar,baz
bar,baz,qux
qux,quux,baz
bar,foo,qux
waldo,fred,garply

出力は

foo,bar,baz
bar,baz,qux
waldo,fred,garply

ご覧のとおり、3番目の列の値に基づいてレコードが重複排除されます。複数のレコードに同じ3番目の列値がある場合は、ランダムに1つ（または最初の、重要ではない）を選択します。

ベストアンサー1

awkに対する慣用的な答えは次のとおりです。awk -F, '!seen[$3]++' file

3番目の列に値が最初に表示されると、行が印刷されます。

おすすめ記事