awkを使用して47フィールドcsvファイルの列1から46から重複エントリを削除する方法は?

awkを使用して47フィールドcsvファイルの列1から46から重複エントリを削除する方法は?

多くのファイルをcsvファイルにマージするbashスクリプトがあります。 csvファイルには47個のフィールドと10000個の行があります。

しかし、私が使用した重複エントリを削除するために、ソートの目的awk '!seen[$0]++'で列47にソースソースへの参照を追加しました。

まだ1列から46列までのみインデックスを作成し、すべての列(47列を含む)を印刷したいと思います。

46をすべてリストする必要がありますかawk '!seen[$1, $2, $3, ,..etc.., $45, $46]++、それとも簡単な方法がありますか?

ベストアンサー1

'sort_field=$47; $47=""; !seen[$0]++ { print $0 " " sort_field }' 

おすすめ記事