ファイルの列から重複した数字を削除する方法は?

ファイルの列から重複した数字を削除する方法は?

次のファイルがあります。

入力する:

34
34
34
43
54
54
10001
10001
10001
10001
100005
100005
500000

したがって、各数字が一度だけ表示されるようにする必要があります。

出て:

34
43
54
10001
100005
500000

実際のファイルを考慮した提案はかなり大きく、繰り返しが多すぎますか?

ベストアンサー1

あなたのため:

$ uniq inputFile > outputFile

uniqただし、連続した重複行のみ削除されますのでご注意ください。したがって、連続して行われない行でもすべての重複行を削除するには、まずsortファイルを入力して次のように使用できますuniq

$ sort -g inputFile | uniq > outputFile

-gオプションは共通値に基づいて比較されます。

または単に使用sort -nu inputFile > outputFile

おすすめ記事