テキストファイルから重複項目を削除する [重複]

テキストファイルから重複項目を削除する [重複]

2つの要求(LDAPとSQL)を使用してtxtファイルを作成しました。両方のリクエストの結果は同じtxtファイルに保存されます。

txt ファイルは次のようになります。

[email protected]
[email protected]
[email protected]
[email protected]
[email protected]

ユーザーは2つのデータベースにいる可能性があるため、bashを使用して重複エントリを削除する必要があります。
どうすればいいですか?

ベストアンサー1

ファイルが最終的にソートされるのが気に入らない場合は、ファイルをソートしてフィルタリングします。

sort -u file

サポートしている場合sort、または

sort file | uniq

それ以外の場合は、標準出力に一意の電子メールアドレスのソートされたリストが表示されます。

元のアドレスの順序を維持するには、次を使用しますawk

awk '!(count[$0]++)' file

おすすめ記事