☰

同じ行にない重複値の削除

tag-icon • tag-icon shell-script text-processing scripting sort uniq
同じ行にない重複値の削除

したがって、ファイル名と関連番号を含むテキストセットがあります。現在は次のとおりです。 

RR0.out -1752.142111    
RR1.out -1752.141887    
RR2.out -1752.142111    
RR3.out -1752.140319    
RR4.out -1752.140564    
RR5.out -1752.138532    
RR6.out -1752.138493    
RR7.out -1752.138493    
RR8.out -1752.138532

重複した2番目の値を持つ行を削除するスクリプトを作成したいと思います。出力は次のとおりです。 

RR0.out -1752.142111    
RR1.out -1752.141887    
RR3.out -1752.140319    
RR4.out -1752.140564    
RR5.out -1752.138532    
RR6.out -1752.138493    
RR8.out -1752.138532

私は両方を見て、sort -uこの目的に使用しましたが、まったく同じではなく（動作は完了しません）、互いに隣接していない（動作は完了しませんuniq）行を削除する方法を知りません。完璧な）。誰でも私にアドバイスを与えることができますか？uniqsortsortuniq

これまでのところ、以下のコードは私が望むものを提供していません。 

sort -t ' ' -k 2n file > file2  
uniq -f 1 file2 > file3

ベストアンサー1

sort/を使用したくない場合は、次のようにuniqします。

$ awk '!seen[$2]++' file
RR0.out -1752.142111    
RR1.out -1752.141887    
RR3.out -1752.140319    
RR4.out -1752.140564    
RR5.out -1752.138532    
RR6.out -1752.138493

（末尾の空白だけが異なるRR5.out -1752.138532ため、期待される出力とは異なります。2番目のフィールドの一部ではなく、区切り文字の一部として扱います。）RR8.out -1752.138532awk

おすすめ記事