☰

2つのファイルを最初の列と比較し、シェルスクリプトの2番目のファイルから重複行を削除します。

tag-icon • tag-icon shell-script text-processing awk join
2つのファイルを最初の列と比較し、シェルスクリプトの2番目のファイルから重複行を削除します。

質問をするために例を使用します。 2つのファイルがあります。

ファイル1：

118D FC300_R5_TP  FX.B      32775       2112   6       2038   6       2112   0
118E FC300_R5_TP  FX.B      32775       2136   7       2065   6       2136   0
118F FC300_R5_TP  FX.B      32775       2124   6       2064   6       2124   0
1190 FC300_R5_TP  FX.B     819210     814632  99     814609  99     814632   0
1191 FC300_R5_TP  FX.B     819210     104100  13     103714  13     104100   0
1192 FC300_R5_TP  FX.B    1638420    1609476  98    1609402  98    1609476   0
1196 FC300_R5_TP  FX.B    1638420    1638432 100    1638379 100    1638432   0
119A FC300_R5_TP  FX.B    3276840    3271776 100    3271698 100    3271776   0
119E FC300_R5_TP  FX.B    3276840    3264120 100    3264034 100    3264120   0
11A2 FC300_R5_TP  FX.B    3276840    2328648  71    2328546  71    2328648   0
11A6 FC300_R5_TP  FX.B    3276840    2328444  71    2328355  71    2328444   0
11AA FC300_R5_TP  FX.B    3276840    2328528  71    2328403  71    2328528   0
11AE FC300_R5_TP  FX.B    3276840    2328648  71    2328468  71    2328648   0
11B2 FC300_R5_TP  FX.B    3276840    2130000  65    2129766  65    2130000   0
173A FC300_R5_TP  FX.B    6553680    6478572  99    6477747  99    6478572   0

文書＃2：

11AA FC300_R5_TP  FX.B    3276840    2328528  71    2328403  71    2328528   0
11AE FC300_R5_TP  FX.B    3276840    2328648  71    2328468  71    2328648   0
11B2 FC300_R5_TP  FX.B    3276840    2130000  65    2129766  65    2130000   0
173A FC300_R5_TP  FX.B    6553680    6478572  99    6477747  99    6478572   0
0BDB FC600_R5_TP  FX.B   33554640    6044364  18    6033105  18    6044364   0
0BDC FC600_R5_TP  FX.B   33554640    6613536  20    6481974  19    6613536   0
0BDD FC600_R5_TP  FX.B   33554640    4435848  13    4057170  12    4435848   0
0BDE FC600_R5_TP  FX.B   33554640    6620868  20    6249518  19    6620868   0

希望の出力

文書＃3：

0BDB FC600_R5_TP  FX.B   33554640    6044364  18    6033105  18    6044364   0
0BDC FC600_R5_TP  FX.B   33554640    6613536  20    6481974  19    6613536   0
0BDD FC600_R5_TP  FX.B   33554640    4435848  13    4057170  12    4435848   0
0BDE FC600_R5_TP  FX.B   33554640    6620868  20    6249518  19    6620868   0

file1とfile2の最初の列を使用して、file1で一致するfile2の行全体を比較して削除したいと思います。また、結果を3番目のファイル、File＃3に保存したいと思います。

ベストアンサー1

次の目的で使用できますawk。

awk 'FNR==NR{a[$1];next};!($1 in a)' file1 file2 > file3

説明する：

  • FNR == NR：このテストは、レコード数がファイル内のレコード数と等しい場合に真です。 2番目のファイルNRはfile1 + number of lineと同じであるため、これは最初のファイルにのみ適用されますFNR。

  • a[$1]:file1 の最初のフィールドの配列要素インデックスを生成します。

  • next: 次のレコードに移動し、file1 は処理されなくなりました。

  • !($1 in a)：最初のフィールド（$ 1）が配列、つまりファイル1にあることを確認し、行全体をファイル3に印刷します。

次の例のいずれかに基づいて#awk Wiki。

おすすめ記事