複数のテキストファイルを効率的にマージして重複を削除する方法は?

複数のテキストファイルを効率的にマージして重複を削除する方法は?

いくつかの方法を試しましたが、ほとんどがハングしたり、重複したアイテムを正しく削除できませんでした。出力ファイルがソートされたかどうかは問題ではありません。

file1.txtに次のものが含まれている場合

a
b
c
d
e
c
d

file2.txtに次のものが含まれている場合

c
d
e
a
f
g
g
h

Output.txt には以下を含める必要があります。

a
b
c
d
e
f
g
h

ベストアンサー1

重複項目を削除しながら入力を並べ替えるにはsort -u file[12].txt >output.txt

ファイルがUnixタイプの改行形式(LF \n)でない場合は、Dos / Windows改行形式(CRLF \r\n)ではないことを確認してください。変化彼らは渡すか、tr -d $'\r' <filename命令dos2unix filenameします。

おすすめ記事