☰

部分的に重複した行の検索と削除

tag-icon • tag-icon text-processing awk sed uniq
部分的に重複した行の検索と削除 
https://www.domain.com/files/G5SPNDOF/AAA-1080p.mp4.html
https://www.domain2.com/dl/G5SPNDOF/JHCGTS/AAA-1080p.mp4.html
https://www.domain.com/files/ZQWL80BG/AAA-1080p.mp4.html
https://www.domain.com/files/SVSRS0AD/BBB-1080p.mp4.html
https://www.domain.com/files/UCIONEMA/BBB-1080p.mp4.html

上記の行を含むファイルがある場合は重複ファイルがありますが、リンク全体が他のファイルを削除するにはどうすればよいですか？

https://www.domain.com/files/G5SPNDOF/AAA-1080p.mp4.html
https://www.domain.com/files/SVSRS0AD/BBB-1080p.mp4.html

ベストアンサー1

awkを使う：

awk -F'/' '!seen[$NF]++' file

ソートを使用してこれを実行することもできます。ファイルには変更されたフィールドがたくさん含まれているため、まず反転する必要があります。

rev file | sort -u -t/ -k1,1 | rev

おすすめ記事