重複した文字を含むすべての行を削除します。

重複した文字を含むすべての行を削除します。

このトピックの既存のスレッドを見つけようとしましたが、いくつか見つかりましたが、私が探しているものは100%ではなく、過去数日間はインターネット接続が悪いため、検索を中止して新しいスレッドを投稿する必要があります。 。 。

私の問題は、多くの行(50000行以上)を含む.txtファイルがあり、各行に次の5文字の文字列があることです。

KKIUB
SDCVG
KJUTT
NGTHH
WWLEE
XGHTP
NJFRT
PPSFF
ZZZLP
XDRFX
JJJJJ
KIEYW
...

複数の同じ文字を含むファイルのすべての行を削除したいと思います。重複した順序は重要ではないため、1行に特定の文字が2回含まれる行はすべて削除する必要があります。時には5つの同じ文字がある場合があり、時には3つの同じ文字がある場合もあり、時には2つの同じ文字がある場合もあり、「GOHIG」のように互いに近いこともありません。

KKIUB ---> delete
SDCVG ---> stays
KJUTT ---> delete
NGTHH ---> delete
WWLEE ---> delete
XGHTP ---> stays
NJFRT ---> stays
PPSFF ---> delete
ZZZLP ---> delete
XDRFX ---> delete
JJJJJ ---> delete
KIEYW ---> stays

機能を使用しようとしてもsed良い結果が得られません。また、別の.txtファイルにエクスポートしたいと思います。助けが必要ですか?

ベストアンサー1

sed -e '/\(.\).*\1/d' yourfile > youroutputfile

おすすめ記事