いくつかのコマンドやスクリプトがgrepよりも速く、あるファイルから別のファイルの行を引くことができますか?

いくつかのコマンドやスクリプトがgrepよりも速く、あるファイルから別のファイルの行を引くことができますか?

定期的に実行するシェルスクリプトがあり、その次の部分が遅くなります。

grep -v -f RemoveTheseGoodIPs.txt FromTheseShadyIPs.txt > RemainingBadIPs.txt

効果がある出力を提供するのに156秒しかかかりません。私は理解しやすく、エレガントなこのタスクを実行するためのより速い方法を見つけたいと思います。

コンテキスト:「FromTheseShadyIPs.txt」は200,000個の疑わしいIPアドレスのリストであり、「RemoveTheseGoodIPs.txt」は3,000個の良好なIPで構成されるホワイトリストファイルです。最後に、外部ファイアウォールが参照できるブラックリストを作成しましたが、3,000個の良好なIPがブラックリストに表示されることは望ましくありません。役に立つ場合、両方のファイルのIP順序は重要ではなく、すでに各ファイルから重複排除されています。処理サーバーはまともな仕様のDebian 9を実行しています。

ベストアンサー1

そのオプションを追加してみてください-F。正規表現処理を行わずに入力を文字列リテラルとして解釈します。

おすすめ記事