他の文字列を検索するために必要な66GBの約100の巨大な「log.txt」（log1.txt、log2.txt、log3.txtなど）ファイルがあります。
テキストファイルには42.000個の文字列があります。
今はgrep（grep -F -f strings.txt log.txt）を使用していますが、log.txtを検索するのに約50分かかります。
すべてのファイルを検索するより高速な方法をご存知ですか？ 100個のファイルをすべて検索した後、検索用に新しい100個のファイルセットが作成されます。
ベストアンサー1
商品の宣伝で非難される危険がありますが、問題が構造的（日常的な時間消費など）の場合、提案したいと思います。Elastic Search。
どうすればわかりませんが、毎日80 GBのファイルをインポートすると、Elasticは答えを返します。ミリ秒。
免責事項：私はこの会社とは何の関係もなく、いかなる方法でも利益を得ることはできません。彼らは彼らの製品を使用して幸せなユーザーです。