VPSでCentOS 7.7を実行する
質問：
特定の検索基準に一致する特定のログファイルの行を参照アーカイブのために別のデータファイルにコピー|コピー|同期する基本機能はありますか？
目的：
私はCSFファイアウォールを実行しており、ASN.1に基づく一般的なサイバー犯罪者の定期的な統計分析のためにブロックを表すログラインを保持したいと思います。
ファイアウォールは国別またはASN別のブロックを許可します。これは、スパムおよびポートスキャナを減らして不要なトラフィックを96％以上削除する非常に効果的な方法です。以前は、変換されたデータ回転可能なGoogleスプレッドシートで分析。
ログの例:
/var/log/lfd.log
Sep 21 06:14:30 server lfd[7330]: *Port Scan* detected from 120.202.192.171 (CN/China/-/-/-/[AS9808 Guangdong Mobile Communication Co.Ltd.]). 6 hits in the last 230 seconds - *Blocked in csf* for 36000 secs [PS_LIMIT]
メモ:
• 一致する行は ' で簡単に識別できます。脳脊髄液の閉鎖'そして'として。
•ログは1日にいつでも最大120個のエントリを受信できます。
•ログファイルは毎週日曜日の午前0300時以降に循環します。開始時間と終了時間は通常この期間に入力されます。
•回転ファイルはgzipに圧縮され、名前は次のように変更されます。/var/log/lfd.log-YYYYMMDD.gz•
日付は不規則な形式であるため、統計分析にログ行の約半分は必要ありません。
指示：
どのアイテムがコピーされ、どのアイテムがまだコピーされていないかを追跡する必要がないので、リアルタイムソリューションは理想的だと思います。そうしないと、解決策は、一貫性のない時間に定期的にログが循環して圧縮される問題を解決する必要があります。
理想的には、データをアーカイブファイルにコピーして最も人気のある形式（頻度）日付別の犯罪者。 CSVまたはTSV形式のみが必要です。
[DATE], [COUNTRY], [ASN], [ISP]
私はこれらの犯罪者を毎日から毎週分析したいので、選択した日付期間のコマンドラインによる簡単な統計分析を含め、これをできるだけ簡単にしたいと思います。私はLinux統計の経験がないので、アーカイブファイルから呼び出すのが簡単な基本統計パッケージの提案も探しています。これまで、PSPPはその作業に最も効果的なツールであるようです。
オプションのログ行アーカイブの作成、プロセス中の変換、または基本統計パッケージの提案に事前に感謝します。