巨大なgzipログファイルのマイニング

巨大なgzipログファイルのマイニング

場合によっては、特定のエラーをデバッグするために巨大なログファイル(解凍後数GB)を掘り下げる必要があります。

今、vimはファイルを閲覧することができますが、ファイルで何かを見つける必要があるときはまったく役に立ちません。ログをインデックス化してファイルをすばやく検索できるツールはありますか?

コマンドラインツールを使用することをお勧めします。

編集:明確にするために、ackorなどのツールはgrep一致するコンテキストをチェックする必要があるため、適切ではなく、、は-C十分ではありません。また、まだ使用するには遅すぎます。-A-Backgrep

ベストアンサー1

コマンドラインツールよりも少し進化した非常に良いログインデクサーがあります。商業的に、スプランクそれは大きくて勝つのは難しいです。グレーダイアリー2良いオープンソースの実装です。 Elasticsearch+Logstashもかなり良いです。

収集サーバーを収集して実行するように設定するにはかなりのオーバーヘッドがありますが、システムの一部として中央ログ収集があれば素晴らしいです。複数のソースからログを照会および報告することは、多層アプリケーションの最大の利点です。

コマンドラインの場合、syslogにロギングを挿入できる場合システム 丸太実装を通じてフィールド数項目が記録される場合。これがテキスト処理に役立つかどうかはわかりませんが、メタデータにはもっと便利です。

一時的なコマンドラインツールがあるかどうかはわかりませんが、ファイルがロードされるたびに引き続き抽出/ロード/構文解析時間ペナルティが発生します。

ただし、less単一のログファイルで必要なほとんどの操作を実行します。

&pattern  grep pattern
/pattern  search forward
?pattern  search backward
shift-f   tail -f

このtailモードは、ライブログを見るのに役立つ以前のモードも考慮することができます。

おすすめ記事