テキストファイルから統計を印刷する

Question

理想的には、ファイルを一度だけ処理し、メモリにできるだけ少なく保存することをお勧めします。では、awk次のことができます。

awk -v n=60 '
  {
    t = $2 substr($3, 1, 5);
    if (t == last_t) {
      if (++lines > n)
        print
      else
        if (lines == n)
          print saved $0
        else
          saved = saved $0 RS
    } else {
      saved = $0 RS
      lines = 1
      last_t = t
    }
  }' < your-file

このアプローチのいくつかの利点は次のとおりです。

これはストリーム処理指向です。入力は到着するとすぐに処理され、出力はできるだけ早く放出されます（ライン60が表示されている場合）。これにより、リアルタイム出力を後処理できます（と同様tail -fn +1 log_file）。
コマンド（）を一度だけ実行するので、awkできるだけ効率的です。反対の極端はループ内で複数のコマンドを実行する。シェルスクリプトで最も高価な作業は、通常、コマンドを分岐して実行することです。最適化とは、このような状況をできるだけ最小化することを意味します。
最大60行だけがメモリに格納されるため、メモリ使用量が制限されます（行自体のサイズが制限されていると仮定）。
awkコードは非常に明確で説明が必要です。サイズが重要な場合は、サイズを小さくして次のように1行に入れることもできます。
```
awk '{t=$2substr($3,1,5);if(t==l){if(++i>n)print;else if(i==n)print s$0;else s=s$0RS}else{s=$0RS;i=1;l=t}}' n=60 file
```

Answer 1

理想的には、ファイルを一度だけ処理し、メモリにできるだけ少なく保存することをお勧めします。では、awk次のことができます。

awk -v n=60 '
  {
    t = $2 substr($3, 1, 5);
    if (t == last_t) {
      if (++lines > n)
        print
      else
        if (lines == n)
          print saved $0
        else
          saved = saved $0 RS
    } else {
      saved = $0 RS
      lines = 1
      last_t = t
    }
  }' < your-file

このアプローチのいくつかの利点は次のとおりです。

これはストリーム処理指向です。入力は到着するとすぐに処理され、出力はできるだけ早く放出されます（ライン60が表示されている場合）。これにより、リアルタイム出力を後処理できます（と同様tail -fn +1 log_file）。
コマンド（）を一度だけ実行するので、awkできるだけ効率的です。反対の極端はループ内で複数のコマンドを実行する。シェルスクリプトで最も高価な作業は、通常、コマンドを分岐して実行することです。最適化とは、このような状況をできるだけ最小化することを意味します。
最大60行だけがメモリに格納されるため、メモリ使用量が制限されます（行自体のサイズが制限されていると仮定）。
awkコードは非常に明確で説明が必要です。サイズが重要な場合は、サイズを小さくして次のように1行に入れることもできます。
```
awk '{t=$2substr($3,1,5);if(t==l){if(++i>n)print;else if(i==n)print s$0;else s=s$0RS}else{s=$0RS;i=1;l=t}}' n=60 file
```

テキストファイルから統計を印刷する

ベストアンサー1

おすすめ記事