ミリ秒単位で最新のタイムスタンプと一致

Question

メモ:最初にこの記事を投稿したとき、その時間より5分前の時間がそれ以降の時間と一致しないようにするバグがコードにありました。当時はバグを修正する時間がなくて文を削除しましたが、今はバグを修正しなければならず、答えを削除解除しました。しかし、予想出力を1行だけ提供したためこのコードをテストしてみてください。より広範なサンプル入力セットを対象としています。

CPUの時間が心配されないと言われましたが、最初に各行を他の行と比較して強制する試みは、1800行のファイルで実行するのに30秒かかったため、ハッシュで最適化しました。%minsコアは時間は分単位で正確なので、各タイムスタンプで+4分、+5分、+6分だけ考慮されます。このバージョンでは、約4000行の入力ファイルを実行するのに約4秒かかります。

use warnings;
use strict;
use DateTime;
use DateTime::Format::Strptime;

my $strp = DateTime::Format::Strptime->new( on_error=>'croak',
    pattern => '%Y-%m-%d %H:%M:%S.%3N' );
my (@recs, %mins);
while (<>) {
    m{\A\s* ([-\d]+) \s+ ([\d:.]+) \s+farads\s+ ((?:\d+\.)?\d+) \s*\z}ixms
        or die "failed to parse line: $_";
    my $dt  = $strp->parse_datetime("$1 $2");
    my $min = int($dt->epoch/60);
    my $rec = { min=>$min, farads=>$3, dt=>$dt, seek=>$dt->clone->add(minutes=>5) };
    push @{ $mins{ $min } }, $rec;
    push @recs, $rec;
}

for my $cur (@recs) {
    my @candidates = (
        @{ $mins{$cur->{min}+4} // [] },
        @{ $mins{$cur->{min}+5} // [] },
        @{ $mins{$cur->{min}+6} // [] }  );
    my ($min_diff_ms,$min_other);
    for my $other (@candidates) {
        my $diff_ms = abs($cur->{seek}->subtract_datetime_absolute($other->{dt})
            ->in_units('nanoseconds'))/1e6;
        if (!defined $min_diff_ms || $diff_ms<$min_diff_ms) {
            $min_diff_ms = $diff_ms;
            $min_other = $other;
        }
    }
    print $cur->{dt}->strftime('%Y-%m-%d %H:%M:%S.%3N')," farads ",
        $cur->{farads}, defined($min_other) ? ( " ",
            $min_other->{dt}->strftime('%Y-%m-%d %H:%M:%S.%3N')," ",
            $min_other->{farads} ) : '', "\n";
}

オリジナルサンプル入力：

 2018-02-16      16:45:29.557    farads  0.0004300000
 2018-02-16      16:45:29.557    farads  0.0004300000
 2018-02-16      16:45:29.558    farads  0.0004300000
 2018-02-16      16:46:09.300    farads  0.0004300000
 2018-02-16      16:47:10.987    farads  0.0002800000
 2018-02-16      16:47:51.611    farads  0.0006500000
 2018-02-16      16:47:51.612    farads  0.0006500000
 2018-02-16      16:48:34.077    farads  0.0006600000
 2018-02-16      16:49:17.015    farads  0.0003300000
 2018-02-16      16:49:59.075    farads  0.0000700000
 2018-02-16      16:50:40.486    farads  0.0002400000
 2018-02-16      16:51:22.525    farads  0.0005900000
 2018-02-16      16:52:01.997    farads  0.0003900000

この入力の出力は次のとおりです。

2018-02-16 16:45:29.557 farads 0.0004300000 2018-02-16 16:50:40.486 0.0002400000
2018-02-16 16:45:29.557 farads 0.0004300000 2018-02-16 16:50:40.486 0.0002400000
2018-02-16 16:45:29.558 farads 0.0004300000 2018-02-16 16:50:40.486 0.0002400000
2018-02-16 16:46:09.300 farads 0.0004300000 2018-02-16 16:51:22.525 0.0005900000
2018-02-16 16:47:10.987 farads 0.0002800000 2018-02-16 16:52:01.997 0.0003900000
2018-02-16 16:47:51.611 farads 0.0006500000 2018-02-16 16:52:01.997 0.0003900000
2018-02-16 16:47:51.612 farads 0.0006500000 2018-02-16 16:52:01.997 0.0003900000
2018-02-16 16:48:34.077 farads 0.0006600000 2018-02-16 16:52:01.997 0.0003900000
2018-02-16 16:49:17.015 farads 0.0003300000
2018-02-16 16:49:59.075 farads 0.0000700000
2018-02-16 16:50:40.486 farads 0.0002400000
2018-02-16 16:51:22.525 farads 0.0005900000
2018-02-16 16:52:01.997 farads 0.0003900000

以下は、ミリ秒を無視してコアモジュールを使用するより高速ですが、より正確ではないバージョンです。Time::Piece 少し重いよりもDateTime （しかし私はまだ後者を強くお勧めします）。上記と比較すると、実行に1秒もかかりません。精度の違いを見ることができますが、±1分も許容されると言われました。

use warnings;
use strict;
use Time::Piece;

my (@recs, %mins);
while (<>) {
    m{\A\s* ([-\d]+) \s+ ([\d:]+)(\.\d+) \s+farads\s+ ((?:\d+\.)?\d+) \s*\z}ixms
        or die "failed to parse line: $_";
    my $dt  = Time::Piece->strptime("$1 $2", '%Y-%m-%d %H:%M:%S');
    my $min = int($dt->epoch/60);
    my $rec = { min=>$min, farads=>$4, timestr=>"$1 $2$3", epoch=>$dt->epoch };
    push @{ $mins{ $min } }, $rec;
    push @recs, $rec;
}

for my $cur (@recs) {
    my @candidates = (
        @{ $mins{$cur->{min}+4} // [] },
        @{ $mins{$cur->{min}+5} // [] },
        @{ $mins{$cur->{min}+6} // [] }  );
    my ($min_diff_s,$min_other);
    for my $other (@candidates) {
        my $diff_s = abs( $other->{epoch} - $cur->{epoch} );
        if (!defined $min_diff_s || $diff_s<$min_diff_s) {
            $min_diff_s = $diff_s;
            $min_other = $other;
        }
    }
    print $cur->{timestr}," farads ",$cur->{farads},
        defined($min_other)
            ? ( " ", $min_other->{timestr}," ",$min_other->{farads} )
            : '', "\n";
}

出力：

2018-02-16 16:45:29.557 farads 0.0004300000 2018-02-16 16:49:17.015 0.0003300000
2018-02-16 16:45:29.557 farads 0.0004300000 2018-02-16 16:49:17.015 0.0003300000
2018-02-16 16:45:29.558 farads 0.0004300000 2018-02-16 16:49:17.015 0.0003300000
2018-02-16 16:46:09.300 farads 0.0004300000 2018-02-16 16:50:40.486 0.0002400000
2018-02-16 16:47:10.987 farads 0.0002800000 2018-02-16 16:51:22.525 0.0005900000
2018-02-16 16:47:51.611 farads 0.0006500000 2018-02-16 16:51:22.525 0.0005900000
2018-02-16 16:47:51.612 farads 0.0006500000 2018-02-16 16:51:22.525 0.0005900000
2018-02-16 16:48:34.077 farads 0.0006600000 2018-02-16 16:52:01.997 0.0003900000
2018-02-16 16:49:17.015 farads 0.0003300000
2018-02-16 16:49:59.075 farads 0.0000700000
2018-02-16 16:50:40.486 farads 0.0002400000
2018-02-16 16:51:22.525 farads 0.0005900000
2018-02-16 16:52:01.997 farads 0.0003900000

（私は通常コードなしで問題に対する完全な解決策を提供しませんが、これは私にとって興味深い問題でした。）

Answer 1