重複したインデックス値を持つ行を削除するにはどうすればよいでしょうか?
以下の天気データフレームでは、科学者が戻って観測を修正することがあります。誤った行を編集するのではなく、ファイルの末尾に重複した行を追加します。
Web から自動気象データを読み取っています (観測は 5 分ごとに行われ、各気象観測所の月次ファイルにまとめられます)。ファイルを解析した後、DataFrame は次のようになります。
Sta Precip1hr Precip5min Temp DewPnt WindSpd WindDir AtmPress
Date
2001-01-01 00:00:00 KPDX 0 0 4 3 0 0 30.31
2001-01-01 00:05:00 KPDX 0 0 4 3 0 0 30.30
2001-01-01 00:10:00 KPDX 0 0 4 3 4 80 30.30
2001-01-01 00:15:00 KPDX 0 0 3 2 5 90 30.30
2001-01-01 00:20:00 KPDX 0 0 3 2 10 110 30.28
重複ケースの例:
import pandas as pd
import datetime
startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pd.date_range(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pd.DataFrame(data=data1, index=index)
df2 = pd.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)
df3
A B
2001-01-01 00:00:00 20 -50
2001-01-01 01:00:00 -30 60
2001-01-01 02:00:00 40 -70
2001-01-01 03:00:00 3 3
2001-01-01 04:00:00 4 4
2001-01-01 05:00:00 5 5
2001-01-01 00:00:00 0 0
2001-01-01 01:00:00 1 1
2001-01-01 02:00:00 2 2
そして私はdf3
最終的にこうなる必要がある:
A B
2001-01-01 00:00:00 0 0
2001-01-01 01:00:00 1 1
2001-01-01 02:00:00 2 2
2001-01-01 03:00:00 3 3
2001-01-01 04:00:00 4 4
2001-01-01 05:00:00 5 5
行番号の列 ( df3['rownum'] = range(df3.shape[0])
) を追加すると、 の任意の値に対して最下行を選択できるようになると思いましたが、それを機能させるためのor (または ???) ステートメントDatetimeIndex
を理解するのに行き詰まっています。group_by
pivot
ベストアンサー1
私は、重複したPandas インデックス自体のメソッド:
df3 = df3[~df3.index.duplicated(keep='first')]
他の方法はすべて機能しますが、.drop_duplicates
提供された例では、最もパフォーマンスが低いです。さらに、groupby メソッドパフォーマンスはわずかに劣りますが、複製されたメソッドの方が読みやすいと思います。
提供されたサンプルデータの使用:
>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop
>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop
>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop
keep 引数を に変更すると、最後の要素を保持できることに注意してください'last'
。
MultiIndex
また、この方法は(パウロの例):
>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop
>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop