pandas MultiIndex DataFrame の行を選択する 質問する

マルチインデックス / 高度なインデックス作成

注:
この投稿は次のように構成されます。

1. OPで提示された質問は一つずつ解決されます
2. 各質問に対して、その問題を解決し、期待される結果を得るために適用可能な 1 つ以上の方法が示されます。

追加機能、実装の詳細、および現在のトピックに関するその他の情報について知りたい読者のために、メモ (これとよく似たもの) が含まれます。これらのメモは、ドキュメントを精査してさまざまな不明瞭な機能を発見し、私自身の (確かに限られた) 経験に基づいてまとめられています。

すべてのコードサンプルは、pandas v0.23.4、python3.7で作成およびテストされています。不明瞭な点や事実誤認がある場合、またはユースケースに適用可能な解決策が見つからない場合は、お気軽に編集を提案したり、コメントで説明を要求したり、新しい質問を開始したりしてください。

ここでは、私たちが頻繁に使用する一般的な慣用句（以下、4つの慣用句と呼ぶ）を紹介します。

1. DataFrame.loc- ラベルによる選択の一般的な解決策（+pd.IndexSliceスライスを含むより複雑なアプリケーションの場合

2. DataFrame.xs- Series/DataFrame から特定の断面を抽出します。

3. DataFrame.query- スライスやフィルタリング操作を動的に指定します（つまり、動的に評価される式として指定します）。これは、他のシナリオよりも一部のシナリオに適しています。ドキュメントのこのセクションマルチインデックスのクエリ用。

4. ブールインデックスとマスク生成MultiIndex.get_level_values（多くの場合、Index.isin（特に複数の値でフィルタリングする場合）。これは、状況によっては非常に便利です。

さまざまなスライスおよびフィルタリングの問題を 4 つのイディオムの観点から見ると、特定の状況に何を適用できるかをより深く理解するのに役立ちます。すべてのイディオムがあらゆる状況で同じように機能するわけではないことを理解することが非常に重要です。以下の問題に対する潜在的な解決策としてイディオムがリストされていない場合、そのイディオムはその問題に効果的に適用できないことを意味します。

質問1

レベル「1」に「a」がある行を選択するにはどうすればよいですか?

         col
one two     
a   t      0
    u      1
    v      2
    w      3

df.loc[['a']]

TypeError: Expected tuple, got str

df.xs('a', level=0, axis=0, drop_level=False)
# df.xs('a', drop_level=False)

df.query("one == 'a'")

df[df.index.get_level_values('one') == 'a']
# If your levels are unnamed, or if you need to select by position (not label),
# df[df.index.get_level_values(0) == 'a']

df.loc['a'] # Notice the single string argument instead the list.

df.xs('a', level=0, axis=0, drop_level=True)
# df.xs('a')

df.loc[(slice(None), 't'), :]

idx = pd.IndexSlice
df.loc[idx[:, 't'], :]

df.xs('t', axis=0, level=1, drop_level=False)

df.query("two == 't'")
# Or, if the first level has no name, 
# df.query("ilevel_1 == 't'") 

df[df.index.get_level_values('two') == 't']
# Or, to perform selection by position/integer,
# df[df.index.get_level_values(1) == 't']

df.loc[['b', 'd']]

items = ['b', 'd']
df.query("one in @items")
# df.query("one == @items", parser='pandas')
# df.query("one in ['b', 'd']")
# df.query("one == ['b', 'd']", parser='pandas')

df[df.index.get_level_values("one").isin(['b', 'd'])]

df.loc[pd.IndexSlice[:, ['t', 'w']], :] 

items = ['t', 'w']
df.query("two in @items")
# df.query("two == @items", parser='pandas') 
# df.query("two in ['t', 'w']")
# df.query("two == ['t', 'w']", parser='pandas')

df[df.index.get_level_values('two').isin(['t', 'w'])]

df.loc[('c', 'u'), :]

df.loc[pd.IndexSlice[('c', 'u')]]

df.xs(('c', 'u'))

df.query("one == 'c' and two == 'u'")

m1 = (df.index.get_level_values('one') == 'c')
m2 = (df.index.get_level_values('two') == 'u')
df[m1 & m2]

df.loc[[('c', 'u'), ('a', 'w')]]
# df.loc[pd.IndexSlice[[('c', 'u'), ('a', 'w')]]]

cses = [('c', 'u'), ('a', 'w')]
levels = ['one', 'two']
# This is a useful check to make in advance.
assert all(len(levels) == len(cs) for cs in cses) 

query = '(' + ') or ('.join([
    ' and '.join([f"({l} == {repr(c)})" for l, c in zip(levels, cs)]) 
    for cs in cses
]) + ')'

print(query)
# ((one == 'c') and (two == 'u')) or ((one == 'a') and (two == 'w'))

df.query(query)

df[df.index.droplevel(unused_level).isin([('c', 'u'), ('a', 'w')])]

pd.concat([
    df.loc[['a'],:], df.loc[pd.IndexSlice[:, 't'],:]
])

         col
one two     
a   t      0
    u      1
    v      2
    w      3
    t      0   # Does this look right to you? No, it isn't!
b   t      4
    t      8
d   t     12

v = pd.concat([
        df.loc[['a'],:], df.loc[pd.IndexSlice[:, 't'],:]
])
v[~v.index.duplicated()]

df.query("one == 'a' or two == 't'")

m1 = (df.index.get_level_values('one') == 'a')
m2 = (df.index.get_level_values('two') == 't')
df[m1 | m2] 

keys = [('a', 'u'), ('a', 'v'), ('b', 'u'), ('b', 'v'), ('d', 'w')]
df.loc[keys, :]

pd.concat([
     df.loc[(('a', 'b'), ('u', 'v')), :], 
     df.loc[('d', 'w'), :]
   ], axis=0)

df2.query("two > 5")

df2[df2.index.get_level_values('two') > 5]

np.random.seed(0)
mux3 = pd.MultiIndex.from_product([
        list('ABCD'), list('efgh')
], names=['one','two'])

df3 = pd.DataFrame(np.random.choice(10, (3, len(mux))), columns=mux3)
print(df3)

one  A           B           C           D         
two  e  f  g  h  e  f  g  h  e  f  g  h  e  f  g  h
0    5  0  3  3  7  9  3  5  2  4  7  6  8  8  1  6
1    7  7  8  1  5  9  8  9  4  3  0  3  5  0  2  3
2    8  1  3  3  3  7  0  1  9  9  0  4  7  3  2  7