私は、mvv と count の 2 つの列を持つデータフレームで作業しています。
+---+-----+
|mvv|count|
+---+-----+
| 1 | 5 |
| 2 | 9 |
| 3 | 3 |
| 4 | 1 |
MVV値とカウント値を含む2つのリストを取得したいです。
mvv = [1,2,3,4]
count = [5,9,3,1]
そこで、次のコードを試しました。最初の行は行の Python リストを返す必要があります。最初の値を確認したいのです。
mvv_list = mvv_count_df.select('mvv').collect()
firstvalue = mvv_list[0].getInt(0)
しかし、2 行目にエラー メッセージが表示されます。
属性エラー: getInt
ベストアンサー1
なぜこのやり方がうまくいかないのか、考えてみましょう。まず、整数を取得しようとしているのですが、行入力すると、collect の出力は次のようになります。
>>> mvv_list = mvv_count_df.select('mvv').collect()
>>> mvv_list[0]
Out: Row(mvv=1)
次のようなものを例に挙げてみましょう。
>>> firstvalue = mvv_list[0].mvv
Out: 1
値を取得しますmvv。配列のすべての情報が必要な場合は、次のようにします。
>>> mvv_array = [int(row.mvv) for row in mvv_list.collect()]
>>> mvv_array
Out: [1,2,3,4]
しかし、他の列に対して同じことを試すと、次のようになります。
>>> mvv_count = [int(row.count) for row in mvv_list.collect()]
Out: TypeError: int() argument must be a string or a number, not 'builtin_function_or_method'
これは、countが組み込みメソッドであるために発生します。また、列の名前は と同じですcount。これを回避するには、 の列名をcountに変更します_count。
>>> mvv_list = mvv_list.selectExpr("mvv as mvv", "count as _count")
>>> mvv_count = [int(row._count) for row in mvv_list.collect()]
ただし、辞書構文を使用して列にアクセスできるため、この回避策は必要ありません。
>>> mvv_array = [int(row['mvv']) for row in mvv_list.collect()]
>>> mvv_count = [int(row['count']) for row in mvv_list.collect()]
そしてついにそれが機能するのです！