☰

Spark: DataFrame.saveAsTable または DataFrameWriter.options で渡すことができるオプションは何ですか? 質問する

tag-icon • tag-icon scala hadoop apache-spark hive parquet
Spark: DataFrame.saveAsTable または DataFrameWriter.options で渡すことができるオプションは何ですか? 質問する

開発者ドキュメントにも API ドキュメントにも、どのようなオプションを渡すことができるDataFrame.saveAsTableか、DataFrameWriter.optionsまたそれが Hive テーブルの保存に影響を与えるかについての参照は含まれていません。

この質問への回答で、Spark がテーブルを保存する方法をより細かく制御したい Spark 開発者に役立つ情報を集約し、Spark のドキュメントを改善するための基礎を提供できればと思っています。

ベストアンサー1

どこにも文書化されていない理由はoptions、これらが形式固有であり、開発者が新しいセットを使用してカスタム書き込み形式を作成し続けることができるためですoptions。

ただし、サポートされているいくつかの形式については、Spark コード自体に記載されているオプションをリストしました。

おすすめ記事