Hive Metastoreヒープサイズの値を設定する方法

Hive Metastoreヒープサイズの値を設定する方法

Hive Metastoreが2台のシステムにインストールされると、hadoopクラスター(ambariプラットフォームベース)があります。

ジョブの実行中にヒープサイズが原因でジョブが失敗することがあります。 (メタストアヒープサイズ)

私たちの場合、これはメタストアヒープの問題によるものです。

Metastore ログには次の情報が表示されます。

2021-12-13 01:39:23,145 INFO  [org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@1595ec02]: common.JvmPauseMonitor (JvmPauseMonitor.java:run(193)) - Detected pause in JVM or host machine (eg GC): pause of approximately 3263ms
No GCs detected

だから私たちはメタストアのヒープサイズを2Gから4Gに増やしました。

しかし、問題はMetaStoreヒープの正しいサイズを知る方法とそれに基づいています。

たとえば、これをネームノードのHDFSヒープサイズと比較すると、

ネームノードヒープサイズは、ネームノードが管理するファイルの数に基づいている必要があると言えます。

しかし、Metastoreヒープサイズと同じ概念は何ですか?

Metastoreヒープサイズを計算する方法は?

引用する -https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hive_tuning.html

https://docs.informatica.com/data-engineering/data-engineering-integration/10-1/_user-guide_big-data-management_10-1_ditamap/connections/hive_connection_properties.html

https://stackoverflow.com/questions/56363736/hive-too-many-connection-to-postgresql-db

https://docs.microsoft.com/en-us/azure/databricks/kb/metastore/hive-metastore-troubleshooting

https://www.linkedin.com/pulse/hive-metastore-hcatalog-hcat-haotian-zhang/

ベストアンサー1

おすすめ記事