Elasticsearch のシャードとレプリカ質問する

Question

あなたが得た回答や返信は役に立たないようなので、実際の例を使って説明してみます。

elasticsearch をダウンロードして起動すると、elasticsearch ノードが作成され、利用可能な場合は既存のクラスターに参加しようとしたり、新しいクラスターを作成したりします。起動したばかりの単一のノードで独自の新しいクラスターを作成したとします。データがないため、インデックスを作成する必要があります。

インデックスを作成するとき (最初のドキュメントをインデックスすると、インデックスも自動的に作成されます)、インデックスを構成するシャードの数を定義できます。数を指定しない場合は、デフォルトのシャード数 (プライマリ 5 個) になります。これはどういう意味ですか?

これは、elasticsearch がデータを格納する 5 つのプライマリシャードを作成することを意味します。

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

ドキュメントをインデックスするたびに、elasticsearch はどのプライマリシャードがそのドキュメントを保持するかを判断し、そこにインデックスを作成します。プライマリシャードはデータのコピーではなく、データそのものです。複数のシャードがあると、単一のマシンでの並列処理の利点を活かすのに役立ちますが、重要なのは、同じクラスターで別の elasticsearch インスタンスを開始すると、シャードがクラスター全体に均等に分散されることです。

ノード 1 には、たとえば 3 つのシャードのみが保持されます。

 ____    ____    ____ 
| 1  |  | 2  |  | 3  |
|____|  |____|  |____|

残りの 2 つのシャードは新しく起動したノードに移動されたため、次のようになります。

 ____    ____
| 4  |  | 5  |
|____|  |____|

なぜこのようなことが起こるのでしょうか? elasticsearch は分散検索エンジンであり、複数のノード/マシンを利用して大量のデータを管理できるためです。

すべての elasticsearch インデックスは、データが保存される場所であるため、少なくとも 1 つのプライマリシャードで構成されます。ただし、すべてのシャードにはコストがかかるため、ノードが 1 つしかなく、予測される成長がない場合は、単一のプライマリシャードを使用してください。

シャードのもう 1 つのタイプはレプリカです。デフォルトは 1 で、すべてのプライマリシャードが同じデータを含む別のシャードにコピーされることを意味します。レプリカは、検索パフォーマンスの向上とフェイルオーバーに使用されます。レプリカシャードは、関連するプライマリと同じノードに割り当てられることはありません (元のデータと同じディスクにバックアップを置くのとほぼ同じです)。

例に戻ると、レプリカが 1 つある場合、各ノードにインデックス全体が存在することになります。これは、最初のノードに 2 つのレプリカシャードが割り当てられ、それらには 2 番目のノードのプライマリシャードとまったく同じデータが含まれるためです。

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4R |  | 5R |
|____|  |____|  |____|  |____|  |____|

2 番目のノードも同様で、最初のノードのプライマリシャードのコピーが含まれます。

 ____    ____    ____    ____    ____
| 1R |  | 2R |  | 3R |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

このような設定では、ノードがダウンしてもインデックス全体が保持されます。レプリカシャードは自動的にプライマリになり、次のようにノード障害が発生してもクラスターは正常に動作します。

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

があるため"number_of_replicas":1、レプリカはプライマリと同じノードに割り当てられることはないため、これ以上割り当てることはできません。そのため、割り当てられていないシャードが 5 つ、レプリカが 1 つ存在し、クラスターのステータスはYELLOWではなくになりますGREEN。データ損失はありませんが、割り当てられないシャードもあるため、状況は改善される可能性があります。

離脱したノードがバックアップされるとすぐに、そのノードは再びクラスターに参加し、レプリカが再度割り当てられます。2 番目のノードの既存のシャードはロードできますが、書き込み操作はノードがダウンしている間に行われた可能性が高いため、他のシャードと同期する必要があります。この操作が終了すると、クラスターのステータスはになりますGREEN。

これで物事が明確になれば幸いです。

Answer 1