MongoDBは50,000,000以上のドキュメントを含む大規模なコレクションで書き込みパフォーマンスが悪い。質問する

私は製品データを保存するMongoDBを持っています204.639.403アイテムについては、そのデータがすでにアイテムの国別にまとめられています。4つの論理同じ物理マシン上の同じ MongoDB プロセスで実行されているデータベース。

論理データベースごとのドキュメント数のリストは次のとおりです。

• クック:56.719.977
• 出:61.216.165
• フランス語:52.280.460
• それ：34.422.801

私の問題は、データベースの書き込みパフォーマンスが悪化していることです。特に、4つのデータベースのうち最大のもの（De）への書き込みが、iotopmongodプロセスの使用状況によると、非常に悪くなっています。99%IO時間の3MB未満の書き込みと1.5MB/秒未満の読み取り。これにより、データベースのロックが長くなり、100%以上ロックは、他の国のデータベースへの書き込みと読み取りのすべてのプロセスが停止している場合でも、正常に実行されますmongostat。現在のスレーブは最大 6 の負荷に達し、レプリカ セット マスターは同時に 2 ～ 3 の負荷がかかるため、レプリケーション ラグも発生します。

各データベースは同じデータとインデックス構造を持ちますが、ここでは例として最大のデータベース (De) のみを使用しています。

これは、例としてデータベースから取得されたランダムな項目です。構造は、1 回の読み取りですべての重要なデータを収集するように最適化されています。

{
    "_id" : ObjectId("533b675dba0e381ecf4daa86"),
    "ProductId" : "XGW1-E002F-DW",
    "Title" : "Sample item",
    "OfferNew" : {
        "Count" : 7,
        "LowestPrice" : 2631,
        "OfferCondition" : "NEW"
    },
    "Country" : "de",
    "ImageUrl" : "http://….jpg",
    "OfferHistoryNew" : [ 
        … 
        {
            "Date" : ISODate("2014-06-01T23:22:10.940+02:00"),
            "Value" : {
                "Count" : 10,
                "LowestPrice" : 2171,
                "OfferCondition" : "NEW"
            }
        }
    ],
    "Processed" : ISODate("2014-06-09T23:22:10.940+02:00"),
    "Eans" : [ 
        "9781241461959"
    ],
    "OfferUsed" : {
        "Count" : 1,
        "LowestPrice" : 5660,
        "OfferCondition" : "USED"
    },
    "Categories" : [ 
        NumberLong(186606), 
        NumberLong(541686), 
        NumberLong(288100), 
        NumberLong(143), 
        NumberLong(15777241)
    ]
}

{
    "ns" : "De.Item",
    "count" : 61216165,
    "size" : 43915150656,
    "avgObjSize" : 717,
    "storageSize" : 45795192544,
    "numExtents" : 42,
    "nindexes" : 6,
    "lastExtentSize" : 2146426864,
    "paddingFactor" : 1,
    "systemFlags" : 0,
    "userFlags" : 1,
    "totalIndexSize" : 41356824320,
    "indexSizes" : {
        "_id_" : 2544027808,
        "RankA_1" : 1718096464,
        "Categories_1_RankA_1_RankB_-1" : 16383534832,
        "Eans_1" : 2846073776,
        "Categories_1_RankA_-1" : 15115290064,
        "ProductId_1" : 2749801376
    },
    "ok" : 1
}