今日は災害を受けています。
7台のハードドライブを持つRAID 6があり、昨日のディスクの1つにエラーが発生しました。ディスクを交換して一晩再構築した後
、2台目のHDDがRAIDから外れたことがわかりました。sdgが「閉じている」ことがわかります。
サーバーをシャットダウンしてハードウェアを確認したところ、ハードドライブのバックプレーンが欠落していることがわかりました。
修復後、すべてのドライブが復元されますが、RAID 6は起動しなくなりました。 :-/
dmesg shows me:
md: kicking non-fresh sdg from array!
md: kicking non-fresh sdf from array!
md: kicking non-fresh sde from array!
md/raid:md0: not enough operational devices (3/7 failed)
...
and after many
md0: ADD_NEW_DISK not supported
I can read this:
EXT4-fs (md0): unable to read superblock
sudo mdadm --examinesdg、sdf、およびsde、e、およびfが「」と表示されていることを確認しましたが、State clean修理前に「閉じた」sdgに「Active」が表示されます。したがって、7つのデバイスのうち6つが「クリーン」（sdgを除く）として表示されます。
すべてのデバイスの出力リストは次のとおりです。
Disk sdb
/dev/sdb:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
Name : N5550:0 (local to host N5550)
Creation Time : Fri Oct 29 14:43:58 2021
Raid Level : raid6
Raid Devices : 7
Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
Data Offset : 259072 sectors
Super Offset : 8 sectors
Unused Space : before=258992 sectors, after=7344 sectors
State : clean
Device UUID : 9180f101:1dacdd9e:4adae9c4:fbeb2552
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Mar 26 18:13:45 2022
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : 38019182 - correct
Events : 256508
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 0
Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdc
/dev/sdc:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
Name : N5550:0 (local to host N5550)
Creation Time : Fri Oct 29 14:43:58 2021
Raid Level : raid6
Raid Devices : 7
Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
Data Offset : 259072 sectors
Super Offset : 8 sectors
Unused Space : before=258992 sectors, after=7344 sectors
State : clean
Device UUID : 889c6877:5ee5c647:eebd209c:d9c6abcb
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Mar 26 18:13:45 2022
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : a71ea53d - correct
Events : 256508
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 1
Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdd
/dev/sdd:
MBR Magic : aa55
Partition[0] : 3907026944 sectors at 2048 (type fd)
Disk sde
/dev/sde:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
Name : N5550:0 (local to host N5550)
Creation Time : Fri Oct 29 14:43:58 2021
Raid Level : raid6
Raid Devices : 7
Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
Data Offset : 259072 sectors
Super Offset : 8 sectors
Unused Space : before=258992 sectors, after=7344 sectors
State : clean
Device UUID : 34198042:3d4c802b:36727b02:fdf65808
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Mar 26 18:05:00 2022
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : f8fb6b18 - correct
Events : 256494
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 3
Array State : AAAAA.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdf
/dev/sdf:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
Name : N5550:0 (local to host N5550)
Creation Time : Fri Oct 29 14:43:58 2021
Raid Level : raid6
Raid Devices : 7
Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
Data Offset : 259072 sectors
Super Offset : 8 sectors
Unused Space : before=258992 sectors, after=7344 sectors
State : clean
Device UUID : b2e8d640:1f21336f:88d823fe:66ef7be7
Internal Bitmap : 8 sectors from superblock
Update Time : Wed Mar 23 14:46:56 2022
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : 15cd05bb - correct
Events : 238681
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 4
Array State : AAAAAA. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdg
/dev/sdg:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
Name : N5550:0 (local to host N5550)
Creation Time : Fri Oct 29 14:43:58 2021
Raid Level : raid6
Raid Devices : 7
Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
Data Offset : 259072 sectors
Super Offset : 8 sectors
Unused Space : before=258992 sectors, after=7344 sectors
State : active
Device UUID : 2bc06e22:49aa73e2:3cf7eb79:55df1180
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Mar 26 17:57:06 2022
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : 7f0ddb2a - correct
Events : 256372
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 5
Array State : AAAAAA. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdh
/dev/sdh:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
Name : N5550:0 (local to host N5550)
Creation Time : Fri Oct 29 14:43:58 2021
Raid Level : raid6
Raid Devices : 7
Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
Data Offset : 259072 sectors
Super Offset : 8 sectors
Unused Space : before=258992 sectors, after=7344 sectors
State : clean
Device UUID : 7af89a18:52ef08ae:dec5ad7b:75626355
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Mar 26 18:13:45 2022
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : 17d7b107 - correct
Events : 256508
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 4
Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)
次のコマンドでRAIDを起動しようとしました。
mdadm --run /dev/md0
そして得る:
mdadm: failed to start array /dev/md0: Input/output error
しかし、このWebminで始めたとき、次のような結果が出ました。
/dev/md0 active, FAILED, Not Started RAID6 (Dual Distributed Parity) 7.27 TiB
9TBは7.27です。
データを失うことなくRAIDを再び動作させる方法についてのアイデアはありますか？
デバイスをRAIDに追加できることを読んでいましたが、わからないので、最初に尋ねたいと思います。
どんな助けでも大変感謝します！
修正する：デバイスの1つが/dev/sdd1で、/sddではないことを忘れました！
ここで確認してください：
/dev/sdd1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
Name : N5550:0 (local to host N5550)
Creation Time : Fri Oct 29 14:43:58 2021
Raid Level : raid6
Raid Devices : 7
Avail Dev Size : 3906767872 (1862.89 GiB 2000.27 GB)
Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
Data Offset : 259072 sectors
Super Offset : 8 sectors
Unused Space : before=258992 sectors, after=5120 sectors
State : clean
Device UUID : d8df004e:44ee4060:ba4d2c22:e7e6bdcb
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Mar 26 18:13:45 2022
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : 1c4e98a4 - correct
Events : 256508
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 2
Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)
ここにいるmdadm -D /dev/md0：
/dev/md0:
Version : 1.2
Raid Level : raid0
Total Devices : 7
Persistence : Superblock is persistent
State : inactive
Working Devices : 7
Name : N5550:0 (local to host N5550)
UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
Events : 256494
Number Major Minor RaidDevice
- 8 64 - /dev/sde
- 8 32 - /dev/sdc
- 8 112 - /dev/sdh
- 8 80 - /dev/sdf
- 8 16 - /dev/sdb
- 8 49 - /dev/sdd1
- 8 96 - /dev/sdg
ベストアンサー1
多くのドライブがアレイから取り外されていると思いますか？これらのドライブに読み取りエラー（smartctl -a再割り当て/停止/修正できないセクタの確認など）がある場合は、ddrescue他の種類のデータ回復を試みる前にそのドライブを新しいドライブに転送する必要があります。
これは7台のドライブRAID-6なので、このアレイを実行するには少なくとも5台のドライブが必要です。現在は3つ（sdb、sdc、sdh）しかありません...
各ドライブを確認すると、1つのドライブが完全に欠落しており（出力にはまったく含まれていません）、1つは非常に古い（sdf）、2つは少し古い（sdg、sde）、3つのドライブだけが最新であることを知っていますすることができますUpdate Time。Events
/dev/sdf: Update Time : Wed Mar 23 14:46:56 2022 Events: 238681
/dev/sdg: Update Time : Sat Mar 26 17:57:06 2022 Events: 256372
/dev/sde: Update Time : Sat Mar 26 18:05:00 2022 Events: 256494
/dev/sdb: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508
/dev/sdc: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508
/dev/sdh: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508
この場合、機会をつかんでmdadm --assemble --force（「新しくない」イベントカウンタを無視して）、非常に古くて不足しているドライブを無視して、最良の5つのドライブしか使用できません。そうでなければmdadm - 作成missing2つのドライブを取り付けるオプションもあります。
したがって、この組み立ての試みではsdfの使用を避ける必要があります。ドライブが古くなるにつれて、ファイルシステムの不整合やデータ破損が発生する可能性が高くなります。これは、他のドライブにデータがまったくない一部のセクタがある場合（読み取りエラー）、最後の手段です。
可能であれば、mdadm実験を実行してください。記録中にコピーを上書きする。
頑張ってください。