ディスクI / Oタイムアウトがディスクの切断とSMRディスクのデータ破損を防ぐ方法は?

ディスクI / Oタイムアウトがディスクの切断とSMRディスクのデータ破損を防ぐ方法は?

私はSeagateディスク(ST5000LM000 - SMRであることに留意)を持っていますが、書き込み作業量が多い場合I/O利用度は100%になり、スループットは基本的に0になります。ドライバを使用してディスクをmpt3sasSASコントローラに接続します(ディスクはscsiデバイスとして表示されます)。スケジューラを変更してnoop、ncqを1に設定し、デバイスタイムアウトを1時間に増やしました。まったく異なるディスクコントローラ(ドライバを使用megaraid)を試してみましたが、何も変わりませんでした。各ドライブにはXFSパーティションがあります。

役に立つ唯一の方法は、ファイルを作成するスクリプトの並行性を減らすことで、ディスクI / Oが雪玉効果によって問題が発生するほど遅れないようにすることです。

同時ディスク操作を防ぐ必要があると思いますecho 1 > /sys/block/sdl/device/queue_depthが、通常約150の作業が進行中であるようですcat /sys/block/sdl/stat

これは大きな問題です。この問題が発生し始めたときにロードスクリプトを終了しないと、最終的にI / O操作がタイムアウトするためです。ディスクが切断されたこれにより、プロセスがひどい状態に陥り、Dデータが破損することがよくあります。

これらの悪い状態に陥ることを防ぐために変更できるカーネル設定はありますか? 十分に早くシャットダウンすると、I / O操作がタイムアウトし、ディスクが切断される前に常にキャプチャされる可能性があるため、何かをする必要があるようです。

kern.log実際にディスクが切断された時点から

[401217.833235] sd 0:0:6:0: device_block, handle(0x0010)
[401218.583675] mpt3sas_cm0: log_info(0x31110e03): originator(PL), code(0x11), sub_code(0x0e03)
[401218.833518] sd 0:0:6:0: device_unblock and setting to running, handle(0x0010)
[401222.584105] sd 0:0:6:0: device_block, handle(0x0010)
[401230.581727] sd 0:0:6:0: device_unblock and setting to running, handle(0x0010)
[401230.586627] scsi_io_completion: 6 callbacks suppressed
[401230.586641] sd 0:0:6:0: [sdg] tag#0 FAILED Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
[401230.586656] sd 0:0:6:0: [sdg] tag#0 CDB: Read(16) 88 00 00 00 00 01 3b e5 74 18 00 00 02 00 00 00
[401230.586661] XFS (sdg): metadata I/O error: block 0x800007b8 ("xfs_trans_read_buf_map") error 5 numblks 32
[401230.586670] XFS (sdg): xfs_imap_to_bp: xfs_trans_read_buf() returned error -5.
[401230.597537] blk_update_request: 6 callbacks suppressed
[401230.597540] blk_update_request: I/O error, dev sdg, sector 5299860504

ディスク帯域幅は本質的にゼロに低下します。 ディスク帯域幅は本質的にゼロに低下します。 平均I/O要求時間の急増 平均I/O要求時間の急増 ディスクI / Oは100%の使用率を維持します。 ディスクI / Oの使用率は100%に保たれます。 実行中のI/O要求は約150個のままです。 実行中のI/O要求は約150個のままです。 (ちなみに、上記の画像では、書き込みスループットが大幅に低下したときにロードスクリプトをキャンセルしたため、最終的に回復しました。)

ディストリビューション/カーネル

$ lsb_release -d
Description:    Ubuntu 16.04.6 LTS
$ uname -r
4.15.0-62-generic

fdisk -l

Disk /dev/sdl: 4.6 TiB, 5000981078016 bytes, 9767541168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

xfs_info

meta-data=/dev/sdl               isize=512    agcount=5, agsize=268435455 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1 spinodes=0
data     =                       bsize=4096   blocks=1220942646, imaxpct=5
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal               bsize=4096   blocks=521728, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

ベストアンサー1

次のカーネルパラメータを変更しましたが、高書き込み負荷でSMRディスクの接続が切断されなくなりました。場合によっては、過剰なI / O(たとえば、1桁のMB /秒の書き込み速度)は書き込みパフォーマンスを非常に遅くする可能性がありますが、少なくともディスク接続が失われることはありません。

DEVICE=sdX # insert your device name here
echo 3600 > /sys/block/$DEVICE/device/timeout
echo 3600 > /sys/block/$DEVICE/device/eh_timeout
echo noop > /sys/block/$DEVICE/queue/scheduler
echo 1 > /sys/block/$DEVICE/device/queue_depth
echo 4 > /sys/block/$DEVICE/queue/nr_requests

それぞれを個別にテストしていないので、それぞれを設定する必要があるかどうかはわかりませんが、この組み合わせは私にとっては効果的でした。

おすすめ記事