2016年8月2日火曜日

WD GREEN が壊れかけた

ZFS mirror 構成で使っていた WD GREEN 3T HDD 2台のうちの1台が、scrub の途中で I/O エラー (media error) 多発状態になりました。

scrub が永久に終わりそうにないほどスローダウンしたため、中断 (zpool scrub -s tankX) して、S.M.A.R.T. の値など参照したのですが、その時は smartctl -A を1回実行するだけでも4秒 (time で計測) くらいかかるという、異常に反応が遅い状態でした。いわゆる DRC (deep recovery cycle) に入っていたのかも。

その後、過去の経験から、SecureErase を行ってリフレッシュしてみました。次は、SecureErase 完了後の smartctl -a の出力です。
[root@hoge ~]# smartctl -a /dev/sde
smartctl 5.43 2012-06-30 r3573 [i686-linux-2.6.32-642.3.1.el6.nonpae.i686] (local build)
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green (Adv. Format)
Device Model:     WDC WD30EZRX-00DC0B0
Serial Number:    WD-WMC1T0xxxxx2
LU WWN Device Id: 5 0014ee 6yyyyyyyf
Firmware Version: 80.00A80
User Capacity:    3,000,592,982,016 bytes [3.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  ACS-2 (revision not indicated)
Local Time is:    Tue Aug  2 20:32:42 2016 JST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: FAILED!
Drive failure expected in less than 24 hours. SAVE ALL DATA.
See vendor-specific Attribute list for failed Attributes.

General SMART Values:
Offline data collection status:  (0x82) Offline data collection activity
     was completed without error.
     Auto Offline Data Collection: Enabled.
Self-test execution status:      (  73) The previous self-test completed having
     a test element that failed and the test
     element that failed is not known.
Total time to complete Offline 
data collection:   (39360) seconds.
Offline data collection
capabilities:     (0x7b) SMART execute Offline immediate.
     Auto Offline data collection on/off support.
     Suspend Offline collection upon new
     command.
     Offline surface scan supported.
     Self-test supported.
     Conveyance Self-test supported.
     Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
     power-saving mode.
     Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
     General Purpose Logging supported.
Short self-test routine 
recommended polling time:   (   2) minutes.
Extended self-test routine
recommended polling time:   ( 395) minutes.
Conveyance self-test routine
recommended polling time:   (   5) minutes.
SCT capabilities:         (0x70b5) SCT Status supported.
     SCT Feature Control supported.
     SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       8587
  3 Spin_Up_Time            0x0027   173   172   021    Pre-fail  Always       -       6316
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       135
  5 Reallocated_Sector_Ct   0x0033   140   140   140    Pre-fail  Always   FAILING_NOW 1763
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   058   058   000    Old_age   Always       -       30747
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       131
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       38
193 Load_Cycle_Count        0x0032   159   159   000    Old_age   Always       -       125435
194 Temperature_Celsius     0x0022   113   106   000    Old_age   Always       -       37
196 Reallocated_Event_Count 0x0032   001   001   000    Old_age   Always       -       357
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       5
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   187   187   000    Old_age   Offline      -       5319

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: unknown failure    90%     30716         -
# 2  Short offline       Completed without error       00%     30647         -
# 3  Short offline       Completed without error       00%     28800         -
# 4  Short offline       Completed without error       00%     15839         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
このあとで、dd コマンドを使って全セクタ読み出しテストを行ってみたのですが、なんと正常終了してしまいました。

このような経過で、廃棄するにはまだ惜しい感じですが、さりとて、もう一度 zpool に attach するのは躊躇されるという状態に至りました。
もう1台の WD GREEN が壊れたら RAID 崩壊になってしまうので、結局、安全策で、交換用ディスクを注文しました。

RAID で使ってはいけないと言われる WD GREEN ですが、たしかに、I/O エラーになった時のスローダウンの挙動 (DRC による挙動?) は、RAID には向かないと感じました。だけども、ここまで3年半利用できたわけで、値段を考えると、そんなに悪くないとも思いました。

ちなみに、交換用に発注したディスクは、今まで使ったことがない WD Purple です。WD Red は、使ったことがあるので、違うのを使ってみたい。

2016-08-04追記
紙のノートのメモによると、今回壊れかけているディスクは、2012年12月23日購入、2015年02月23日に idle3 タイマーを無効化していました。idle3 タイマーのことは後から知ったので、気がついた時には Load_Cycle_Count が 125426 になっていたと、メモにあります。本当に寿命と関係するのか定かではありませんが、最初から止めておいたなら、延命できたのでは?と思ってしまいます。

2016-08-22追記
新しいディスクとの replace は無事成功したので、この WD GREEN を再度 attach して三重ミラーの状態にしてみました。その後、resilver も成功したので、さらに scrub を行ったところ、数回のエラーは出たものの scrub も完了しました。そして、この過程で、Current_Pending_Sector が1まで減りました。とりあえず、このまま三重ミラーの状態で利用続けてみようと思います。

0 件のコメント:

コメントを投稿

人気ブログランキングへ にほんブログ村 IT技術ブログへ