Contenu | Rechercher | Menus

Annonce

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#1 Le 23/03/2021, à 21:42

Veemon

[Échec] RAID5 : impossible de réassembler, no recogniseable superblock

EDIT de (non) résolution du problème :
Mon RAID5 a été récupéré par une entreprise spécialisée dans ce domaine.

Bonjour,

Après plus d’une bonne dizaine de jours à rechercher une solution sur le net, je me décide à faire appel à la communauté.

Résumé de mon problème :
Je n’arrive pas à réassembler mon RAID5. Au début en forçant j’ai réussi à le faire mais très vite j’ai eu des erreurs de lecteurs entrées sorties. En essayant de résoudre ce problème, j’ai eu des erreurs de superblocks.
Je n’ai jamais lancé un

mdadm --create ...

, sans avoir consulté d’avis, car moi moi cette commande est l’annonce de la suppression des données. En revanche avec mdadm j’ai lancé beaucoup de --assemble avec des options de force, de run, de sync…

Mon matériel
J’ai mdadm version 4.1 permettant de gérer un RAID 5 construit en 2016 avec à l’époque 3 disques durs (HDD). Ça tournait très bien j’ai eu des petits événement  avec un HDD mais jusque là tout s’est très bien passé. À la mi-février j’ai rajouté un 4ème HDD. Mais pour une raison que je ne comprends pas il a été ajouté par mdadm comme spare mais la taille du RAID a été augmentée (avec l’option --grow). J’en ai pas tenu cas, par faute de temps pour m’y pencher plus sérieusement. Mais là depuis 10 jours c’est le drame…

Retours de commandes
La commande d’assemblage retourne :

>mdadm -v --assemble --readonly --force /dev/md0 /dev/sdc1 /dev/sdd1 /dev/sda1 /dev/sdb1
mdadm: looking for devices for /dev/md0
mdadm: cannot open device /dev/sdd1: No such file or directory
mdadm: /dev/sdd1 has no superblock - assembly aborted

La commande d’examen de mdadm retourne :

mdadm -E /dev/sd[abcd]
/dev/sda:
   MBR Magic : aa55
Partition[0] :   3907027120 sectors at         2048 (type fd)
/dev/sdb:
   MBR Magic : aa55
Partition[0] :   3907029167 sectors at            1 (type ee)
/dev/sdc:
   MBR Magic : aa55
Partition[0] :   3907027120 sectors at         2048 (type fd)
/dev/sdd:
   MBR Magic : aa55
Partition[0] :   3907029167 sectors at            1 (type ee)
mdadm -E /dev/sd[abcd]1
/dev/sda1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 67f9af20:34e09bcb:3291926a:c0d81d0f
           Name : CamiComputer:0
  Creation Time : Sat Oct  8 12:02:33 2016
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906768048 (1862.89 GiB 2000.27 GB)
     Array Size : 5860148736 (5588.67 GiB 6000.79 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258984 sectors, after=2224 sectors
          State : clean
    Device UUID : a1682a04:97959be2:71e8b1ff:f9340c69

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Mar 14 23:00:03 2021
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : efa0a4c3 - correct
         Events : 5203993

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : A.A. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x9
     Array UUID : 67f9af20:34e09bcb:3291926a:c0d81d0f
           Name : CamiComputer:0
  Creation Time : Sat Oct  8 12:02:33 2016
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
     Array Size : 5860148736 (5588.67 GiB 6000.79 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=0 sectors
          State : clean
    Device UUID : 1176feb1:f9de6c52:c5a1801c:35be935f

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Mar 14 23:00:03 2021
  Bad Block Log : 512 entries available at offset 16 sectors - bad blocks present.
       Checksum : 20c7364f - correct
         Events : 5203993

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : spare
   Array State : A.A. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 67f9af20:34e09bcb:3291926a:c0d81d0f
           Name : CamiComputer:0
  Creation Time : Sat Oct  8 12:02:33 2016
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906768048 (1862.89 GiB 2000.27 GB)
     Array Size : 5860148736 (5588.67 GiB 6000.79 GB)
  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258984 sectors, after=2224 sectors
          State : clean
    Device UUID : 5614452d:be1b5bd1:1b84a113:20d80861

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Mar 14 23:00:03 2021
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 1367156e - correct
         Events : 5203993

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : A.A. ('A' == active, '.' == missing, 'R' == replacing)
mdadm: No md superblock detected on /dev/sdd1.

Mon fichier mdadm.conf est le suivant :

/etc/mdadm/mdadm.conf
# mdadm.conf
#
# !NB! Run update-initramfs -u after updating this file.
# !NB! This will ensure that initramfs has an uptodate copy.
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays
ARRAY /dev/md/0  metadata=1.2 UUID=67f9af20:34e09bcb:3291926a:c0d81d0f name=CamiComputer:0

# This configuration was auto-generated on Mon, 01 Jun 2020 16:48:41 +0200 by mkconf
ARRAY /dev/md/0  metadata=1.2 UUID=67f9af20:34e09bcb:3291926a:c0d81d0f name=CamiComputer:0
   spares=1

Et enfin une analyse par smartctl de sdd1 : (j’ai homis les 3 autres car ils me semblent « normaux », c’est-à-dire sans la série d’erreur de sdd).

smartctl -d ata -a /dev/sdd
smartctl 6.6 2017-11-05 r4594 [x86_64-linux-4.19.0-14-amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Seagate Barracuda 7200.14 (AF)
Device Model:     ST2000DM001-1ER164
Serial Number:    W4Z3XEF4
LU WWN Device Id: 5 000c50 09c3dbf30
Firmware Version: CC26
User Capacity:    2000398934016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Form Factor:      3.5 inches
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2, ACS-3 T13/2161-D revision 3b
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Tue Mar 23 19:55:23 2021 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (   80) seconds.
Offline data collection
capabilities:                    (0x73) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 206) minutes.
Conveyance self-test routine
recommended polling time:        (   2) minutes.
SCT capabilities:              (0x1085) SCT Status supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   106   082   006    Pre-fail  Always       -       197788488
  3 Spin_Up_Time            0x0003   096   096   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   091   091   020    Old_age   Always       -       9893
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   079   060   030    Pre-fail  Always       -       93871515
  9 Power_On_Hours          0x0032   058   058   000    Old_age   Always       -       37203
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       84
183 Runtime_Bad_Block       0x0032   092   092   000    Old_age   Always       -       8
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   001   001   000    Old_age   Always       -       5224
188 Command_Timeout         0x0032   100   099   000    Old_age   Always       -       0 3 3
189 High_Fly_Writes         0x003a   095   095   000    Old_age   Always       -       5
190 Airflow_Temperature_Cel 0x0022   063   047   045    Old_age   Always       -       37 (Min/Max 20/43)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       2
193 Load_Cycle_Count        0x0032   050   050   000    Old_age   Always       -       100452
194 Temperature_Celsius     0x0022   037   053   000    Old_age   Always       -       37 (0 20 0 0 0)
197 Current_Pending_Sector  0x0012   001   001   000    Old_age   Always       -       35072
198 Offline_Uncorrectable   0x0010   001   001   000    Old_age   Offline      -       35072
199 UDMA_CRC_Error_Count    0x003e   200   105   000    Old_age   Always       -       243
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       17823h+42m+12.735s
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       20807746218
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       251014815264

SMART Error Log Version: 1
ATA Error Count: 5224 (device log contains only the most recent five errors)
        CR = Command Register [HEX]
        FR = Features Register [HEX]
        SC = Sector Count Register [HEX]
        SN = Sector Number Register [HEX]
        CL = Cylinder Low Register [HEX]
        CH = Cylinder High Register [HEX]
        DH = Device/Head Register [HEX]
        DC = Device Command Register [HEX]
        ER = Error register [HEX]
        ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 5224 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 53 00 ff ff ff 0f  Error: UNC at LBA = 0x0fffffff = 268435455

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 00 01 ff ff ff 4f 00      02:29:58.896  READ FPDMA QUEUED
  ef 10 02 00 00 00 a0 00      02:29:58.896  SET FEATURES [Enable SATA feature]
  27 00 00 00 00 00 e0 00      02:29:58.896  READ NATIVE MAX ADDRESS EXT [OBS-ACS-3]
  ec 00 00 00 00 00 a0 00      02:29:58.895  IDENTIFY DEVICE
  ef 03 46 00 00 00 a0 00      02:29:58.895  SET FEATURES [Set transfer mode]

Error 5223 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 53 00 ff ff ff 0f  Error: UNC at LBA = 0x0fffffff = 268435455

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 00 01 ff ff ff 4f 00      02:29:55.290  READ FPDMA QUEUED
  60 00 01 ff ff ff 4f 00      02:29:55.289  READ FPDMA QUEUED
  ef 10 02 00 00 00 a0 00      02:29:55.288  SET FEATURES [Enable SATA feature]
  27 00 00 00 00 00 e0 00      02:29:55.288  READ NATIVE MAX ADDRESS EXT [OBS-ACS-3]
  ec 00 00 00 00 00 a0 00      02:29:55.288  IDENTIFY DEVICE

Error 5222 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 53 00 ff ff ff 0f  Error: UNC at LBA = 0x0fffffff = 268435455

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 00 01 ff ff ff 4f 00      02:29:51.676  READ FPDMA QUEUED
  60 00 01 ff ff ff 4f 00      02:29:51.676  READ FPDMA QUEUED
  60 00 02 ff ff ff 4f 00      02:29:51.675  READ FPDMA QUEUED
  ef 10 02 00 00 00 a0 00      02:29:51.674  SET FEATURES [Enable SATA feature]
  27 00 00 00 00 00 e0 00      02:29:51.674  READ NATIVE MAX ADDRESS EXT [OBS-ACS-3]

Error 5221 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 53 00 ff ff ff 0f  Error: UNC at LBA = 0x0fffffff = 268435455

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 00 02 ff ff ff 4f 00      02:29:48.037  READ FPDMA QUEUED
  60 00 01 ff ff ff 4f 00      02:29:48.037  READ FPDMA QUEUED
  60 00 01 ff ff ff 4f 00      02:29:48.037  READ FPDMA QUEUED
  60 00 01 ff ff ff 4f 00      02:29:48.036  READ FPDMA QUEUED
  ef 10 02 00 00 00 a0 00      02:29:48.036  SET FEATURES [Enable SATA feature]

Error 5220 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 53 00 ff ff ff 0f  Error: UNC at LBA = 0x0fffffff = 268435455

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 00 01 ff ff ff 4f 00      02:29:44.414  READ FPDMA QUEUED
  60 00 01 ff ff ff 4f 00      02:29:44.414  READ FPDMA QUEUED
  60 00 01 ff ff ff 4f 00      02:29:44.414  READ FPDMA QUEUED
  60 00 02 ff ff ff 4f 00      02:29:44.414  READ FPDMA QUEUED
  60 00 01 ff ff ff 4f 00      02:29:44.414  READ FPDMA QUEUED

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%     11656         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

À ce niveau là… j’ai comme qui dirait l’impression de changer ce fameux HDD… Mais je ne comprend pas pourquoi mdadm ne veut pas démarre même en readonly.

lsblk :

NAME                                                          MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda
└─sda1                                                          8:1    0   1,8T  0 part
sdb                                                             8:16   0   1,8T  0 disk
└─sdb1                                                          8:17   0   1,8T  0 part
sdc                                                             8:32   0   1,8T  0 disk
└─sdc1                                                          8:33   0   1,8T  0 part
sdd                                                             8:48   0   1,8T  0 disk
sde                                                             8:64   1 298,1G  0 disk
├─sde1                                                          8:65   1     1K  0 part
├─sde2                                                          8:66   1 294,4G  0 part /
└─sde5                                                          8:69   1   3,7G  0 part [SWAP]
sdf                                                             8:80   1  14,4G  0 disk
├─sdf1                                                          8:81   1  14,4G  0 part
└─sdf2                                                          8:82   1    32M  0 part
sdg                                                             8:96   1   1,4T  0 disk
└─sdg1                                                          8:97   1   1,4T  0 part /media/kodi

À la vue de cette sortie j’ai envie de dire que sdd n’a pas de partition… Je pense que c’est en voulant réparer les superblocks que ça à tout effacé…

Enfin, en suivant les indications de ce forum : https://ubuntuforums.org/showthread.php?t=1947275 en voulant essayer la première commande suggérée après le smartctl j’obtiens l’erreur suivante :

mdadm --zero-superblock /dev/sdd
mdadm: Unrecognised md component device - /dev/sdd

Quoi qu’il en soit, je ne sais pas du tout quoi faire à ce stade. Si ce n’est un mdadm --create --assume-clean ... comme étant l’ultime solution qui reisquerait bien d’être la dernière. Mais là je ne suis pas du tout partant sans vous avoir consulté.

Idéalement j’aimerais monter le RAID au moins en readonly pour sauvegarder mes précieuses données. Même monter 2 ou 1 disque sur les 4 m’irait, du moment que je peux sauver un maximum de chose.

J’espère que nous pourrons trouver une solution (ma vie archivée dans ces données l’espère…) et je remercie d’avance tout ceux qui y participeront.

Dernière modification par Veemon (Le 21/10/2021, à 23:18)

Hors ligne

#2 Le 23/03/2021, à 22:27

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonsoir.
Peux-tu produire aussi un rapport smartctl de tous les autres disques du RAID5.

Un seul disque a le droit d'être fichu. Celui que tu indiques semble l'être.

197 Current_Pending_Sector  0x0012   001   001   000    Old_age   Always       -       35072
198 Offline_Uncorrectable   0x0010   001   001   000    Old_age   Offline      -       35072

Certainement un record...
Or il y en a deux....
Device Role : Active device 2
   Array State : A.A. ('A' == active, '.' == missing, 'R' == replacing)

Je re regarderais que demain dans l'après-midi.

Espérons que sdb sera recupérable. sinon tout est perdu.
Tu peux déja prévoir qu'il va falloir dupliquer avec succès SDB dans un nouveau disque de  deux TO ou plus.

Dernière modification par geole (Le 23/03/2021, à 22:55)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#3 Le 24/03/2021, à 10:06

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonjour Geole,

Tout d'abord merci beaucoup pour ta réponse, ça me redonne de l'espoir.

Voici les rapports smart des autres disques :

sda

smartctl -d ata -a /dev/sda1
smartctl 6.6 2017-11-05 r4594 [x86_64-linux-4.19.0-14-amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Blue
Device Model:     WDC WD20EZRZ-00Z5HB0
Serial Number:    WD-WCC4M1HSV1CH
LU WWN Device Id: 5 0014ee 20d260d0c
Firmware Version: 80.00A80
User Capacity:    2000398934016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Mar 24 08:51:14 2021 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82)	Offline data collection activity
					was completed without error.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(25800) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 261) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x7035)	SCT Status supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   179   173   021    Pre-fail  Always       -       4033
  4 Start_Stop_Count        0x0032   096   096   000    Old_age   Always       -       4854
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   050   050   000    Old_age   Always       -       37199
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       79
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       53
193 Load_Cycle_Count        0x0032   001   001   000    Old_age   Always       -       1407233
194 Temperature_Celsius     0x0022   113   097   000    Old_age   Always       -       34
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

sdb

smartctl -d ata -a /dev/sdb
smartctl 6.6 2017-11-05 r4594 [x86_64-linux-4.19.0-14-amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Blue
Device Model:     WDC WD20EZRZ-22Z5HB0
Serial Number:    WD-WCC4M5LUXSYV
LU WWN Device Id: 5 0014ee 212ea8c46
Firmware Version: 80.00A80
User Capacity:    2000398934016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Mar 24 08:52:37 2021 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82)	Offline data collection activity
					was completed without error.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(28320) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 285) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x7035)	SCT Status supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   183   176   021    Pre-fail  Always       -       3841
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       22
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       417
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       22
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       13
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       2869
194 Temperature_Celsius     0x0022   112   106   000    Old_age   Always       -       35
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

et

sdc

smartctl -d ata -a /dev/sdc
smartctl 6.6 2017-11-05 r4594 [x86_64-linux-4.19.0-14-amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Toshiba 3.5" DT01ACA... Desktop HDD
Device Model:     TOSHIBA DT01ACA200
Serial Number:    85UTG6GGS
LU WWN Device Id: 5 000039 fe2cb1e3e
Firmware Version: MX4OABB0
User Capacity:    2000398934016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Form Factor:      3.5 inches
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Mar 24 08:53:29 2021 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82)	Offline data collection activity
					was completed without error.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(14344) seconds.
Offline data collection
capabilities: 			 (0x5b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					No Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   1) minutes.
Extended self-test routine
recommended polling time: 	 ( 239) minutes.
SCT capabilities: 	       (0x003d)	SCT Status supported.
					SCT Error Recovery Control supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   140   140   054    Pre-fail  Offline      -       69
  3 Spin_Up_Time            0x0007   135   135   024    Pre-fail  Always       -       261 (Average 300)
  4 Start_Stop_Count        0x0012   099   099   000    Old_age   Always       -       6766
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   124   124   020    Pre-fail  Offline      -       33
  9 Power_On_Hours          0x0012   095   095   000    Old_age   Always       -       37271
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       81
192 Power-Off_Retract_Count 0x0032   095   095   000    Old_age   Always       -       7033
193 Load_Cycle_Count        0x0012   095   095   000    Old_age   Always       -       7033
194 Temperature_Celsius     0x0002   166   166   000    Old_age   Always       -       36 (Min/Max 22/55)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       39

SMART Error Log Version: 1
ATA Error Count: 39 (device log contains only the most recent five errors)
	CR = Command Register [HEX]
	FR = Features Register [HEX]
	SC = Sector Count Register [HEX]
	SN = Sector Number Register [HEX]
	CL = Cylinder Low Register [HEX]
	CH = Cylinder High Register [HEX]
	DH = Device/Head Register [HEX]
	DC = Device Command Register [HEX]
	ER = Error register [HEX]
	ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 39 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  84 51 00 00 00 00 00

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  ec 20 00 00 00 00 a0 00      00:10:15.398  IDENTIFY DEVICE
  10 20 00 00 00 00 a0 00      00:10:15.382  RECALIBRATE [OBS-4]
  91 20 3f 01 00 00 af 00      00:10:15.382  INITIALIZE DEVICE PARAMETERS [OBS-6]
  ec 00 01 01 00 00 a0 00      00:10:15.377  IDENTIFY DEVICE
  ec 00 01 01 00 00 a0 00      00:10:15.361  IDENTIFY DEVICE

Error 38 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  84 51 00 00 00 00 00

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  ec 00 01 01 00 00 a0 00      00:10:15.377  IDENTIFY DEVICE
  ec 00 01 01 00 00 a0 00      00:10:15.361  IDENTIFY DEVICE
  ec 00 01 01 00 00 a0 00      00:10:15.352  IDENTIFY DEVICE
  ec 00 01 01 00 00 00 04      00:10:13.479  IDENTIFY DEVICE
  ec 00 01 01 00 00 00 ff      00:10:09.184  IDENTIFY DEVICE

Error 37 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  84 51 00 00 00 00 00

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  ec 00 01 01 00 00 a0 00      00:09:53.419  IDENTIFY DEVICE
  ec 00 01 01 00 00 a0 00      00:09:53.411  IDENTIFY DEVICE
  ec 00 01 01 00 00 00 04      00:09:53.351  IDENTIFY DEVICE
  ec 00 01 01 00 00 00 ff      00:09:49.060  IDENTIFY DEVICE
  ec 00 00 01 00 00 a0 ff      00:09:46.362  IDENTIFY DEVICE

Error 36 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  84 51 00 00 00 00 00

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  ec 00 01 01 00 00 a0 00      00:08:28.402  IDENTIFY DEVICE
  ec 00 01 01 00 00 a0 00      00:08:28.393  IDENTIFY DEVICE
  ec 00 01 01 00 00 00 04      00:08:28.333  IDENTIFY DEVICE
  ec 00 01 01 00 00 00 ff      00:08:24.030  IDENTIFY DEVICE
  ec 00 00 01 00 00 a0 ff      00:08:21.081  IDENTIFY DEVICE

Error 35 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  84 51 00 00 00 00 00

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  ec 00 01 01 00 00 a0 00      00:08:28.393  IDENTIFY DEVICE
  ec 00 01 01 00 00 00 04      00:08:28.333  IDENTIFY DEVICE
  ec 00 01 01 00 00 00 ff      00:08:24.030  IDENTIFY DEVICE
  ec 00 00 01 00 00 a0 ff      00:08:21.081  IDENTIFY DEVICE
  ec 00 01 01 00 00 a0 00      00:02:41.095  IDENTIFY DEVICE

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Aïe le sdc semble avoir des soucis...

Sinon pour info, c'est bien le sdb que j'ai acheté en début d'année, donc celui qui s'est mis en spare quand j'avais fait mdadm --add. Mais il n'a jamais été affiché comme disque "normal" par la suite.
Tous les autres datent de 2016. Pour l'histoire j'avais acheté 3 marques différentes pour éviter les pannes de séries j'espère que ça sera payant comme stratégie.

Bien à toi

Hors ligne

#4 Le 24/03/2021, à 12:22

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonjour


]A) Récapitulation de l'état physique des 4 disques du RAIDS
SDA

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Blue
Device Model:     WDC WD20EZRZ-00Z5HB0
Sector Sizes:     512 bytes logical, 4096 bytes physical

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   050   050   000    Old_age   Always       -       37199
193 Load_Cycle_Count        0x0032   001   001   000    Old_age   Always       -       1407233
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

=> disque statistiquement usé à 50% Mais dont la tête de lecture passe trop de temps à se reposer et se réveiller: 1407233 fois. Plus du double d'une valeur  standard de 600000.  Mais cela semble un problème général pour cette série de disques.
SDB

=== START OF INFORMATION SECTION ===
smartctl -d ata -a /dev/sdb
smartctl 6.6 2017-11-05 r4594 [x86_64-linux-4.19.0-14-amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, [url=http://www.smartmontools.org]www.smartmontools.org[/url]
Model Family:     Western Digital Blue
Device Model:     WDC WD20EZRZ-22Z5HB0
Sector Sizes:     512 bytes logical, 4096 bytes physical

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       417
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

==> disque  tout neuf. N'ayant aucun problème. La cause de l'absence de ce disque  ne sera donc pas matérielle. Heureusement!!!!

SDC

smartctl -d ata -a /dev/sdc

=== START OF INFORMATION SECTION ===
Model Family:     Toshiba 3.5" DT01ACA... Desktop HDD
Device Model:     TOSHIBA DT01ACA200
Sector Sizes:     512 bytes logical, 4096 bytes physical

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0012   095   095   000    Old_age   Always       -       37271
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       39

SMART Error Log Version: 1
Error 39 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  ec 20 00 00 00 00 a0 00      00:10:15.398  IDENTIFY DEVICE
  10 20 00 00 00 00 a0 00      00:10:15.382  RECALIBRATE [OBS-4]
  91 20 3f 01 00 00 af 00      00:10:15.382  INITIALIZE DEVICE PARAMETERS [OBS-6]
  ec 00 01 01 00 00 a0 00      00:10:15.377  IDENTIFY DEVICE
  ec 00 01 01 00 00 a0 00      00:10:15.361  IDENTIFY DEVICE
Error 38 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  ec 00 01 01 00 00 a0 00      00:10:15.377  IDENTIFY DEVICE
Error 37 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  ec 00 01 01 00 00 a0 00      00:09:53.419  IDENTIFY DEVICE
Error 36 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  ec 00 01 01 00 00 a0 00      00:08:28.402  IDENTIFY DEVICE
Error 35 occurred at disk power-on lifetime: 12414 hours (517 days + 6 hours)
  ec 00 01 01 00 00 a0 00      00:08:28.393  IDENTIFY DEVICE

=> Disque ayant eu une grosse alerte il  y a bien longtemps (24857 heures). Il ne savait plus se reconnaître!!!
    Heureusement, il s'en est bien tiré en s'auto-réparant.

SDD

smartctl -d ata -a /dev/sdd

=== START OF INFORMATION SECTION ===
Model Family:     Seagate Barracuda 7200.14 (AF)
Device Model:     ST2000DM001-1ER164
Sector Sizes:     512 bytes logical, 4096 bytes physical

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   106   082   006    Pre-fail  Always       -       197788488
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   079   060   030    Pre-fail  Always       -       93871515
  9 Power_On_Hours          0x0032   058   058   000    Old_age   Always       -       37203
183 Runtime_Bad_Block       0x0032   092   092   000    Old_age   Always       -       8
187 Reported_Uncorrect      0x0032   001   001   000    Old_age   Always       -       5224
190 Airflow_Temperature_Cel 0x0022   063   047   045    Old_age   Always       -       37 (Min/Max 20/43)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0012   001   001   000    Old_age   Always       -       35072
198 Offline_Uncorrectable   0x0010   001   001   000    Old_age   Offline      -       35072

SMART Error Log Version: 1
ATA Error Count: 5224 (device log contains only the most recent five errors)
Error 5224 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)  Error: UNC at LBA  = 268435455
Error 5223 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)  Error: UNC at LBA  = 268435455
Error 5222 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)  Error: UNC at LBA  = 268435455
Error 5221 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)  Error: UNC at LBA  = 268435455
Error 5220 occurred at disk power-on lifetime: 37154 hours (1548 days + 2 hours)  Error: UNC at LBA  =268435455

=> Disque ayant 35072 secteurs illisibles.  La trace n'indique que le numéro du dernier secteur.
=> Disque à remplacer
==> Il me semble inutile de commencer une procédure ddrescue qui va certainement découvrir de nouveaux secteurs

B) La partie logicielle.
Pour les partitions

sblk :
NAME                                                          MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda
└─sda1                                                          8:1    0   1,8T  0 part
sdb                                                             8:16   0   1,8T  0 disk
└─sdb1                                                          8:17   0   1,8T  0 part
sdc                                                             8:32   0   1,8T  0 disk
└─sdc1                                                          8:33   0   1,8T  0 part
sdd                                                            8:48   0   1,8T  0 disk

==> Comme tu l'as dit, on constate l'absence de partitions pour le disque SDD.
    A mon avis, initialement, il y en avait car il n'y a pas de raison que tu l'aies formaté différemment des 3 autres.
   Le recherche des tables de partitions se fait en lisant
     soit le premier secteur du disque si table de partition MSDOS
     soit  les secteurs 1  à 32 du disque ou leur duplicata en cas d'impossibilité  si table de partition GPT.
    Je pense que tu es dans le premier contexte (   MBR Magic : aa55 )
===> on a vu que ce disque a 35072 secteurs illisibles .
      Statistiquement, Il y a peu de chances que cela se produise sur le secteur 0.Mais lorsque cela arrive, La table de partition n'est plus constructible,  c'est la catastrophe même s'il n'y a que ce seul secteur illisible!!!
    C'est pour cela que le format GPT a prévu un double en fin de disque. Malheureusement il est trop tard y compris pour le nouveau disque que tu mettras en remplacement  car cela diminue d'autant la capacité de la partition (16 Ko).

Conclusion disque à supprimer du RAID. La commande est celle-ci

mdadm --manage /dev/md0 --set-faulty /dev/sdd1

Je te propose de ne pas la faire dès maintenant.  (Bien que je pense qu'elle serait acceptée même si le raids n'est pas monté.) En effet, cela exige que, pour la réparation, le raids fonctionne et ce n'est pas le cas actuellement.

Pour le RAID
mdadm -E /dev/sd[abcd]1

/dev/sda1:
   Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906768048 (1862.89 GiB 2000.27 GB)
 Array Size : 5860148736 (5588.67 GiB 6000.79 GB)

On voit que le raid est bien composé de 4 disques. La taille des disques est de 2 To et la taille du raid est donc correcte avec 6To= 2To*(4-1), Tu as donc bien  intégré le nouveau disque et agrandi la partition.

La partition a problèmes

/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x9
     Array UUID : 67f9af20:34e09bcb:3291926a:c0d81d0f
           Name : CamiComputer:0
  Creation Time : Sat Oct  8 12:02:33 2016
     Raid Level : raid5
   Raid Devices : 4
 Avail Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
     Array Size : 5860148736 (5588.67 GiB 6000.79 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=0 sectors
          State : clean
    Device UUID : 1176feb1:f9de6c52:c5a1801c:35be935f
Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Mar 14 23:00:03 2021
  Bad Block Log : 512 entries available at offset 16 sectors - bad blocks present.
       Checksum : 20c7364f - correct
         Events : 5203993
         Layout : left-symmetric
     Chunk Size : 512K
   Device Role : spare
   Array State : A.A. ('A' == active, '.' == missing, 'R' == replacing)

Je n'y vois rien d'anormal hormis qu'elle a conservé le status spare.
Je ne traite pas la partition SDD1 absente pour cause de disque HS.
Les dates de syncronisation
/dev/sda1: Update Time : Sun Mar 14 23:00:03 2021
/dev/sdb1: Update Time : Sun Mar 14 23:00:03 2021
/dev/sdc1: Update Time : Sun Mar 14 23:00:03 2021
C'est parfait.

Dernière modification par geole (Le 24/03/2021, à 16:23)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#5 Le 24/03/2021, à 13:56

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Ma proposition sera de monter normalement le raids par cette commande

mdadm -v --assemble --readonly  --force /dev/md0 /dev/sdc1  /dev/sda1 /dev/sdb1

Cela devrait avoir comme conséquence
    La partition SDB1 perd son status   spare et devient Active
    La partition SDD1 perd son status active et devient spare
Il ne te reste plus qu'à la déclarer faulty, démonter le disque sans te tromper de disque!!
en mettre un autre.
Fabrique une table de partition gpt.
Puis fabrique une partition
    Si la taille de la partition est égale  ou supérieure aux autres, tu peux ajouter la partition au raids
    Si la taille de la partition est inférieure, il faudra que tu rétrécisses les autres  pour les mettre à la taille de la nouvelle avant de l'ajouter au raid.


En fait, cela ne peut pas fonctionner, cela devrait déclarer que les partitions sont en état busy puisque connues dans le fichier de configuration..
Puis après avoir réglé ce problème,  (mdadm --stop /dev/mdo)
Il y aura un message d'erreur disant
md/raid:md55: not enough operational devices (2/4 failed)
mdadm: Not enough devices to start the array.

NOTA, les éléments  clés
Avail  Dev Size : 3906768048  secteurs
Used Dev Size : 3906765824  secteurs

sda  Unused Space : before=258984 sectors, after=2224 sectors
sdb  Unused Space : before=258992 sectors, after=0 sectors
sdc  Unused Space : before=258984 sectors, after=2224 sectors

Il est donc possible que l'ajout d'une partition légèrement plus petite    recalibre automatiquement la taille du raids.

Je te propose aussi de formater avec gnome disk utility, Tu pourras choisir l'unité de mesure de la taille en Kio au lieu de Mio (attention par défaut c'est Ko Mo Go),  ce qui devrait te permettre de gagner presque 1Mio dans la taille de la partition.

Dernière modification par geole (Le 24/03/2021, à 18:35)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#6 Le 24/03/2021, à 17:18

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Après quelques essais dont le résultat me surprend
==> J'ai mis à zéro une partition  pour simuler quelque chose qui ne vaut plus rien , puis rebooté, J'ai constaté que tout fonctionnait bien!!!! mais j'ai insisté.
Les extrais sont là,

a@b:~$ sudo dd if=/dev/sdd6 bs=1M
N+>1@3Dk:W>b:553`؟(Ϳ+u<~?;P[`
                                                  
5120+0 enregistrements écrits
5368709120 octets (5,4 GB, 5,0 GiB) copiés, 212,392 s, 25,3 MB/s
a@b:~$ 65;1;9c

===> il ne s'affiche à l'écran que des caractères bizarres.

a@b:~$ sudo mdadm --examine  /dev/sdd6
/dev/sdd6:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 3e073140:a13344ac:a0116bbd:3a57d43e
           Name : b:55  (local to host b)
  Creation Time : Mon Feb 22 11:59:37 2021
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 10475520 (5.00 GiB 5.36 GB)
     Array Size : 15713280 (14.99 GiB 16.09 GB)
    Data Offset : 10240 sectors
   Super Offset : 8 sectors
   Unused Space : before=10160 sectors, after=0 sectors
          State : clean
    Device UUID : f6cdbf2b:ff93753c:ee7e843f:df3bb926

    Update Time : Wed Mar 24 15:46:37 2021
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 57600aff - correct
         Events : 267

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)

===> il continue de sembler en bon état....

a@b:~$ sudo fsck /dev/md55
fsck de util-linux 2.34
e2fsck 1.45.5 (07-Jan-2020)
/dev/md55 : propre, 37/983040 fichiers, 3232290/3928320 blocs

quasiment confirmé...

a@b:~$ sudo fsck -f /dev/md55
fsck de util-linux 2.34
e2fsck 1.45.5 (07-Jan-2020)
L'i-noeud de changement de taille n'est pas valide.  Recréer<o>? annulé !

/dev/md55: ***** LE SYSTÈME DE FICHIERS A ÉTÉ MODIFIÉ *****

/dev/md55 : **ATTENTION : le système de fichiers contient encore des erreurs**

Mais pas tout à fait.
En fait c'est peut-être normal la partition étant toujours accessible en écriture.

a@b:/mnt$ sudo mdadm --detail /dev/md55
/dev/md55:
           Version : 1.2
     Creation Time : Mon Feb 22 11:59:37 2021
        Raid Level : raid5
        Array Size : 15713280 (14.99 GiB 16.09 GB)
     Used Dev Size : 5237760 (5.00 GiB 5.36 GB)
      Raid Devices : 4
     Total Devices : 5
       Persistence : Superblock is persistent

       Update Time : Wed Mar 24 16:20:50 2021
             State : clean 
    Active Devices : 4
   Working Devices : 5
    Failed Devices : 0
     Spare Devices : 1

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

              Name : b:55  (local to host b)
              UUID : 3e073140:a13344ac:a0116bbd:3a57d43e
            Events : 267

    Number   Major   Minor   RaidDevice State
       0       8       52        0      active sync   /dev/sdd4
       4       8       56        1      active sync   /dev/sdd8
       2       8       54        2      active sync   /dev/sdd6
       3       8       55        3      active sync   /dev/sdd7

       5       8       53        -      spare   /dev/sdd5

On voit toujours que le spare est toujours noté spare et ne présente pas d'anomalies.


Je t'invite donc de commencer par faire  un contrôle avant de tenter un montage.

sudo fsck -v -f /dev/md0

Dernière modification par geole (Le 24/03/2021, à 17:25)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#7 Le 24/03/2021, à 18:48

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Voila, j'ai trouvé l'erreur sur la partition SDB qui explique pourquoi elle  ne peut pas se monter
mdadm -E /dev/sd[abcd]1
/dev/sda1: Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
/dev/sdb1: Avail Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
/dev/sdc1:  Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)

Elle n'a pas été garnie...... Elle est inutilisable....
A moins que cela soit mal renseigné.....

Dernière modification par geole (Le 24/03/2021, à 19:27)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#8 Le 24/03/2021, à 19:43

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

J’ai pas tout suivis.

Mais en gros ça veut dire que je ne peux plus rien faire et que je ne pourrais pas récupérer mes données ? sad
Il n’y a pas un moyen pour essayer de monter les disques restants même si je perds des données ?

Sinon j’ai essayé les commandes que tu as proposée mais sans succès. Par exemple :

fsck -v -f /dev/md0
fsck from util-linux 2.33.1
e2fsck 1.44.5 (15-Dec-2018)
fsck.ext2: Aucun fichier ou dossier de ce type while trying to open /dev/md0
Possibly non-existent device?
mdadm -v --assemble --readonly  --force /dev/md0 /dev/sdc1  /dev/sda1 /dev/sdb1
mdadm: looking for devices for /dev/md0
mdadm: /dev/sdc1 is identified as a member of /dev/md0, slot 0.
mdadm: /dev/sda1 is identified as a member of /dev/md0, slot 2.
mdadm: /dev/sdb1 is identified as a member of /dev/md0, slot -1.
mdadm: no uptodate device for slot 1 of /dev/md0
mdadm: added /dev/sda1 to /dev/md0 as 2
mdadm: no uptodate device for slot 3 of /dev/md0
mdadm: added /dev/sdb1 to /dev/md0 as -1
mdadm: added /dev/sdc1 to /dev/md0 as 0
mdadm: /dev/md0 assembled from 2 drives and 1 spare - not enough to start the array.

Mais ça ne monte pas le md0 du coup je ne peux pas faire de fsck.

Dernière modification par Veemon (Le 24/03/2021, à 19:53)

Hors ligne

#9 Le 24/03/2021, à 20:41

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Je n'ai toujours pas compris pourquoi la partition SDB1  est en erreur.
Je devine pourquoi la partition SDD1 est absence. La cause est l'état du disque.

Le message que tu as est celui que je sentais venir
Dans ce contexte  on ne peut rien monter.  Je vois quatre possibilités.
1) Tu as une vieille version de tes données ailleurs, tu peux te permettre de reformater les 4 disques en perdant tout.
2) Tu attends l'aide de quelqu'un d'autre qui connaît bien le problème et saura dire pourquoi SDB1 ne se monte pas.
3) Tu t'adresses à un expert de récupération de données.  Il est probable qu'il ait de bons outils et qu'il connaisse la technique à faire.
4) On tente ensemble un coup de poker peut-être gagnant mais sans risques.
  => Sans toucher au RAID
   On utilise DDRESCUE  pour dupliquer tout ce qui est lisible du disque SDD
    et on insiste pour dupliquer tout ce qui pose difficultés.      On insiste tellement que cela va prendre temps.
(ddrescue est un outil que les experts en récupération de données utilisent)
==> Si le secteur 0 est copié,    on retrouve la partition SDD1.
==> Si le secteur 0 n'est pas copié,   Je propose de recopier le secteur zéro d'un autre disque car je pense que tu as fait exactement le même découpage pour les 4  disques  et on retrouve la partition SDD1.
==> Lorsque c'est fait, sans prévenir mdadm, tu permutes les deux disques.
       MDADM ne remarquera certainement pas. Il constatera simplement que la partition SDD1 est présente, il devrait la monter.
    Puis fsck fera son travail en éliminant les zones qui sont sans signification. Je suis incapable de te dire le nombre de fichiers qui seront perdus.
   Si on veut rejouer le scénario, il faudrait que, avant de faire le fsck, tu sauves aussi le contenu des 3 autres disques. Comme cela si le fsck se passe très mal, il est alors possible de restaurer.
C'est un investissement financier important. Les experts en réparation  font certainement de cette façon.

ATTENTION, Il y aurait cette commande

mdadm --manage /dev/md0 --set-faulty /dev/sdd1

C'est probablement elle  qui garnirait la partition SDB1
Mais cela ne me semble pas possible. A moins que j'ai mal compris la taille du raids.
Cependant j'ai bien lu 6 To donc 3 disques,  S'il en manque 1, il ne peut pas  probablement pas refabriquer..........
C'est tout pour ce soir...

Dernière modification par geole (Le 24/03/2021, à 20:59)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#10 Le 24/03/2021, à 21:17

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Merci Geole pour ton aide.

J’ai tout de même encore quelques questions et peut-être des réponses à tes questions.

Imaginons que durant une manip précédente j’ai supprimé la table de partition de sdd1, y’aurait-il moyen de la recréer ?

Sinon, concernant les points numérotés :

1) Tu as une vieille version de tes données ailleurs, tu peux te permettre de reformater les 4 disques en perdant tout.

Malheureusement non. Mais du coup il y a toujours cette question qui me trotte en tête : est-ce que le mdadm --create efface les données ?
https://stackoverflow.com/questions/662 … sting-data

2) Tu attends l'aide de quelqu'un d'autre qui connaît bien le problème et saura dire pourquoi SDB1 ne se monte pas.

Oui on peut toujours attendre un peu.
Mais j’ai relevé au début de toute mes manip que SDD et SDB avaient tous les 2 la ligne :

Bad Block Log : 512 entries available at offset 16 sectors - bad blocks present.

dans leur rapport smart.
Lisant cette histoire de bad blocks j’ai essayé de résoudre ce problème notamment avec parted mais ça n’a rien donné. Et je pense que ça a même conduit à la suppression de la table des partitions.
Peut-être la source du problème vient de ces bad blocks ?

3) Tu t'adresses à un expert de récupération de données.  Il est probable qu'il ait de bons outils et qu'il connaisse la technique à faire.

Effectivement il y aurait cette solution. Aurais-tu des pistes ou des noms vers qui me tourner. J’ai souvent vu des pub pour des sociétés de récupérations pour des disques durs, peut-être font-il du raid aussi ?

4) On tente ensemble un coup de poker peut-être gagnant mais sans risques.

Au point où j’en suis j’ai envie de dire allons-y. Cette après-midi j’ai commandé un disque de 2TO.

Qu’en penses-tu ?

Hors ligne

#11 Le 25/03/2021, à 12:52

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonjour
Voici quelques réponses.

Veemon a écrit :

Mais ça ne monte pas le md0 du coup je ne peux pas faire de fsck.

C'est très bien que le raids ne soit pas monté. S'il avait été monté, le fsck t'aurait alors demandé de le démonter pour pouvoir se réaliser...

Veemon a écrit :

Imaginons que durant une manip précédente j’ai supprimé la table de partition de sdd1, y’aurait-il moyen de la recréer ?

Si ce que tu es vrai, alors le fait de ne pas retrouver la table de partition ne serait pas liée à la mauvaise qualité des secteurs du disque mais serait la conséquence de tes actions.
Dans, un tel contexte, en standard on lance tesdisk. Il analyse le disque et propose une solution. Mais comme le disque est en très mauvais état,  Il ne va pas réussir.
   La solution que j'avais envisagée était de dupliquer le début d'un autre disque  sur ce disque.
Voici les commandes
1) En premier, on va sauver le début du disque récepteur

sudo   dd if=/dev/sdd of=/$HOME/mbrSDD.img count=34

  => Si pas d'incident de lecture, il est probable que ta piste soit bonne.
  => Si impossibilité de lire, ce n'est pas grave, on peut passer à la suite.
2) En second, on va copier la structure d'un autre disque. Par sécurité pour le count qui pourrait avoir une mauvaise frappe ou oublié, on fait en deux étapes.

sudo   dd if=/dev/sda of=/$HOME/mbrSDA.img count=34

puis

sudo   dd  if=/$HOME/mbrSDA.img of=/dev/sdd

3) Puis rebooter pour que la modification soit prise en compte
4) Puis tu peux retenter le remontage du RAID. Normalement la partition SDD1 sera vue. Ce qui peut tout changer.

Veemon a écrit :

Est-ce que le mdadm --create efface les données ?

Non  cette commande n'efface pas les données, Il est nécessaire d'ajouter  l'option assume clean pour un écrasement.
Démonstration faite avec un Raid en BON ETAT
1) Création d'un raids, mise de fichiers,  puis voir qu'il y a 11 répertoires de présents.

sudo mdadm --create /dev/md10 --level=5 --assume-clean --raid-devices=4 /dev/sdd2[1-4] 
sudo mkfs.ext4 /dev/md10
sudo mount -v /dev/md10 /media/RAID10
sudo cp -Rv /media/NosDonnees/xxxxxxxx  /media/RAID10
a@b:~$ ls -Rls /media/RAID10 | wc -l
ls: impossible d'ouvrir le répertoire '/media/RAID10/lost+found': Permission non accordée
11

2) Création d'un autre RAIDS avec ces mêmes partitions. Notons l'obligation de  stopper le raids
puis montage du RAIDS, on retrouve les 11 répertoires.

sudo umount /dev/md10
sudo mdadm --stop /dev/md10
sudo mdadm --create /dev/md11 --level=5 --raid-devices=4 /dev/sdd2[1-4] 
mdadm: /dev/sdd21 appears to contain an ext2fs file system
       size=1048576K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd21 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Thu Mar 25 08:21:27 2021
mdadm: /dev/sdd22 appears to contain an ext2fs file system
       size=1048576K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd22 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Thu Mar 25 08:21:27 2021
mdadm: /dev/sdd23 appears to contain an ext2fs file system
       size=1048576K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd23 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Thu Mar 25 08:21:27 2021
mdadm: /dev/sdd24 appears to contain an ext2fs file system
       size=1048576K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd24 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Thu Mar 25 08:21:27 2021
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md11 started.
===>  Le raids lance un recovery. La fonction MOUNT du RAIDS ne va répondre que lorsque le recovery est terminé.
sudo mount -v /dev/md11 /media/RAID11
ls -Rls /media/RAID11 | wc -l
@b:~$ ls -Rls /media/RAID11 | wc -l
ls: impossible d'ouvrir le répertoire '/media/RAID11/lost+found': Permission non accordée
11

3) Création d'un autre RAIDS avec trois de ces partitions et remplacement de l'une par une nouvelle partition. Notons l'obligation de  stopper le raids  puis montage du RAIDS IMPOSSIBLE, Je n'ai pas spécialement recherché  s'il était possible de faire quelque chose...

sudo mdadm --stop /dev/md11
sudo mdadm --create /dev/md12 --level=5 --raid-devices=4 /dev/sdd2[2-5] 
mdadm: /dev/sdd22 appears to contain an ext2fs file system
       size=1048576K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd22 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Thu Mar 25 08:42:50 2021
mdadm: /dev/sdd23 appears to contain an ext2fs file system
       size=1048576K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd23 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Thu Mar 25 08:42:50 2021
mdadm: /dev/sdd24 appears to contain an ext2fs file system
       size=1048576K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd24 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Thu Mar 25 08:42:50 2021
mdadm: /dev/sdd25 appears to contain an ext2fs file system
       size=1048576K  mtime=Thu Jan  1 01:00:00 1970
Continue creating array? y
Continue creating array? (y/n) y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md12 started.

#watch cat /proc/mdstat
sudo mount -v /dev/md12 /media/RAID12
mount.nilfs2: Error while mounting /dev/md12 on /media/RAID12: Invalid argument
a@b:~$ journalctl -f
....
mars 25 08:53:27 b kernel: NILFS (md12): couldn't find nilfs on the device

4)   Retour au raids initial: Aucune donnée perdue. Cependant je ne sais pas faire un test avec un raid initial en  mauvais état.

Veemon a écrit :

Bad Block Log : 512 entries available at offset 16 sectors - bad blocks present.

Effectivement, les deux autres partitions n'ont que la ligne

Bad Block Log : 512 entries available at offset 16 sectors 

De là, à penser que  cette présence de badblocks empêche le montage de la partition, il n'y a qu'un pas que je franchi. Cela va me donner une idée de recherche dans internet.
Mais je ne comprend pas pourquoi il y en aurait puisque le rapport smartclt indique un disque sain.

Veemon a écrit :

Un expert en récupération de données?.

Dans le forum, on cite systématiquement RMY qui est contactable par messagerie privée et conseille de temps dans le forum lorsqu'il n'est pas débordé.
https://forum.ubuntu-fr.org/viewtopic.php?id=447877.   

Veemon a écrit :

j’ai commandé un disque de 2TO..

Lorsque ce disque arrivera, tu pourras tenter la copie du disque SDD à l'aide de l'application DDRESCUE
https://doc.ubuntu-fr.org/ddrescue
J'ai noté que la taille physique de lecture/écriture est 4096
Si tu ne sais pas faire les bonnes commandes,  le début devrait ressembler à  cela (X à remplacer par la bonne lettre)

sudo ddrescue   -f    -n   -b4096      /dev/sdd     /dev/sdX   $HOME/SDD
sudo ddrescue   -f  -c1   -b4096      /dev/sdd     /dev/sdX   $HOME/SDD

le milieu à cela

sudo ddrescue   -d  -f  -R  -r7   -b4096  -c1    /dev/sdd    /dev/sdX    $HOME/SDD

Il faudra faire un point pour  savoir arrêter les tentatives de copies des blocs défectueux qui sont déjà très nombreux.

Puis la fin à ne jamais oublier, mettre des zéros dans les parties non copiées!!

ddrescue --fill-mode=- --force --synchronous /dev/zero /dev/sdX $HOME/SDD

Bonne journée.


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#12 Le 25/03/2021, à 13:33

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

J'ai trouvé cette discussion
https://www.google.fr/search?as_q=googl … type=&tbs=

Adding a device when there is an md member with bad blocks does not appear to trigger a rebuild, meaning there could be at least one good copy of
>>> all the data but no way to get all good data on a single device without expanding the entire array.

., il y aurait eu report de l'état du disque SDD

J'ai vu cette discussion https://forum.ubuntu-fr.org/viewtopic.php?id=1884411 mais c'était du temps où le mot missing était autorisé

et celle-ci https://serverfault.com/questions/10116 … r-as-spare
qui donne un bon espoir    avec une commande create

Aussi vu celle-ci qui me semble bien décrire ton contexte https://www.debian-fr.org/t/raid-5-perdu/81381/13

et deux autres qui montrent l'option --update=force-no-bbl
https://serverfault.com/questions/10116 … r-as-spare
https://www.spinics.net/lists/raid/msg54210.html
Du coup, j'ai essayé

dadm: stopped /dev/md11
a@b:~$ sudo mdadm --assemble /dev/md11 --update=force-no-bbl  --run /dev/sdd2[1-3]
mdadm: /dev/md11 has been started with 3 drives (out of 4).
a@b:~$ 

Je pense que tu pourrais essayer cette commande

mdadm -v --assemble --update=force-no-bbl  --readonly --force /dev/md0 /dev/sdc1 /dev/sda1 /dev/sdb1

ATTENTION. Cela semble virer définitivement la liste des bad blocks. Ce n'est probablement pas très bon pour la suite.==> Il faudra relancer un "create"

Dernière modification par geole (Le 25/03/2021, à 14:36)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#13 Le 29/03/2021, à 20:07

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonjour,

Tout d’abord merci Geole pour ton aide et ton temps.

J’ai bien apprécié ton avant dernier message qui répondait bien à mes questions. J’ai appris des choses et c’est top. Je te remercie aussi pour les liens de partage. Pour le moment je les ai lu sans appliquer les manips qu’ils proposaient pour certains, vu que je vais d’abord suivre ton protocole.

C’est demain que je réceptionne mon nouveau disque. Du coup je ferais les opérations ddrescue demain soir.

Mais avant j’ai fait celles d’avant pour récupérer ma table de partition.

sudo   dd if=/dev/sdd of=/$HOME/mbrSDD.img count=34
sudo   dd if=/dev/sda of=/$HOME/mbrSDA.img count=34
sudo   dd  if=/$HOME/mbrSDA.img of=/dev/sdd

Les étapes (que j’ai adaptés à ma config) ont bien fonctionnées. Dans le sens où j’ai pas eu d’erreur.

En voulant retenter de monter le RAID j’ai retrouvé une ancienne erreur…

mdadm -v --assemble --readonly  --force /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm: looking for devices for /dev/md0
mdadm: No super block found on /dev/sdd1 (Expected magic a92b4efc, got 00000407)
mdadm: no RAID superblock on /dev/sdd1
mdadm: /dev/sdd1 has no superblock - assembly aborted

J’avais eu ce soucis de superblock au début.
En complément j’ai d’autres informations :

mdadm -E /dev/sdd1
mdadm: No md superblock detected on /dev/sdd1.

et

lsblk
NAME                                                          MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                                                             8:0    0   1,8T  0 disk                     
└─sda1                                                          8:1    0   1,8T  0 part                     
sdb                                                             8:16   0   1,8T  0 disk                     
└─sdb1                                                          8:17   0   1,8T  0 part                     
sdc                                                             8:32   0   1,8T  0 disk                     
└─sdc1                                                          8:33   0   1,8T  0 part                     
sdd                                                             8:48   0   1,8T  0 disk                     
└─sdd1                                                          8:49   0   1,8T  0 part                  

Hors ligne

#14 Le 07/04/2021, à 19:10

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonjour,

Je viens donner des nouvelles.

Actuellement ddrescue tourne toujours :

sudo ddrescue   -d  -f  -R  -r7   -b4096  -c1    /dev/sdd    /dev/sdg    ddrescueLog

       ipos :  1396 GB, non-trimmed:      0 B, current rate: 0B/s
       opos :  1396 GB, non-scraped:      0 B, average rate : 5614 kB/s
  non-tried :    0 GB,  bad-sector:  31477 kB, error rate : 1365 B/s
    rescued :  2000 GB,     bad areas:           973, run time: 4d 2h 57m
pct rescued :   99.99%,  read errors:        38089, remaining time: n/a
                                                time since last successful read:  6m39s
Retrying bad sectors... Retry 4 (forwards)

Il me reste donc 3 passes à faire. J’ai plutôt envie de le laisser tourner encore (j’ai même pu voir un temps restant de potentiellement 2 jours à un moment…) Sachant que le nombre de bad areas diminue (un peu de temps en temps). Mais si je dois l’arrêter un ctrl - c dans la console suffirait ou pas ?

Et donc après je ferais :

ddrescue --fill-mode=- --force --synchronous /dev/zero /dev/sdX $HOME/SDD

Après, je pensais remettre l’image de la partition (mbrSDA.img avec dd en faisant gaffe aux if et of…) sur le nouveau disque et retenter de réassembler. Mais je pense que je retrouverais l’erreur du not found super block ? À voir bien sûr…

À bientôt

Hors ligne

#15 Le 07/04/2021, à 19:37

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonjour
Merci pour les nouvelles
Tant que le nombre de  bad areas diminue,  laisse tourner. Il y a au démarrage "bad areas:    973" pour une taille de  31477 kB.

Pour en faire un suivi facile, tu peux ouvrir une autre session et faire

ddrescuelog  -tvv  $HOME/SDD

Si au septième passage, il en a encore récupéré un peu, tu peux relancer pour un coup de sept passages.


C'est bien ctrl - c qui va stopper le process
Après, il faut effectivement faire le fill-mode et de nouveau remettre le MBR.
Après, si cela bloque toujours ...... il faudra creuser dur et probablement dupliquer cette duplication afin de faire des erreurs qui pourront être réparées


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#16 Le 11/04/2021, à 19:58

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonsoir,

ddrescue n’a pas amélioré le nombre de bad areas entre la passe 6 et 7. Mais depuis la passe 1 à la 6, oui et au final 29745 kB de bad-sector, je me dis que ça fait peu par rapport à l’ensemble du disque.

Après avoir fait le fill mode et remis le MBR, j’ai retenter d’assembler le RAID.

mdadm -v --assemble --update=force-no-bbl  --readonly --force /dev/md0 /dev/sdc1 /dev/sda1 /dev/sdb1
mdadm: looking for devices for /dev/md0
mdadm: /dev/sdc1 is identified as a member of /dev/md0, slot 0.
mdadm: /dev/sda1 is identified as a member of /dev/md0, slot 2.
mdadm: /dev/sdb1 is identified as a member of /dev/md0, slot -1.
mdadm: no uptodate device for slot 1 of /dev/md0
mdadm: added /dev/sda1 to /dev/md0 as 2
mdadm: no uptodate device for slot 3 of /dev/md0
mdadm: added /dev/sdb1 to /dev/md0 as -1
mdadm: added /dev/sdc1 to /dev/md0 as 0
mdadm: /dev/md0 assembled from 2 drives and 1 spare - not enough to start the array.

Et là je ne sais pas pourquoi, mais j’ai l’impression que mdadm s’attend à avoir 5 disques. Vu que l’on va du slot -1 à 3 et qu’il ne trouve pas le 1 et le 3. Mais il n’y a jamais eu 5 disques… Alors peut-être que je fais une interprétation trompeuse de cette sortie de commande ?

J’ai aussi suivis la réponse dans ce post : https://ubuntuforums.org/showthread.php … st11794874 mais sans résultat.

Et par curiosité j’ai lancé :

mdadm --verbose --create /dev/md1 --chunk=512 --level=5 --raid-devices=4 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: /dev/sda1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Sat Oct  8 12:02:33 2016
mdadm: /dev/sdb1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Sat Oct  8 12:02:33 2016
mdadm: /dev/sdc1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Sat Oct  8 12:02:33 2016
mdadm: /dev/sdd1 appears to contain an ext2fs file system
       size=29295616K  mtime=Sat May 30 21:45:31 2020
mdadm: size set to 1953380352K
mdadm: automatically enabling write-intent bitmap on large array
Continue creating array? n
mdadm: create aborted.

À cette sortie de commande je ne comprends pas pourquoi j’ai 2 « layout defaults to left-symmetric ».

Par contre j’ai remarqué quelque chose de surprenant en lançant « fdisk -l ». Les disques dur qui composent mon raid ont soit un disklabel « dos » soit « gpt ». Et de mémoire le sdd et le sdb était en gpt quand le RAID fonctionnait.

Disk /dev/sdb: 1,8 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: WDC WD20EZRZ-22Z
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: E2ADBC4E-3A98-425B-AF4E-2F8141DC6E08

Device     Start        End    Sectors  Size Type
/dev/sdb1   2048 3907026943 3907024896  1,8T Linux filesystem


Disk /dev/sdc: 1,8 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: TOSHIBA DT01ACA2
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0x7f4a9964

Device     Boot Start        End    Sectors  Size Id Type
/dev/sdc1        2048 3907029167 3907027120  1,8T fd Linux raid autodetect


Disk /dev/sda: 1,8 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: WDC WD20EZRZ-00Z
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0xded74996

Device     Boot Start        End    Sectors  Size Id Type
/dev/sda1        2048 3907029167 3907027120  1,8T fd Linux raid autodetect


Disk /dev/sdd: 1,8 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST2000DM005-2CW1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0xded74996

Device     Boot Start        End    Sectors  Size Id Type
/dev/sdd1        2048 3907029167 3907027120  1,8T fd Linux raid autodetect

Est-ce que ça peut être gênant ou pas ?
Je pense que non, car j’ai essayé de mettre le MBR du sda dans le sdd ou le MBR du sdb dans le sdd, mais ça n’a rien changé sur les commandes d’assemblages. De plus j’ai crus comprendre en cherchant sur le net que ce n’était pas important car mdadm lisait directement les blocks sur les disques.


En conclusion,
Je pense que ça bloque toujours…

EDIT :
Je viens de tomber sur ce blog qui pourrait être une solution. Mail l’auteur n’a pas eu de problème de « layout defaults to left-symmetric ».
https://paregov.net/how-to-recover-mdad … is-zeroed/

Dernière modification par Veemon (Le 11/04/2021, à 20:17)

Hors ligne

#17 Le 12/04/2021, à 13:02

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Bonjour

Veemon a écrit :

Et par curiosité j’ai lancé :

mdadm --verbose --create /dev/md1 --chunk=512 --level=5 --raid-devices=4 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: /dev/sda1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Sat Oct  8 12:02:33 2016
mdadm: /dev/sdb1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Sat Oct  8 12:02:33 2016
mdadm: /dev/sdc1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Sat Oct  8 12:02:33 2016
mdadm: /dev/sdd1 appears to contain an ext2fs file system
       size=29295616K  mtime=Sat May 30 21:45:31 2020
mdadm: size set to 1953380352K
mdadm: automatically enabling write-intent bitmap on large array
Continue creating array? n
mdadm: create aborted.

Je pense que c'est toi qui a répondu non.
A ta place j'aurais accepté la création.    A mon avis cela devrait marcher si on a assez bien reconstruit le disque.
Il est certainnque cela va prendre du temps ( 10 heures?)
Le message (la mise en page est par défaut symétrique à gauche) ne me semble pas grave. Certainement une autre façon de fabriquer que les précédentes (Tu as ajouté deux disques).

Dans ce lien ( https://unix.stackexchange.com/question … -with-data ) on trouve aussi les deux messages ( pas mal d'autres liens avec un seul message)
Il a aussi tenté le créate, et semble  s'être rabattu sur  un assemble


Veemon a écrit :

Par contre j’ai remarqué quelque chose de surprenant en lançant « fdisk -l ». Les disques durs qui composent mon raid ont soit un disklabel « dos » soit « gpt

Ce n'est pas un problème,   Tu utilises des partitions!
Lorsqu'un disque fait plus de 2 To, on est obligé d'utiliser la table de partition GPT
Lorsque le disque fait moins de 2 To, on peut utiliser  les types
    msdos qui consomme 1 secteur.
    gpt    qui consomme   34 secteurs.
Mais dans l'ensemble les partitions ne commencent pas au secteur 1 ni au  35 mais au  n°2048

Veemon a écrit :

Je viens de tomber sur ce blog qui pourrait être une solution. Mail l’auteur n’a pas eu de problème de « layout defaults to left-symmetric ».
https://paregov.net/how-to-recover-mdad … is-zeroed/

En fait il a fait un rescue de tout un disque mais c'était du RAID 1! ce qui change pas mal le contexte, car l'autre disque reste totalement  utilisable...


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#18 Le 13/04/2021, à 08:39

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Salut,

Ce matin au réveil un grand bonheur m'a envahit en lisant ce retour de commande :

mdadm -D /dev/md1 
/dev/md1:
           Version : 1.2
     Creation Time : Mon Apr 12 21:28:42 2021
        Raid Level : raid5
        Array Size : 5860141056 (5588.67 GiB 6000.78 GB)
     Used Dev Size : 1953380352 (1862.89 GiB 2000.26 GB)
      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Tue Apr 13 03:10:27 2021
             State : clean 
    Active Devices : 4
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : bitmap

              Name : *****
              UUID : ee47f3d9:a96a55f0:fe70b419:7737c874
            Events : 3809

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       4       8       49        3      active sync   /dev/sdd1

Par contre par curiosité, puis-je facilement changer le md1 par md0 ?

Et enfin pour la suite, avant de monter mon RAID dois-je lui donner un format fichier comme le ext4 ? Ou avant je dois lancer une commande de vérification des entrées du disque ? Comment bien faire pour éviter de formater l'ensemble des données parce qu'arriver à ce stade ça serait vraiment dommage de tout perdre...

En tout cas encore merci pour ton aide

EDIT : En lisant ça : https://superuser.com/questions/346719/ … 742#346742 j'ai l'impression que c'est possible (changer md1 en md0) mais je me suis aussi rendu compte en relisant le topic mdadm sur ubuntu.fr qu'il y avait peut-être d'autre manip à réaliser après le create comme l’enregistrement du mdam.conf...

Dernière modification par Veemon (Le 13/04/2021, à 08:44)

Hors ligne

#19 Le 13/04/2021, à 10:35

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Veemon a écrit :

Salut,

Ce matin au réveil un grand bonheur m'a envahit en lisant ce retour de commande :

mdadm -D /dev/md1 
/dev/md1:
           Version : 1.2
     Creation Time : Mon Apr 12 21:28:42 2021
        Raid Level : raid5
        Array Size : 5860141056 (5588.67 GiB 6000.78 GB)
     Used Dev Size : 1953380352 (1862.89 GiB 2000.26 GB)
      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Tue Apr 13 03:10:27 2021
             State : clean 
    Active Devices : 4
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 0

Bonjour
L'étape technique est franchie.
La période de décision arrive.
Cette épreuve t'a prouvé que le raids est d'abord de la "fiabilité" lorsque cela fonctionne bien et pas du tout de la sécurité.    Tu aurais pu tout perdre et tu n'avais pas de version  dite moins 1 qui aurait permit de restaurer à quelques jours? quelques semaines? quelques mois? pour retrouver une ancienne situation.
C'est de l'investissement financier. Toi seul sait si tu peux le faire.
   Quelques pistes
     Connaître la taille actuelle occupée par les données
   

 df -ht ext4

      Un gros disque avec une partition de 6 To ou plus pour prendre en compte l'évolution.
      Trois disques  de 2 To     gérés en LVM
      De nouveau 4 disques de 2 To en RAID5
     Réfléchir à la structure de tes données afin de les séparer logiquement en deux
         Celles qui sont vitales et doivent absolument être dupliquées. En fonction de leur volume, tu pourrais alors avoir une structure de secours moins volumineuse.
        Celles  pour lesquelles tu accepteras la disparition en cas  de gros pépin afin d'avoir une sécurité de taille inférieure à 6 To.
   Et fabriquer un script de mise à jour périodique à base de la commande sync qui te permettra de maintenir à niveau la sécurité.

Si tu décides de ne pas  faire un double,  tu peux te lancer immédiatement dans la remise en état logique du raids.
Sinon tu attends d'avoir dupliqué. (Je pense que la duplication est possible avant la remise en état)
En effet , il faut que tu considères que ton disque tout neuf est  l'image d'un disque fichu. Donc, il est lui-même logiquement fichu avec pas loin de 31 Mo de données totalement à zéro ( bad-sector:  31477 kB )
Ce qui peut représenter  beaucoup plus en quantité de fichiers.....
Pour cela l'opération est simple.
    1 ) Déclarer la partition en  FAUTE cela dure quelques secondes

sudo mdadm --manage /dev/md1 --set-faulty /dev/sdX1

Ne te trompe surtout pas de lettre.

lsblk  -fe7 -o +size
sudo blkid
ls -ls /dev/disk/by-id

Sauf erreur de ma part, ce n'est pas cette valeur  WD-WCC4M1HSV1CH (ex-sda)
Ni celle-ci      WDC WD20EZRZ-22Z5HB0 (ex-sdb) Ni 85UTG6GGS (ex-sdc)
Il est aussi possible que les lettres n'aient pas changé et que cela soit toujours SDD
     2)  Dire que la partition est enlevée du RAID. cela ne dure aussi que quelque secondes

sudo mdadm --manage /dev/md1 --remove /dev/sdX1

    3)   Réallouer le même disque car physiquement il est de bonne qualité

sudo mdadm --manage /dev/md1 --add /dev/sdX1

          Regarder la reconstruction se faire pendant de nouveau plusieurs heures.

Je pense qu'il doit rester des traces d'un vieux raid    a supprimer avec cette commande

sudo mdadm --stop /dev/md0

Tu devrais pouvoir accéder aux données du raids avec ce style de commandes

sudo mkdir /media/MD1
sudo chown $USER:$USER /media/MD1
sudo mount -v /dev/md1 /media/MD1
ls -ls /media/MD1

Dernière modification par geole (Le 13/04/2021, à 11:00)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#20 Le 13/04/2021, à 19:27

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Merci

Alors oui actuellement je n’ai pas encore vraiment les ressources pour investir dans du disque. Mais je pense que d’ici cet été j’aurais pu gagner un peu de sous pour smile

J’ai bien suivit les opérations de remise logique du raid. Tout c’est passé très vite… comparé à hier soir.

Mais nouveau problème, ou pas, les bad superblocks font leurs retours…

Lorsque j’ai voulu monter le raid j’ai eu le droit à  :

mount -v /dev/md1 raid/
mount: /raid: wrong fs type, bad option, bad superblock on /dev/md1, missing code page or helper program, or other error.

Alors je pense que je me suis arrêté au mot superblock et que peut-être c’est juste le fs type qui coince ?

Il n’y aurait pas une commande du style : « resize2fs /dev/md1 » ou une version de « mkfs.ext4 /dev/md1 » (qui ne formaterait pas le raid justement mais qui lui indiquerait que c’est du ext4)

Bonne soirée

Hors ligne

#21 Le 14/04/2021, à 11:32

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Veemon a écrit :

Lorsque j’ai voulu monter le raid j’ai eu le droit à  :

mount -v /dev/md1 raid/
mount: /raid: wrong fs type, bad option, bad superblock on /dev/md1, missing code page or helper program, or other error

On va d'abord lancer la commande classique de réparation dans un tel contexte

sudo fsck -v -f /dev/md1

Peux-tu aussi  de nouveau donner ces retours

sudo mdadm --examine /dev/md1
sudo mdadm --examine     /dev/sd[a-d]1
sudo mdadm --examine-badblocks /dev/sd[a-d]1

Dernière modification par geole (Le 14/04/2021, à 11:34)


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#22 Le 14/04/2021, à 18:56

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Salut,

Les retours de commandes :

fsck -v -f /dev/md1
fsck from util-linux 2.33.1
e2fsck 1.44.5 (15-Dec-2018)
ext2fs_open2: Bad magic number in super-block
fsck.ext2: Superblock invalid, trying backup blocks...
fsck.ext2: Bad magic number in super-block while trying to open /dev/md1

The superblock could not be read or does not describe a valid ext2/ext3/ext4
filesystem.  If the device is valid and it really contains an ext2/ext3/ext4
filesystem (and not swap or ufs or something else), then the superblock
is corrupt, and you might try running e2fsck with an alternate superblock:
    e2fsck -b 8193 <device>
 or
    e2fsck -b 32768 <device>
mdadm --examine /dev/md1
mdadm: No md superblock detected on /dev/md1.
mdadm --examine /dev/sd[a-d]1
/dev/sda1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : ee47f3d9:a96a55f0:fe70b419:7737c874
           Name : tonioserveur:1  (local to host tonioserveur)
  Creation Time : Mon Apr 12 21:28:42 2021
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906762928 (1862.89 GiB 2000.26 GB)
     Array Size : 5860141056 (5588.67 GiB 6000.78 GB)
  Used Dev Size : 3906760704 (1862.89 GiB 2000.26 GB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=2224 sectors
          State : clean
    Device UUID : cace0d27:31569c15:785a140c:965902e4

Internal Bitmap : 8 sectors from superblock
    Update Time : Tue Apr 13 19:10:43 2021
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : fa970f5 - correct
         Events : 3816

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : ee47f3d9:a96a55f0:fe70b419:7737c874
           Name : tonioserveur:1  (local to host tonioserveur)
  Creation Time : Mon Apr 12 21:28:42 2021
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906762928 (1862.89 GiB 2000.26 GB)
     Array Size : 5860141056 (5588.67 GiB 6000.78 GB)
  Used Dev Size : 3906760704 (1862.89 GiB 2000.26 GB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=2224 sectors
          State : clean
    Device UUID : 12cfb7b0:4bd13d91:da179a89:7bf94a4d

Internal Bitmap : 8 sectors from superblock
    Update Time : Tue Apr 13 19:10:43 2021
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : fbc3499f - correct
         Events : 3816

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : ee47f3d9:a96a55f0:fe70b419:7737c874
           Name : tonioserveur:1  (local to host tonioserveur)
  Creation Time : Mon Apr 12 21:28:42 2021
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906760704 (1862.89 GiB 2000.26 GB)
     Array Size : 5860141056 (5588.67 GiB 6000.78 GB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=0 sectors
          State : clean
    Device UUID : 8b86c100:de5c8be1:2dbb7bb5:4a732b12

Internal Bitmap : 8 sectors from superblock
    Update Time : Tue Apr 13 19:10:43 2021
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 8cdca11e - correct
         Events : 3816

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : ee47f3d9:a96a55f0:fe70b419:7737c874
           Name : tonioserveur:1  (local to host tonioserveur)
  Creation Time : Mon Apr 12 21:28:42 2021
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906762928 (1862.89 GiB 2000.26 GB)
     Array Size : 5860141056 (5588.67 GiB 6000.78 GB)
  Used Dev Size : 3906760704 (1862.89 GiB 2000.26 GB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=2224 sectors
          State : clean
    Device UUID : 3b667233:62169cb3:3104d9b4:24e43891

Internal Bitmap : 8 sectors from superblock
    Update Time : Tue Apr 13 19:10:43 2021
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 1008fce3 - correct
         Events : 3816

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
mdadm --examine-badblocks /dev/sd[a-d]1
Bad-blocks list is empty in /dev/sda1
Bad-blocks list is empty in /dev/sdb1
Bad-blocks list is empty in /dev/sdc1
Bad-blocks list is empty in /dev/sdd1

J’avoue là je ne comprends plus trop ce qu’il y a…

J’ai vu entre temps un de tes messages qui n’y ai plus, que tu disais que sdb ne s’est pas garnie… Il me semble qu’initialement c’était le disque spare.

EDIT : Je me souviens qu’avant de ne plus pouvoir assembler mon raid, j’avais lancé fsck qui m’avait indiqué ce problème de superblock. En cherchant sur le net j’ai plus ou moins une manip. Et le résultat a été la suppression de la table de partition. J’ai du mal faire une commande je pense.

Dernière modification par Veemon (Le 14/04/2021, à 19:00)

Hors ligne

#23 Le 14/04/2021, à 19:04

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Malgré le retour pessimiste de la seconde commande, essaie

fsck -v -f -b 8193 /dev/md1
fsck -v -f -b 32768 /dev/md1

Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#24 Le 14/04/2021, à 19:22

geole

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Essaie de reconstruire le RAID  en ne mettant que trois partitions  SDA1 SDB1 et SDD1
J'élimine SDC1 car   dans sa structure je n'ai pas vu cette ligne
Used Dev Size : 3906760704 (1862.89 GiB 2000.26 GB)
contrairement aux trois autres

Don si aucun espace n'est utilisé, je ne vois pas la raison de sa présence dans la reconstruction


Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
"gedit admin:///etc/fstab" est proscrit,  utilisez "pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY xdg-open /etc/fstab" Voir  https://doc.ubuntu-fr.org/gedit
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248

Hors ligne

#25 Le 14/04/2021, à 20:25

Veemon

Re : [Échec] RAID5 : impossible de réassembler, no recogniseable superblock

Les fsck n’ont rien retourné.

Juste pour être sûr :

mdadm -S /dev/md1
mdadm --verbose --create /dev/md2 --chunk=512 --level=5 --raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdd1

Je le recrée bien en raid5 avec 3 ou 4 devices du coup ?

Hors ligne