Mise en place d'un serveur de fichiers

guillain · Le 26/04/2008, à 16:33

Bonjour à tous,

Je cherche à construire un serveur de fichiers grande capacité:
Serveur de fichiers pour sauvegarde les ordis du réseaux, les archives, biblio de mp3 et films..
5 x 500Go soit 2,5 To de données en RAID5.

Pour ce qui est de la construction du RAID5, cela ne me pose pas de soucis, j'ai tester il y a qq mois le tuto du site qui est très bien fait...

Néanmoins j'ai quelques questions:

1) Faut-il créer une seule partition de 2500Go (ca va peut-etre faire gros pour le FS). Ou quels tailles de partition est-ce que je peux faire? 1To + 1To + 500Go?

2) En quel format est-ce qu'il faudra que je formate ces gros volumes?

3) J'ai le stresse que l'un des composants du serveur puisse claquer... Sachant que le système sera sur un disque séparer des disques RAID et que le RAID5 sera logiciel, comment est-ce que je peux faire une sauvegarde du RAID, de facon à ce que si le disque système claque (par exemple), je puisse recuperer le RAID sans soucis et donc les données, une fois un nouveau système reconstruit?

Voilà déjà pour mes premières interrogations....
Merci pour votre aide

Hoper · Le 26/04/2008, à 20:35

Bonjour,

Pour ton usage, je pense que tu as fait le bon choix avec du raid logiciel. (si les disques ne sont pas encore achetés, je me demande si il ne faudrait pas mieux partir sur des disques de 1 To... 3 disques en raid5, quite à augmenter (dynamiquement et chaud) ensuite en rajoutant un disque.

Pour ta premiere question, faire des partitions de cette taille serait juste incensé (tu imagine le temps qu'il faudra pour changer la taille ensuite si jamais il te manque quelques Go sur une et que tu en a en trop ailleur etc !?) Vraiment oubli tout de suite.
Il faut que tu utilise LVM. (voir la doc). Si tu as su mettre en place un raid5 software, je t'assure que tu saura utiliser lvm, c'est tres simple a utiliser.
Sur ton raid (non partitioné, donc /dev/md0) tu aura en fait un "groupe de volume" dans lequel tu pourra créer autant de volumes logiques que tu souhaitera. Volumes dont tu pourra ensuite modifier la taille n'importe quand et comme ca te chanteras.
Pour ta deuxième question "que se passe t-il si..." pas de panique. Tu n'a RIEN a sauvegarder pour conserver ton raid. Il te suffira de mettre les disques dans un autre pc sous linux, et tu pourra redemarer le raid sans problèmes, et sans te préocuper de la "place" ou de l'ordre des disques ou de quoi que ce soit d'autre.
Cela dit, un raid ne remplace pas les sauvegardes, et je te conseil vivement, en paralelle de ton raid, de conserver un disque simple qui te servira a sauvegarder au moins les fichiers les plus importants. Je vais meme te conseiller une solution que j'utilise personelement : bacula. Attention, c'est un soft de sauvegarde pro.... Beaucoup plus compliqué a mettre en place et a configurer que le raid ou lvm... mais une fois que c'est fait, tu te preocupe plus de rien et c'est que du bonheur
N'hesite pas à demander si tu as des soucis avec un de ces elements "stockage", je pense avoir une certaine experience dans le domaine...

guillain · Le 26/04/2008, à 23:06

Salut Hoper,

Merci pour ces infos, effectivement, je compte utiliser le raid 5 logiciel et lvm...
Pour les disques, ils sont déjà acheté et c'est 6 x 500Go

Tu n'as pas besoin de sauvegarder le fichier /etc/mdadm/mdadm.conf? Car il faut bien que le système sache qui sont les DD raid et leur ordres et tout... Enfin, il faudrait déjà madm sur les 2 configs et le fichier de configurations non? Voir le fichier fifo /dev/md0?
Je me compliques certainement la vie, mais bon j'ai pas l'habitude de gérer des raids...
Ca me parait curieux, mais bon si c'est comme ca tant mieux c plus simple... Je m'amuserais à faire des tests entre 2 machines pour tester...

Ensuite, une autre question, quelle est la taille maxi que l'on peut donner à une partition (car je me vois pas avec 50 partitions de 50Go...)

Et quel type de format préconise-tu? ext3 ?

Pour la sauvegarde, cela va de soit que l'on est jamais à l'abris!

En tout cas merci pour ton aide

Hoper · Le 26/04/2008, à 23:24

Tu n'as pas besoin de sauvegarder le fichier /etc/mdadm/mdadm.conf?

Et non meme pas... Historiquement, mdadm utilisai effectivement ce fichier de configuration. Maintenant ce fichier ne sert plus a rien (ou plus à grand chose). Je sais qu'il en genere un automatiquement si il n'y en a pas, mais il n'en a vraiment pas besoin pour fonctionner. En fait, toutes les informations relatives au raid (membres, etats etc) sont stockés dans les metadatas du raid, qui se trouve sur le device lui meme. Bref, tu n'a pas a t'en soucier. (Et faire des tests est effectivement la meilleure facon de voir comment tout ca fonctionne).
La commande magique pour reconstuire le raid de l'autre coté ressemblera à :
mdadm --assemble /dev/md0 /dev/aaa1 /dev/bbb1 /dev/ccc1 etc.
Note bien que dans mon exemple, on voit donc que j'ai partitioné chacun des disques (une seule partition bien sur) et c'est cette partition que je met en raid. Je te conseil vraiment de faire comme ca.
Le raid en revanche, tu ne le partitionne pas.

Ensuite, une autre question, quelle est la taille maxi que l'on peut donner à une partition

On ne dit plus une partition mais un volume logique
Il n'y a pas de limite theorique (ou tellement elevée que ce n'est pas avec 6 pauvres disques que tu va l'atteindre Cela dit, d'autres choses sont a prendre en considération, et tout dépend justement du choix du fs.
Le problème de l'ext3, c'est les temps de fsck qui peuvent etre super long.
Cela dit, j'ai des volumes de plus de 500 Go et ca ne pose pas de problèmes.
Je pense que jusqu'a 1 To en ext3 ca reste raisonnable meme si ca commence à etre beaucoup.

Et quel type de format préconise-tu? ext3 ?

Alors ca c'est un sujet sur lequel on pourrait debattre pendant des heures....
Il est meme possible qu'il soit judicieux de choisir des types de fs différents en fonction de ce que tu va réelement mettre dessu (et la je manque d'infos...)
En méga résumé, ext3 est le choix à faire si la fiabilité globale (surtout en cas de badblock) est prioritaire sur absolument tout le reste (capacité, performances....) Après c'est au cas par cas que ca se discute...

Edit : Si tu peux te permettre de "perdre" 500 Go de plus, je te conseil de laisser un disque en spare, ou mieux encore, de partir sur du raid6, ce qui augmentera encore la sécurité. Par contre, en raid6, je ne suis pas sur qu'il soit possible ensuite de l'etendre... donc le raid5 a tout de meme cette avantage la (en plus d'etre evidement mieux connu, plus testé etc).
Autre chose (extremement important, je t'assure que je parle en connaissance de cause) il faut repartir les disques sur un maximum de controleur. J'avais une carte pci qui controlait deux disques dans un raid5 perso. (un disque ide par nappe, ca c'est primordiale). La carte s'est mise à déconer à plein tube... résultat, deux disques corrompu et au revoir le raid....

Dernière modification par Hoper (Le 26/04/2008, à 23:27)

guillain · Le 27/04/2008, à 08:06

Hoper a écrit :

En fait, toutes les informations relatives au raid (membres, etats etc) sont stockés dans les metadatas du raid, qui se trouve sur le device lui meme. Bref, tu n'a pas a t'en soucier. (Et faire des tests est effectivement la meilleure facon de voir comment tout ca fonctionne).
La commande magique pour reconstuire le raid de l'autre coté ressemblera à :
mdadm --assemble /dev/md0 /dev/aaa1 /dev/bbb1 /dev/ccc1 etc.

Ok, ca me va beaucoup mieux comme explication!

Hoper a écrit :

Le problème de l'ext3, c'est les temps de fsck qui peuvent etre super long.
Cela dit, j'ai des volumes de plus de 500 Go et ca ne pose pas de problèmes.
Je pense que jusqu'a 1 To en ext3 ca reste raisonnable meme si ca commence à etre beaucoup.
Et quel type de format préconise-tu? ext3 ?
Alors ca c'est un sujet sur lequel on pourrait debattre pendant des heures....
Il est meme possible qu'il soit judicieux de choisir des types de fs différents en fonction de ce que tu va réelement mettre dessu (et la je manque d'infos...)

Ok.
Le serveur va surtout avoir un but de stockage et c'est tout à priori...
Les disques sont des WD5000ABPS en SATA2

Ensuite, je voyais bien une répartition de cette facon:
Volume 1: 400 Go - sauvegarde des autres orinateurs du réseaux
Volume 2: 1 To - Sauvegarde de photos & mp3 (donc en gros des milliers de fichiers qui oscillent entre 2 et 5Mo)
Volume 3: 1 To - Fichiers videos qui sont des fichiers de plusieurs centaines de Mo voir qq Go

Bon évidemment la taille des volumes n'est qu'à titre indicatif pour l'instant....

Hoper a écrit :

Edit : Si tu peux te permettre de "perdre" 500 Go de plus, je te conseil de laisser un disque en spare, ou mieux encore, de partir sur du raid6, ce qui augmentera encore la sécurité. Par contre, en raid6, je ne suis pas sur qu'il soit possible ensuite de l'etendre... donc le raid5 a tout de meme cette avantage la (en plus d'etre evidement mieux connu, plus testé etc).

Je pense effectivement rester en RAID5 car c'est le plus "rodé" va-t-on dire... Ensuite concernant le disque de spare c'est effectivement une solution à laquelle on a penser. Je vais surement prendre un nouveau disque d'ici quelques semaines...

Hoper a écrit :

Autre chose (extremement important, je t'assure que je parle en connaissance de cause) il faut repartir les disques sur un maximum de controleur. J'avais une carte pci qui controlait deux disques dans un raid5 perso. (un disque ide par nappe, ca c'est primordiale). La carte s'est mise à déconer à plein tube... résultat, deux disques corrompu et au revoir le raid....

Alors on a des disques SATA donc il y a forcement un controleur par disque... Ensuite, le point faible c'est que tous ces controleurs sont gérés par la carte-mère... Les cartes controleurs que l'on a vu était un peu hors de prix...

Bon je vais essayer de re-regarder les tuto raid & lvm pour voir si j'ai pas des questions...
Merci!

Hoper · Le 27/04/2008, à 10:54

Donc tu pars d'emblé sur des volumes de 1 To... (qui grossiront surement dans le temps...) Pas de soucis particulier, mais si tu peux les découper en deux d'une façon ou d'une autre, hésite pas (pour les videos, peut etre que tu pourrai distinguer les films et les series ou un truc dans le genre...) bref, si tu peux diviser tes volumes grosso modo en deux, fait le, sinon ce n'est pas grave.
Dis toi aussi que coté utilisateur, ca ne changera rien... en effet, tu pourra monter un volume dans /truc, puis une second volume dans /truc/machin, et enfin partager /truc qui sera monté sur les clients. Pour eux, tout sera dans /truc, meme si deriere il y a en fait deux volumes.

Sinon tu as instinctivement aussi divisé en fonction du type de donné et de leur taille. Entre des milliers de fichier de 2 ou 3 Mo et des centaines de fichiers de plusieurs centaine de Mo, ce n'est pas vraiment la meme chose coté fs. Regarde donc les parametrages de ext3, je te conseil si tu veux gagner un peu de place (surtout ne pas trop en perdre) et gagner un peu en perf etc, de te renseigner sur le fichier : /etc/mke2fs.conf
et de par exemple créer le volume qui contiendra les vidéos avec une option de ce genre :
mkfs.ext3 -T largsefile4 /dev/...

(et surement largefile pour les mp3).

Voila... pas d'autres remarques.... Donc bein... amuse toi bien

B@rtounet · Le 27/04/2008, à 12:28

Sujet ma foie très interessant...
Je me permet juste de faire une petite remarque..
Tu semble vouloir mettre en place une solution Raid professionelle, ne crois tu pas qu'il est plus judicieux de se baser sur une vraie carte Raid, avec de la mémoire ECC, une batterie etc...

Linux fait très bien son boulot, mais une vrai carte raid c'est quand même autre chose, plus de performance, moins d'overhead

En ce qui concerne le système de fichiers, je suis aussi d'avis de mettre un fs par type de données stockées...
Il est vrai qu'ext3 est assez robustes et polyvalent, mais la verif du fs est très longue...

J'ai beaucoup utilisé sur un serveur de messagerie (bcp de petits fichiers) le xfs, qui est à mon avis hyper robuste et performant et surtout la verif est instantanée

Hoper · Le 27/04/2008, à 14:11

Avec des tas de petits fichiers, je conseillerai plutot reiserfs...
A mon avis meilleur en perfs que xfs, et lui aussi verifie de facon instantané. L'avantage sur xfs c'est que tu peux diminuer la taille d'un fs en reiserfs... pas en xfs a ma connaissance.
Quand à la carte raid, c'est quand meme tres cher, et le jour ou elle tombe en panne...

B@rtounet · Le 27/04/2008, à 15:16

Bah tout dépend le but de son raid...
Si c'est professionnel, il faut pouvoir garantir l'intégrité des données...
avec de la mémoire ecc tu es sur qu'il n'y a pas d'erreurs... j'ai deja vu du raid logiciel corompre les données...
après les performances sont aussi bien meilleures et ne dépende pas du système et de la puissance cpu

Hoper · Le 27/04/2008, à 15:19

Ah non mais je suis pas en train de dire du mal du raid hardware hein !!!
Je dis juste que c'est très cher, et que pour un particulier c'est la loose totale si la carte tombe en panne (ce qui tres peu probable mais pas impossilble). Evidement une société elle s'en fiche, la carte, tout le serveur en fait, est peut etre sous contrat constructeur avec intervention et remplacement dans les deux heures en cas de problèmes etc... bref, on joue plus dans la meme cour... Mais la j'ai plutot l'impression que c'est perso, ou très "TPE".

L3R4F · Le 04/05/2008, à 02:53

C'est vraiment déconseillé de faire une partoche de 3To pour un serveur de fichiers perso qui reste toujours allumé?
J'en ai un peu marre d'avoir le cul entre 4 partitions remplies au 3/4

guillain · Le 09/05/2008, à 11:04

Salut Hoper,

Voici donc un peu la méthode que je comptes utiliser et les interrogations que j'ai:
N'hésites pas à corriger si j'ai louper un épisode...

####################################################################
#AJOUT DES DISQUES DURS DANS LINUX:
####################################################################
http://doc.ubuntu-fr.org/tutoriel/comment_ajouter_un_disque_dur

dmesg | grep sd[a-z] (cas de disque SATA)

Repérer le nom de logique de mon disque système (non raid)
Action que je compte faire pour chaque disque dur:
- Arrêter le serveur
- Ajouter le nouveau disque et redémarrer serveur
- repérer le nom logique du disk (cela permet d'associer sur le disque physique le nom du disque logique avec une étiquette)

- Partitionner le nouveau disque dur sudo cfdisk /dev/hda
(Pour chaque disque de 500Go, je comptais faire une seule partition... le découpage se fera dans LVM)
- Je crois pas qu'il faille les mettre dans le /etc/fstab car ca sera plutot le volume RAID que l'on mettra.
- Recommencer pour les 5 autres disques

####################################################################
#MISE EN PLACE DU RAID LOGICIEL:
####################################################################
http://doc.ubuntu-fr.org/raid_logiciel

apt-get install mdadm

Création d'un fichier FIFO
mknod /dev/md0 b 9 0

?-> A quoi correspond la partie " b 9 0"? J'avoue ne pas comprendre les explications du man...

Création du RAID:
mdadm --create /dev/md0 --level=5 --raid-devices=6 /dev/sd[bcdefg]1 --spare-devices=1 /dev/sdh1

Pour un chargement quotidien:
mdadm --daemonise /dev/md0

####################################################################
# MISE EN PLACE DE LVM
####################################################################
http://doc.ubuntu-fr.org/lvm

Alors c'est dans cette partie que c'est le grand inconnu car je connais pas lvm

- apt-get install lvm2
- /etc/init.d/lvm start

Pour mon cas en RAID, je suppose que je dois monter mon système comme ceci, je suppose:

Création des PV:
- pvcreate /dev/md0

( En marche normal: pvcreate /dev/sdX1 )

Création du VG:
- vgcreate lvmvg /dev/md0
Pour vérifier: vgdisplay
( En marche normal (sans raid): - vgcreate lvmvg /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1)

Création des LV: (exemples)
- lvcreate -n /dev/lvm/vol1 -L 500g lvmvg
- lvcreate -n /dev/lvm/vol2 -L 500g lvmvg
- lvcreate -n /dev/lvm/vol3 -L 500g lvmvg

Après je suis un peux perdu pour monter mon volume...

J'imagine un truc comme ceci:

- Formater le volume RAID nouvellement créé : (on admettera que l'on format ds cet exemple en ext3)

mkfs.ext3 -j /dev/lvm/vol1
mkfs.ext3 -j /dev/lvm/vol2
mkfs.ext3 -j /dev/lvm/vol3

- Dans le /etc/fstab:
/dev/lvm/vol1 mnt/raid/vol1 ext3 defaults 0 1
/dev/lvm/vol1 mnt/raid/vol2 ext3 defaults 0 1
/dev/lvm/vol1 mnt/raid/vol3 ext3 defaults 0 1

- Création du dossier de montage:
mkdir /mnt/raid/vol1
mkdir /mnt/raid/vol2
mkdir /mnt/raid/vol3

Et enfin, je pourrais bosser quotidiennement sur les volumes /mnt/raid/volX...

pouchat · Le 09/05/2008, à 11:58

bonjour,

je vais pas apporter de solutions techniques à ton problème, mais une petite réflexion s'impose :

- le serveur doit être disponible, en plus de cela tu fais du stockages : achete plutôt une carte controleur et fait du RAID 5 matériel. Non seulement tu vas galérer (config...) pour pas grand chose mais en cas de problème d'un disque tu vas perdre plus de temps à reconstruire et les perfs sont pas terribles en logiciel.

- si tu peux pas acheter de carte alors réserve plus simplement des disques en tant que backups (utilises un script rsync, rdiff-backup...). Tu maîtriseras plus facilement en cas de crash et meme en cas de perte d'un fichier. La structure en sera que plus claire.

- n'utilise que de l'ext3 en système de fichier : le plus supporté, le plus utilisé. Les trucs genre ZFS, ReiserFS c'est bien beau mais encore une fois en cas de crash ou corruption de données, un système de fichier exotique est un problème.

Dernière modification par pouchat (Le 09/05/2008, à 11:59)

guillain · Le 12/05/2008, à 19:45

up

Hoper · Le 12/05/2008, à 20:49

Remarques envoyées par mail

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 26/04/2008, à 16:33

Mise en place d'un serveur de fichiers

#2 Le 26/04/2008, à 20:35

Re : Mise en place d'un serveur de fichiers

#3 Le 26/04/2008, à 23:06

Re : Mise en place d'un serveur de fichiers

#4 Le 26/04/2008, à 23:24

Re : Mise en place d'un serveur de fichiers

#5 Le 27/04/2008, à 08:06

Re : Mise en place d'un serveur de fichiers

#6 Le 27/04/2008, à 10:54

Re : Mise en place d'un serveur de fichiers

#7 Le 27/04/2008, à 12:28

Re : Mise en place d'un serveur de fichiers

#8 Le 27/04/2008, à 14:11

Re : Mise en place d'un serveur de fichiers

#9 Le 27/04/2008, à 15:16

Re : Mise en place d'un serveur de fichiers

#10 Le 27/04/2008, à 15:19

Re : Mise en place d'un serveur de fichiers

#11 Le 04/05/2008, à 02:53

Re : Mise en place d'un serveur de fichiers

#12 Le 09/05/2008, à 11:04

Re : Mise en place d'un serveur de fichiers

#13 Le 09/05/2008, à 11:58

Re : Mise en place d'un serveur de fichiers

#14 Le 12/05/2008, à 19:45

Re : Mise en place d'un serveur de fichiers

#15 Le 12/05/2008, à 20:49

Re : Mise en place d'un serveur de fichiers

Pied de page des forums