[Résolu] BackupPC très lent sur machine distante

notezik · Le 13/06/2017, à 17:41

Bonjour à toutes et tous,

Voilà mon problème. J'ai un serveur avec backuppc que j'ai configurer pour sauvegarder mes machines. Sur le serveur lui-même, tout fonctionne très bien. Les incrémentales mettent une dizaine de minutes, et tout roule (je sauvegarde sur un raid en prise sata).

Mais sur les machines distantes, c'est extrêmement lent, et je ne comprends pas pourquoi... Par exemple sur la machine 192.168.0.11 :

Sauvegarde n° 	Type 	Fusionnée 	Niveau 	Date de démarrage 	Durée (min) 	Âge (jours) 	Chemin d'accès de la sauvegarde sur le serveur
86 	complète 	oui 	0 	5/19 19:00 	639.3 	24.9 	/raid/server/pc/192.168.0.11/86
87 	incrémentielle 	non 	1 	5/22 19:00 	194.0 	21.9 	/raid/server/pc/192.168.0.11/87
88 	incrémentielle 	non 	1 	5/26 09:00 	361.1 	18.4 	/raid/server/pc/192.168.0.11/88
89 	incrémentielle 	non 	1 	5/29 09:00 	813.4 	15.4 	/raid/server/pc/192.168.0.11/89
90 	incrémentielle 	non 	1 	6/8 08:00 	1482.9 	5.4 	/raid/server/pc/192.168.0.11/90

Je ne trouve pas comment trouver mon problème... L'écriture sur le raid est rapide (j'ai fait le test avec dd), et la sauvegarde locale envoie aussi vers raid et elle ne pose pas de problème.
Quelqu'un-e peut m'aider ?
Merci !!!

Maxime

Dernière modification par notezik (Le 18/06/2017, à 00:07)

notezik · Le 14/06/2017, à 15:43

Up ?

maxire · Le 14/06/2017, à 16:00

Salut,

1482,9 minutes plus de 24h pour la sauvegarde incrémentielle numéro 90, ai-je bien lu?
C'est un record à marquer dans le livre Guinness.

Plus sérieusement, fournis-nous les fichiers de configuration utilisés.
+ le journal de sauvegarde numéro 90 + les tailles des sauvegardes de la machine que tu donnes en exemple.

Sans eux, je ne vois pas bien comment tu peux trouver une solution.

Dernière modification par maxire (Le 14/06/2017, à 16:00)

notezik · Le 14/06/2017, à 16:59

Merci de la réponse ! Voici quelques infos supplémentaires :

Récapitulatif de la taille des fichier et du nombre de réutilisations

- Sauvegarde 90, incrémentielle,

Totaux : nombre de fichiers 81077, taille (Mo) 22072.1, vitesse (Mo/s) 0.25
Fichiers existants : nombre de fichiers 71141 , taille (Mo) 20491.5
Nouveau fichier : nombre de fichiers 10146, taille (Mo) 1581.4

Fichier de config

Voici le fichier de conf de la machine distance /etc/backuppc/192.168.0.11.pl

$Conf{ClientCharsetLegacy} = 'utf-8';
$Conf{SmbShareUserName} = 'mc';
$Conf{XferMethod} = 'rsync';
$Conf{BlackoutPeriods} = [
  {
    'hourEnd' => 17,
    'weekDays' => [
      1,
      2,
      3,
      4,
      5,
      6,
      7
    ],
    'hourBegin' => 2
  }
];
$Conf{IncrAgeMax} = 30;
$Conf{BackupFilesOnly} = {
  '*' => [
    '/home',
    '/root',
    '/media/OS/Users/chupin'
  ]
};
$Conf{RsyncShareName} = [
  '/'
];
$Conf{FullPeriod} = '27.97';
$Conf{IncrKeepCnt} = 5;
$Conf{IncrPeriod} = '2.97';
$Conf{RsyncClientCmd} = '$sshPath -q -x -l root $host $rsyncPath $argList+';
$Conf{RsyncClientPath} = '/usr/bin/rsync';
$Conf{RsyncClientRestoreCmd} = '$sshPath -q -x -l root $host $rsyncPath $argList+';
$Conf{RsyncArgs} = [
  '--numeric-ids',
  '--perms',
  '--owner',
  '--group',
  '-D',
  '--links',
  '--hard-links',
  '--times',
  '--recursive'
];
$Conf{RsyncRestoreArgs} = [
  '--numeric-ids',
  '--perms',
  '--owner',
  '--group',
  '-D',
  '--links',
  '--hard-links',
  '--times',
  '--relative',
  '--ignore-times',
  '--recursive'
];

Le config.pl est un peu trop grand. Peut-être y a-t-il des infos importantes ? Je suis en rsync avec la méthode root décrite dans la documentation ubuntu (donc avec la clé ssh).

Merci

maxire · Le 14/06/2017, à 17:49

22 Go à sauvegarder, cela n'a rien d'extraordinaire, par contre une vitesse de 0,25 Mo/s c'est totalement fou.
Est-ce un réseau local?

Et le journal de la sauvegarde, que contient-il?
Il devrait pouvoir indiquer si un des répertoires sauvegardés pose problème.

/media/OS/users/chupin, qu'est-ce que c'est?
Un media amovible?

notezik · Le 14/06/2017, à 18:06

Oui c'est la vitesse, et je ne comprends pas d'où ça vient. C'est bien un réseau local qui fonctionne très bien. En ssh, je peux copier de gros fichiers sans aucun soucis.

Le journal de sauvegarde, c'est quoi exactement ? sur l'interface, j'ai le journalXfer, mais il contient les infos pour la dernière sauvegarde complete (et pas incrémetale).

/media/OS/users/chupin, c'est ce que je veux sauvegarder de mon dualboot windows.

maxire · Le 14/06/2017, à 18:37

Normalement tu as accès aux journaux via l'interface <<Historique des journaux>> mais tu dois le trouver dans /var/lib/backuppc/pc/192.168.0.11/LOG.062017 ou quelque chose du genre.

Un exemple de contenu de ce journal:

2017-05-01 16:00:01 incr backup started for directory /etc
2017-05-01 16:00:03 incr backup started for directory /home
2017-05-01 16:03:50 incr backup started for directory /var/lib/pacman
2017-05-01 16:03:59 incr backup started for directory /usr/local
2017-05-01 16:04:00 incr backup 30 complete, 75160 files, 75160 bytes, 0 xferErrs (0 bad files, 0 bad shares, 0 other)
2017-05-01 16:04:00 Removing unfilled backup 22
2017-05-01 16:04:00 BackupPC_backupDelete: removing #22
2017-05-01 16:04:00 BackupPC_backupDelete: No prior backup for merge
2017-05-01 16:04:12 BackupPC_refCountUpdate: host asus-arch got 0 errors (took 12 secs)
2017-05-01 16:04:12 Finished BackupPC_backupDelete, status = 0 (running time: 12 sec)

Dernière modification par maxire (Le 14/06/2017, à 18:39)

notezik · Le 14/06/2017, à 23:37

Okay, j'ai rien. Enfin c'est chelou :

2017-06-08 08:00:01 incr backup started back to 2017-05-19 19:00:01 (backup #86) for directory /
2017-06-09 08:42:56 incr backup 90 complete, 81077 files, 23144315955 bytes, 2 xferErrs (0 bad files, 0 bad shares, 2 other)

maxire · Le 15/06/2017, à 08:11

Le problème est ici dans la configuration:

$Conf{BackupFilesOnly} = {
  '*' => [
    '/home',
    '/root',
    '/media/OS/Users/chupin'
  ]
};
$Conf{RsyncShareName} = [
  '/'
];

En clair, rsync balaie toute l'arborescence de la machine cible et filtre les fichiers à sauvegarder.
Très mauvaise méthode car très longue.
Donc tu supprimes le paramètre $Conf{BackupFilesOnly} et tu modifies le paramétrage en mettant:

$Conf{RsyncShareName} = [
  '/home',
  '/root',
  '/media/OS/Users/chupin'
];

et cela devrait mieux aller.

En prime je ne comprends pas très bien pourquoi tu modifies les arguments de rsync, ceux proposés par backuppc devraient faire le boulot.
Mais bon, à toi de voir.

notezik · Le 15/06/2017, à 14:11

Okay, j'ai fait les modifs. Je viens de lancer une sauvegarde complète. On va voir combien de temps ça prend.
Pour les arguments de rsync, j'ai modifié quoi ?
Je veux bien les options de backuppc que je ne trouve pas dans la doc.
Merci !

maxire · Le 15/06/2017, à 14:46

Tu as ajouté certainement involontairement ceci dans le fichier de configuration:

$Conf{RsyncArgs} = [
  '--numeric-ids',
  '--perms',
  '--owner',
  '--group',
  '-D',
  '--links',
  '--hard-links',
  '--times',
  '--recursive'
];
$Conf{RsyncRestoreArgs} = [
  '--numeric-ids',
  '--perms',
  '--owner',
  '--group',
  '-D',
  '--links',
  '--hard-links',
  '--times',
  '--relative',
  '--ignore-times',
  '--recursive'
];

Si ce sont, comme je le pense, les options utilisées par backuppc avec rsync, cet ajout est inutile et même dangereux en cas de livraison d'une nouvelle version de backuppc avec une utilisation de rsync modifiée.

notezik · Le 16/06/2017, à 13:41

Re,
Alors, on dirait qu'on s'approche de la compréhension de la chose.
Ma sauvegarde complète n'a toujours pas finie MAIS, j'ai dans le journal :

2017-06-15 16:26:25 full backup started for directory /root; updating partial #95
2017-06-15 16:26:28 full backup started for directory /home; updating partial #95
2017-06-15 20:46:29 full backup started for directory /media/OS/Users/chupin; updating partial #95

Donc c'est la sauvegarde de /media/OS/Users/chupin qui est une partition windows montée sous linux. C'est sans doute du à ça alors. Est-ce qu'il y a une parade ?

maxire · Le 16/06/2017, à 15:29

Je n'ai pas de parade à proposer si ce n'est que pour sauvegarder une partition Windows, à l'époque où je le faisais, je passais par le SE Windows démarré et un démon Rsyncd sous Windows (à ne pas confondre à rsync via ssh) et je n'avais aucun problème.
La sauvegarde se limitait aux répertoires utilisateurs..
Depuis j'ai banni définitivement Windows.

Qu'est-ce que tu tentes de sauvegarder exactement de Windows?
Des données utilisateurs ou bien toute la partition système ntfs?

Quel Windows?
7, 8, 10 ou autre?

Le mode hibernation de l'arrêt de Windows est-il désactivé?

Dernière modification par maxire (Le 16/06/2017, à 15:32)

notezik · Le 16/06/2017, à 16:08

C'est bien les données utilisateurs, et c'est windows 10 avec l'hibernation désactivée.
Je n'ai pas réussi à faire une sauvegarde avec rsyncd car comme j'attribue une IP fixe à ma machine, la config de backuppc pour gérer deux machines avec la même IP n'est pas possible (?).
Je vais vérifié que ça vient bien de ça, et enlever cette sauvegarde et la faire depuis windows plutôt.

Merci.

maxire · Le 16/06/2017, à 16:50

notezik a écrit :

j'attribue une IP fixe à ma machine

Pour attribuer une ip fixe différente à une même carte ethernet en fonction du système d'exploitation tu peux jouer avec le nom d'hôte envoyé par le client dhcp lors de son enregistrement auprès du serveur dhcp.
Je ne sais plus quel est le numéro d'option DHCP utilisé par contre j'ai un exemple avec dnsmasq:

# Give the machine which says its name is "bert" IP address
# 192.168.0.70 and an infinite lease
#dhcp-host=bert,192.168.0.70,infinite
#dhcp-host=aspire7730z-arch,192.168.0.8
dhcp-host=Arch-repair,192.168.0.6

Ici Arch-repair correspond à une machine en multi-boot, dans le cas normal d'un nom d'hôte différent de Arch-repair c'est une ip dynamique sinon une ip fixe de valeur 192.168.0.6 qui est affectée.

Donc plutôt que d'utiliser une adresse Mac pour affecter une adress IP fixe tu pourrais utiliser 2 noms d'hôtes différents en fonction du système d'exploitation par exemple:

# Give the machine which says its name is "bert" IP address
# 192.168.0.70 and an infinite lease
#dhcp-host=bert,192.168.0.70,infinite
#dhcp-host=aspire7730z-arch,192.168.0.8
dhcp-host=machine-ubuntu,192.168.0.6
dhcp-host=machinewindows,192.168.0.7

De plus rien n'oblige d'utiliser une adresse IP dans la configuration de tes sauvegardes backuppc, tu peux parfaitement utiliser des FQDN à la place, c'est beaucoup plus souple et t'évite de définir une IP fixe pour chaque machine sauvegardée.
Dans ce cas il suffit alors de définir des noms d'hôtes différents pour une même machine physique en fonction du système démarré et peu importe l'adresse IP affectée.

Dernière modification par maxire (Le 16/06/2017, à 16:55)

notezik · Le 16/06/2017, à 17:28

Okay, merci, je vais approfondir. Mais, en fait, voilà plus d'une heure trente que je viens de lancer une nouvelle sauvegarde mais cette fois incrémentale, et il n'a toujours pas fini... Ce qui est très surprenant vu que pas grand choses a changé depuis la dernière complète (j'ai ajouté quelques photos hier soir c'est tout). Donc j'ai toujours un problème.

2017-06-16 15:50:22 incr backup started back to 2017-06-15 12:35:49 (backup #92) for directory /root
2017-06-16 15:50:24 incr backup started back to 2017-06-15 12:35:49 (backup #92) for directory /home

notezik · Le 16/06/2017, à 17:53

Pour info, toutes mes interfaces réseaux sont bien en Gigabit et j'ai fait le test suivant :

dd if=/dev/zero of=test bs=500M count=1; scp test XXX@192.168.0.10:/dev/null;
test                                                                                 100%  500MB  41.7MB/s   00:12

Dernière modification par notezik (Le 16/06/2017, à 17:54)

maxire · Le 16/06/2017, à 17:59

J'ai l'impression que ta base de données backuppc est en vrac, ici je lis une référence à une sauvegarde numéro 92 et dans le journal de la sauvegarde complète je lis une référence à une sauvegarde partielle numéro 95.

Quelque chose m'échappe...

J'utilise en ce moment une version 4 de Backuppc et je suppose que tu utilises une version 3.
Les fonctionnement internes de ces deux versions sont sensiblement différents.
Ce que je peux dire c'est que lors du passage à la version 4 les sauvegardes se sont mises à ramer et j'ai liquidé les anciennes sauvegardes en version 3, ce qui dans mon cas n'a pas d'importance puisque je ne conserve rien d'âgé de plus de 1 mois.
Je possède par ailleurs des sauvegardes intangibles hors backuppc pour tous les documents sensibles.

notezik · Le 18/06/2017, à 00:07

Okay, donc j'ai supprimé toutes les sauvegardes, et j'ai relancé et ça semble fonctionner. Pour supprimer les anciennes sauvegardes, j'ai suivi les instructions suivantes (en root) :

cd /raid/server/pc/192.168.0.11
rm -fR *
su backuppc
/usr/share/backuppc/bin/BackupPC_nightly 0 255

J'espère ne plus avoir de problème. Je mets résolu, et je reviendrai si j'ai d'autres soucis. Merci en tout cas !

maxire · Le 18/06/2017, à 07:15

Donc la base de données était bien en vrac!
Conserve tout de même la configuration corrigée ce sera tout de même plus efficace et surtout le journal te donnera plus d'information sur les temps de sauvegardes par répertoires.

Remarque:
Je vois que tu ne sauvegardes pas le répertoire /etc, ce serait une bonne idée de le faire car il contient pratiquement toutes les configurations des applications.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 13/06/2017, à 17:41

[Résolu] BackupPC très lent sur machine distante

#2 Le 14/06/2017, à 15:43

Re : [Résolu] BackupPC très lent sur machine distante

#3 Le 14/06/2017, à 16:00

Re : [Résolu] BackupPC très lent sur machine distante

#4 Le 14/06/2017, à 16:59

Re : [Résolu] BackupPC très lent sur machine distante

#5 Le 14/06/2017, à 17:49

Re : [Résolu] BackupPC très lent sur machine distante

#6 Le 14/06/2017, à 18:06

Re : [Résolu] BackupPC très lent sur machine distante

#7 Le 14/06/2017, à 18:37

Re : [Résolu] BackupPC très lent sur machine distante

#8 Le 14/06/2017, à 23:37

Re : [Résolu] BackupPC très lent sur machine distante

#9 Le 15/06/2017, à 08:11

Re : [Résolu] BackupPC très lent sur machine distante

#10 Le 15/06/2017, à 14:11

Re : [Résolu] BackupPC très lent sur machine distante

#11 Le 15/06/2017, à 14:46

Re : [Résolu] BackupPC très lent sur machine distante

#12 Le 16/06/2017, à 13:41

Re : [Résolu] BackupPC très lent sur machine distante

#13 Le 16/06/2017, à 15:29

Re : [Résolu] BackupPC très lent sur machine distante

#14 Le 16/06/2017, à 16:08

Re : [Résolu] BackupPC très lent sur machine distante

#15 Le 16/06/2017, à 16:50

Re : [Résolu] BackupPC très lent sur machine distante

#16 Le 16/06/2017, à 17:28

Re : [Résolu] BackupPC très lent sur machine distante

#17 Le 16/06/2017, à 17:53

Re : [Résolu] BackupPC très lent sur machine distante

#18 Le 16/06/2017, à 17:59

Re : [Résolu] BackupPC très lent sur machine distante

#19 Le 18/06/2017, à 00:07

Re : [Résolu] BackupPC très lent sur machine distante

#20 Le 18/06/2017, à 07:15

Re : [Résolu] BackupPC très lent sur machine distante

Pied de page des forums