[Script] sauvegarde automatique/manuelle des fichiers sur un serveur

nesthib · Le 01/08/2009, à 19:02

Bonjour,

afin de ne pas risquer de perdre ses données importantes à cause d'une panne ou d'un crash la prudence conseille de sauvegarder ses données, on y pense une fois, deux fois et après on oublie et c'est le drame
je vous fais donc profiter d'un script que j'ai amélioré au cours du temps (merci PP pour la base) et qui sauvegarde tous les jours le contenu de plusieurs dossiers de travail sur un serveur.

Prérequis :
- avoir un accès ssh sur un serveur de sauvegarde
- avoir installé rsync sur la machine et le serveur
- avoir installé zenity

Fonctionnalités :
- juste besoin de lister les dossiers et fichiers à sauvegarder dans un fichier texte une fois le script configuré
- vérifie l'état de la connexion et fait un ping sur le serveur avant la sauvegarde
- crée un log hebdomadaire des fichiers sauvegardés
- affiche une jolie notification à la fin de la sauvegarde
- si on clique sur l'icone de notification, affiche la liste des fichiers sauvegardés

Voici le contenu du script

#!/usr/bin/env bash
# rsync from this host to the backup server

#options de sauvegarde manuelle interactive
if [ "$*" = "-m" -o "$*" = "--manual" ]; then
	MODE="Manual"
else
	MODE="Automatic"
fi

#vérification de la connection réseau et boucle en attente de connexion
# eth est à adapter en fonction du nom de votre carte réseau, ici eth pour eth0 + eth1 (ethernet ou wifi)
ETH="eth"
WAIT=0
while [ `ifconfig | grep -A1 ${ETH} | sed -n 's/.*adr:\([0-9]*\.[0-9]*\.[0-9]*\.[0-9]*\).*/\1/p' | wc -c` = 0 ]; do
	WAIT=1
	sleep 5
	echo waiting
done
#laisse un peu de temps si la connexion était coupée
if [ ${WAIT} = 1 ]; then
	sleep 5
fi

#définition des variables
#------------------------
SCRIPT_PATH=~/scripts/backup		#chemin du dossier contenant le script
SRC_FOLDER=~/					#chemin du dossier local contenant les fichiers à sauvergarder
SAVELIST=${SCRIPT_PATH}/savelist	#fichier texte contenant la liste des fichiers et sous-dossiers de SRC_FOLDER à sauvegarder
#------------------------ 
USER=nom_utilisateur				#nom d'utilisateur ssh sur le serveur
REMOTE_HOST=server.domain.fr		#adresse distante du serveur de sauvegarde
ALT_HOST=server.local				#adresse locale du serveur de sauvegarde
DST_FOLDER=backup				#nom du dossier de sauvegarde sur le serveur
#------------------------
NICE=5					#priorité donnée au script
#------------------------

#teste si on est en local, auquel cas changement de nom de serveur
ping -c 2 -d ${ALT_HOST} && REMOTE_HOST=${ALT_HOST}

LOGIN=${USER}@${REMOTE_HOST}
DATE=`date +%k:%M`

#création du dossier de log si inexistant
if [ ! -e ${SCRIPT_PATH}  ] ; then mkdir ${SCRIPT_PATH}/log; touch ${SCRIPT_PATH}/log/last ; fi

#fonction de notification
notification() {
	# ${1} = "terminée" ou "annulée"
	# ${2} = durée d'affichage en secondes
	echo message:"${DATE}\nLa sauvegarde sur ${REMOTE_HOST} est ${1}" | zenity --notification --listen --window-icon="info" | zenity --notification --timeout=${2} --window-icon="info" --text="Sauvegarde sur ${REMOTE_HOST} ${1} (${DATE})" && if cat ${SCRIPT_PATH}/log/list | grep ""; then cat ${SCRIPT_PATH}/log/list | grep -v /$ | zenity --text-info --title="Fichiers synchronisés" --width=800 --height=600; else zenity --info --text="Aucun fichier synchronisé"; fi

}

#fonction de sauvegarde et log
save() {
	#synchronisation et log
	{
	echo "# ${MODE} backup"
	echo "# Starting: "`/bin/date`
	nice -n ${NICE} rsync -avrz --delete \
	--files-from=${SAVELIST} \
	${SRC_FOLDER} \
	${LOGIN}:${DST_FOLDER}
	echo "# Ending: "`/bin/date`
	echo "# -------------------------------------------------------------"
	echo
	} >> ${SCRIPT_PATH}/log/`date +%G-%V`.log
	date >> ${SCRIPT_PATH}/log/last
	#sauvegarde du nom des derniers fichiers synchronisés
	tac ${SCRIPT_PATH}/log/`date +%G-%V`.log | sed -n '2,/#\ -/p' | tac | sed -e '1,5d' | sed -e :a -e '$d;N;2,5ba' -e 'P;D' >${SCRIPT_PATH}/log/list
	#notification
	notification "terminée" 1200
}

#dialogue si mode interactif
if [ ${MODE} = "Automatic" ]; then
	save	
else
	zenity --question --title="Sauvegarde Manuelle sur ${REMOTE_HOST}" --text="Sauvegarder sur ${REMOTE_HOST} maintenant?

	La dernière sauvegarde date du :
	`tail -1 ${SCRIPT_PATH}/log/last | sed 's/ (UTC.*//'`
	Les modifications ultérieures seront tranférées sur ${REMOTE_HOST}.
	"

	if [ $? = "0" ]
	then
		save
	else
		notification "annulée" 60
	fi
fi

rendez ensuite le script executable

chmod u+x /chemin/vers/backup.sh

adaptez la partie du script contenant les variables à votre configuration

#définition des variables
#------------------------
SCRIPT_PATH=~/scripts/backup		#chemin du dossier contenant le script
SRC_FOLDER=~/					#chemin du dossier local contenant les fichiers à sauvergarder
SAVELIST=${SCRIPT_PATH}/savelist	#fichier texte contenant la liste des fichiers et sous-dossiers de SRC_FOLDER à sauvegarder
#------------------------ 
USER=nom_utilisateur				#nom d'utilisateur ssh sur le serveur
REMOTE_HOST=server.domain.fr		#adresse distante du serveur de sauvegarde
ALT_HOST=server.local				#adresse locale du serveur de sauvegarde
DST_FOLDER=backup				#nom du dossier de sauvegarde sur le serveur
#------------------------
NICE=5					#priorité donnée au script
#------------------------

et créez le fichier contenant la liste des dossiers à sauvegarder (ici /chemin/vers/savelist )
/!\ les fichiers et dossiers listés sont des sous-fichiers/dossiers du dossier défini auparavant par SRC_FOLDER (par défaut le home)
/!\ attention à la casse des caractères

Documents/Travail
Images/Travail
autres/dossier_super_important

Pour lancer le script

/chemin/vers/backup.sh

pour le lancer avec une boîte de dialogue de confirmation (j'ai fait un lanceur sur le tableau de bord avec la commande "bash /chemin/vers/backup.sh --manual")

/chemin/vers/backup.sh --manual

et enfin pour automatiser les sauvegardes, il faut utiliser cron

crontab -e

et ajouter les paramètres suivants pour lancer le script à midi du lundi au vendredi (le >>/chemin/vers/log/cronlog 2>&1 permet de créer un log pour debugger)

DISPLAY=":0.0"
USER="nom_utilisateur"
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
# m h  dom mon dow   command
00 12 * * 1-5 /chemin/vers/backup.sh >>/chemin/vers/log/cronlog 2>&1

Merci de me faire part de votre avis ou de vos suggestions

Dernière modification par nesthib (Le 03/08/2009, à 22:03)

Phixme · Le 01/08/2009, à 20:19

Très bonne idée je comptais faire ça pour mon dédié, je teste dès que j'ai le temps.

jrev · Le 04/10/2009, à 19:03

chez moi je fais un partage de dossiers NFS avec un simple script sur le PC client

nesthib · Le 05/10/2009, à 08:02

jrev a écrit :

chez moi je fais un partage de dossiers NFS avec un simple script sur le PC client

mais du coup ça ne fonctionne qu'en réseau local non?

jrev · Le 05/10/2009, à 17:42

Eh oui !

Quel est l'intérêt de ton système qui paraît un tantinet plus complexe ?

Je suis curieux de voir la différence

nesthib · Le 05/10/2009, à 18:06

jrev a écrit :

Eh oui !
Quel est l'intérêt de ton système qui paraît un tantinet plus complexe ?
Je suis curieux de voir la différence

ben déjà ça fonctionne aussi bien en réseau local qu'avec un serveur distant, ce qui est important pour moi, mes données sur mon portable sont sauvegardées automatiquement depuis n'importe où. Après je sais pas ce que fais ton script (si tu veux le poster avec quelques explications ça peut être éventuellement intéressant) mais le mien n'est pas si complexe que ça.

Ses fonctions :
- sauvegarde sur serveur distant (bon ok c'est le but...)
- transfert uniquement des données ayant changé depuis la dernière sauvegarde (avec rsync)
- vérification de la connexion et attente du réseau pour la sauvegarde
- choix des dossiers à synchroniser
- log des fichiers transférés et du fonctionnement du script
- affichage d'une notification de fin de synchronisation et des fichiers transférés
- possibilité de le lancer en mode interactif (par ex avec un bouton dans un tableau de bord) avec boîte de dialogue de confirmation

bon ce sont des fonctions que j'ai développées car elle correspondent à mon utilisation, mais je suis ouvert à toute critique, idée d'amélioration, etc.

jrev · Le 05/10/2009, à 19:44

voilà mon script :

#!/bin/bash
SOURCE_DIRS=/media/nfs/
TARGET_DIR=/home/jean/documents
# monter le repertoire nfs 
mount /media/nfs

rsync -av --del --stats $SOURCE_DIRS "$TARGET_DIR"

umount /media/nfs

echo "Backup Terminé

Il sert à copier mon dossier "mes documents" du PC principal sur un PC du réseau

J'ai un script similaire pour sauvegarder mes documents sur une clé USB
et un script pour sauvegarder les paquets téléchargés sur un PC et les enregistrer sur un autre PC.

Dernière modification par jrev (Le 05/10/2009, à 19:45)

nesthib · Le 05/10/2009, à 20:01

c'est vrai que c'est beaucoup plus épuré

cela dit que se passe-t'il si ton partage est inaccessible? ton script ne va pas effectuer la tâche attendue et marquer quand même "Backup Terminé" à la fin non?
ça m'est arrivé pour une des premières version de mon script, comme ma carte réseau a tendance à se déconnecter, la synchro ne se faisait pas mais le script se terminait ni vu ni connu comme si il n'y avait aucun nouveau fichier à synchroniser. J'ai mis quelques jours avant de réaliser que je ne sauvegardais rien du tout...
D'où l'intérêt de faire quelques vérifications, surtout si, comme-moi, tes données sont très importantes. Certes le script est un peu plus compliqué mais quand il n'y a rien à synchroniser il est lancé pendant à peine 2-3 secondes (d'ailleurs avec le nice tu peux diminuer sa priorité face aux autres processus)

voili voilou

anonyme1 · Le 28/10/2009, à 00:30

Je suis tombé dessus par hasard.
Il est bien sympa ton script. Merci.

nesthib · Le 28/10/2009, à 08:30

Screamer@onthelan a écrit :

Je suis tombé dessus par hasard.
Il est bien sympa ton script. Merci.

merci à toi!
tu as testé? tout s'est bien passé?

anonyme1 · Le 28/10/2009, à 11:25

hello

Nan pas testé, je le ferai surement dans la semaine; mais à la lecture, je n'ai rien vu de "bizarre"; je ne vois pas pourquoi je rencontrerai des soucis de fonctionnement.

Je teste et quand c'est fait, je reviens te dire si j'ai rencontré des soucis.
Encore merci .

Dernière modification par Screamer@onthelan (Le 28/10/2009, à 11:25)

Gibon44 · Le 11/11/2009, à 07:46

Whaou, on peut en faire des trucs sur Ubuntu !
Je suis tombé sur ce topic par hasard, je cherche une méthode pour sauvegarder certains documents automatiquement sur un disque dur externe. Il n'y a pas un programme qui peut gérer ça ?

nesthib · Le 11/11/2009, à 11:35

rsync est un programme en ligne de commande qui fait ça très bien! Si tu étudies un peu mon script c'est sur lui que je l'ai basé. Si tu es allergique à la ligne de commande (il ne faut pas c'est souvent le plus simple/efficace pour effectuer une tâche), tu peux utiliser grsync qui est une interface graphique pour rsync

Sinon tu peux modifier mon script pour qu'il fonctionne en local :
il faut supprimer les parties :

#vérification de la connection réseau et boucle en attente de connexion
# eth est à adapter en fonction du nom de votre carte réseau, ici eth pour eth0 + eth1 (ethernet ou wifi)
ETH="eth"
WAIT=0
while [ `ifconfig | grep -A1 ${ETH} | sed -n 's/.*adr:\([0-9]*\.[0-9]*\.[0-9]*\.[0-9]*\).*/\1/p' | wc -c` = 0 ]; do
    WAIT=1
    sleep 5
    echo waiting
done
#laisse un peu de temps si la connexion était coupée
if [ ${WAIT} = 1 ]; then
    sleep 5
fi

et

#teste si on est en local, auquel cas changement de nom de serveur
ping -c 2 -d ${ALT_HOST} && REMOTE_HOST=${ALT_HOST}

et remplacer la ligne :

    ${LOGIN}:${DST_FOLDER}

par

    ${DST_FOLDER}

Gibon44 · Le 18/11/2009, à 08:05

Je vais tester ça, merci !

sputnick · Le 18/11/2009, à 22:02

Ya des applis pour ça : je me sert de rsnapshot tous les jours pour faire des backups ( incremental ou non )

apt-cache show rsnapshot

Dernière modification par sputnick (Le 18/11/2009, à 22:03)

soufyane85 · Le 23/11/2009, à 14:08

Bonjour nesthib

En fait j'ai essayé votre script mais j'ai toujours une erreur d'authentification. je saisie le mot de passe exact mais j'ai cette erreur suivante :

Croot@seriacom:~# ScriptFtpXmlDep --manual
PING 10.13.75.254 (10.13.75.254) 56(84) bytes of data.
64 bytes from 10.13.75.254: icmp_seq=1 ttl=64 time=0.031 ms
64 bytes from 10.13.75.254: icmp_seq=2 ttl=64 time=0.032 ms

--- 10.13.75.254 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.031/0.031/0.032/0.005 ms
User@10.13.75.254's password:
Permission denied, please try again.
User@10.13.75.254's password:
Permission denied, please try again.
User@10.13.75.254's password:
Permission denied (publickey,password).
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: unexplained error (code 255) at io.c(600) [sender=3.0.5]
libnotify-Message: Unable to get session bus: Did not receive a reply. Possible causes include: the remote application did not send a reply, the message bus security policy blocked the reply, the reply timeout expired, or the network connection was broken.

** (zenity:811): WARNING **: Notification framework not available
libnotify-Message: Unable to get session bus: Did not receive a reply. Possible causes include: the remote application did not send a reply, the message bus security policy blocked the reply, the reply timeout expired, or the network connection was broken.

Veuillez m'aider svp. j'attend votre réponse. Merci d'avance

nesthib · Le 23/11/2009, à 20:48

soufyane85 a écrit :

Permission denied (publickey,password).

Il semble que la connexion sur l'hôte distant échoue,
Est-il possible de se connecter simplement avec :

ssh user@10.13.75.254

Si ce n'est pas possible, la sauvegarde ne peut bien sûr pas se faire…

Pour ma part je préfère m'authentifier par clé publique/privée, comme ça pas de mot de passe à taper (voir la doc sur ssh)

[R] · Le 18/02/2010, à 11:41

nesthib a écrit :

Prérequis :
- avoir un accès ssh sur un serveur de sauvegarde
- avoir installé rsync sur la machine et le serveur
- avoir installé zenity

Bonjour,

Dans l'hypothèse où l'on n'a pas d'accès ssh sur le serveur (je pense à un hébergement mutualisé par exemple), quelle méthode de sauvegarde réseau (par ftp par exemple) conseillerais-tu permettant l'incrémental et/ou le chiffrement des sauvegardes ?

nesthib · Le 18/02/2010, à 17:59

si je ne dis pas de bêtises, le protocole FTP ne permet pas en lui même le chiffrement ou le transfert incrémental de données. Ce que tu demandes est à ma connaissance impossible. Tu peux cependant faire des sauvegardes par ftp mais tout le fichier devra être envoyé sur le serveur. En ce qui concerne le chiffrement des données, cela devra se faire à une couche supérieure (SSL, TLS, VPN…).

Si tu as l'occasion de discuter avec tes colocataires de serveur, la mise en place d'un serveur ssh n'est absolument pas un problème à partir du moment ou les droits sont correctement paramétrés (ex. pour les cas complexes, voir les acl).

bipbip92 · Le 27/01/2011, à 00:39

Bonsoir,
Si j'en crois man nice et que ton intention est de donner priorité à la sauvegarde par rapport au reste, mieux vaudrait affecter une valeur de -5 à ta variable NICE non?
Cordialement,

nesthib · Le 27/01/2011, à 09:28

@bipbip92 : tu as parfaitement raison, sauf qu'ici l'intention est de ne PAS donner la priorité au script mais à l'inverse de le laisser tourner en tâche de fond sans perturber le reste du système
Si tu souhaites que la sauvegarde ait la priorité il te suffit en effet de donner une valeur négative.

jrev · Le 28/01/2011, à 09:23

Il serait intéressant que tu nous dise comment trouver un serveur de sauvegarde
Ayant plusieurs PC mes sauvegardes ne sont pas dépendantes d'une connexion Internet quelquefois aléatoire ...

Dernière modification par jrev (Le 28/01/2011, à 09:30)

nesthib · Le 28/01/2011, à 11:17

personnellement j'utilise soit un serveur perso auto-hébergé soit celui du boulot et le plus souvent ma sauvegarde se fait en réseau local. L'important est ici d'avoir un accès ssh. Il est même possible d'utiliser un disque externe, NAS branché sur le routeur…
Pour les hébergement tiers je n'ai pas de proposition particulière à faire, n'importe quel hébergement classique avec accès ssh fera l'affaire, il faut peut être aussi voir du côté d'ubuntuone et autres solutions de sauvegarde (qui de surcroît proposent leur propre système de sauvegarde).
Enfin je tiens à signaler l'existence du logiciel back in time qui est basé sur rsync et permet de faire des sauvegardes incrémentielles.

xPiwel · Le 04/04/2014, à 16:38

Bonsoir,

J'utilise sur ma machine: Ubuntu 12.04.4. Je suis très intéresser par ce script de sauvegarde automatique mais est-il possible de sauvegarder plusieurs dossiers en même temps au lieu de n'en sauvegarder que 1 ou directement sauvegarder toute la racine ? Par exemple je souhaite sauvegarder: /home ; /opt ; /var ; /usr seulement et non tous le contenu du serveur.

Merci pour ce script et votre réponse qui j'espère est à venir.
Cordialement,

enebre · Le 04/04/2015, à 11:37

Bonjour nesthib,
Je viens d'essayer d'adapter ton script pour faire une simple sauvegarde/restauration de fichiers et dossiers, dans un dossier dédié à ce travail, sur une clé ou directement dans le /home/ mais je n'y arrive pas, pourrais-tu s'il te plait m'aider.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 01/08/2009, à 19:02

[Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#2 Le 01/08/2009, à 20:19

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#3 Le 04/10/2009, à 19:03

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#4 Le 05/10/2009, à 08:02

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#5 Le 05/10/2009, à 17:42

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#6 Le 05/10/2009, à 18:06

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#7 Le 05/10/2009, à 19:44

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#8 Le 05/10/2009, à 20:01

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#9 Le 28/10/2009, à 00:30

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#10 Le 28/10/2009, à 08:30

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#11 Le 28/10/2009, à 11:25

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#12 Le 11/11/2009, à 07:46

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#13 Le 11/11/2009, à 11:35

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#14 Le 18/11/2009, à 08:05

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#15 Le 18/11/2009, à 22:02

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#16 Le 23/11/2009, à 14:08

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#17 Le 23/11/2009, à 20:48

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#18 Le 18/02/2010, à 11:41

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#19 Le 18/02/2010, à 17:59

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#20 Le 27/01/2011, à 00:39

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#21 Le 27/01/2011, à 09:28

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#22 Le 28/01/2011, à 09:23

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#23 Le 28/01/2011, à 11:17

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#24 Le 04/04/2014, à 16:38

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

#25 Le 04/04/2015, à 11:37

Re : [Script] sauvegarde automatique/manuelle des fichiers sur un serveur

Pied de page des forums