#1 Le 30/09/2016, à 10:59
- Elève linuxien
Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
Goood Morning Ubuntu People !
Je reviens parmi vous pour expliquer le montage que j'ai fait en sauvegarde sur le cloud Hubic pour obtenir un système de backup incrémentiel.
Sur mon ordi je fais des sauvegardes avec BackInTime sur des disques externes, mais le problème c'est que les disques sont toujours présents physiquement au même endroit. J'en ai un toujours avec moi quand même au cas ou il y est un cambriolage, mais du coup les sauvegardes sont faites de manière aléatoire tous les deux / trois mois...
Donc je me suis dit, je vais automatiser tout cela. Ma première approche à été de le faire à distance chez une personne de confiance (un petit Raspebery py, un vpn et hop !). Sauf qu'ici le problème c'est le débit qui était très très très médiocre...
Alors je me suis tourné vers le cloud, Hubic pour être précis, afin que mes données ne tombent pas entre les mains de la CIA, NSA, GAFA / Patriot Act, qui du fait d'hébergé aux USA fait de vos donnés leur propriété...
J'ai dans un premier temps utilisé l'appli Hubic pour ubuntu qui fonctionne plutôt bien avec une conservation des versions possible. Cependant, les sauvegardes incrémentielles ne sont pas possible.
J'ai donc procédé de la manière suivante :
1 - j'ai monté le dossier hubic pour avoir un accès permanent directement depuis mon pc. Pour cela j'ai utilisé HubicFuse, ce tuto explique bien le fonctionnement la mise en place.
2 - J'ai adapté un script bash pour faire avec Rsync une sauvegarde incrémentielle, pour cela j'ai suivi ce tuto.
Voici mon script que j'ai adapté du tuto:
#!/bin/bash
# programme de sauvegarde
#
# indications repertoires et infos
# date
date=$(date +%d%m%Y%T)
destination=/mnt/hubic/default/Sauvegardes
# home
source_home=/home/Perso/test/
excludefile_home=/home/arnaud/cronjob/.backup_fichiers_exclus_home
# data
#source_data=/media/autre_partition_a_sauver
#excludefile_data=.backup_exclude_data
# pour donner un nom "raccourci" au fichier backuperror.log :
backuplog=/home/arnaud/Bureau/Erreurs-BackUp/backuperror_timemachine.log
# Vérifie la présence du volume
if [ ! -e "$destination" ]
then
echo "Erreur, le volume de sauvegarde est absent pour la sauvegarde."
echo
exit
fi
#titre de lancement de la sauvegarde générale
echo
echo "La sauvegarde est en cours"
echo
# explications
# ">" renvoie le contenu du terminal dans le fichier indiqué en écrasant tout ce que contient déjà ce fichier.
# ">>" renvoie le contenu du terminal sans écraser ce que contient déjà le fichier.
# Le chiffre "2" suivi d'un seul ">" renvoie seulement les messages d'erreurs générés par le processus dans le fichier indiqué
# en écrasant le contenu de ce fichier.
# "2>>" renvoie les erreurs sans écraser le contenu du fichier.
#
# Sauvegarde de '/rep_source' vers '/rep_destination' :
# explications des parametres
#
# -l : traiter les liens symboliques comme liens symboliques (ne pas suivre le chemin du lien)
# --archive mode archivage; identique à -rlptgoD (pas -H)
# --delete-during : effacer fichier sur destination pendant synchronisation si n'existe pas sur source
# --stats : Demande à rsync d'afficher un jeu de statistiques verbeux sur le transfert de fichiers,
# --exclude-from : permet d'exclure des fichiers et dossiers a partir d'une liste
#
#titre de lancement de la sauvegarde du home
echo
echo "Sauvegarde sur Hubic est en cours..."
echo
rsync -aPv --compress --delete-during --stats --link-dest=$destination/current --exclude-from=$excludefile_home $source_home $destination/back-$date 2> $backuplog
#
#titre de lancement de la sauvegarde de data
#echo
#echo "TimeMachine Sync de Data est en cours..."
#echo
#rsync -aPv --compress --delete-during --stats --link-dest=$destination/current --exclude-from=$excludefile_data $source_data $destination/back-$date 2> $backuplog
#suppression du lien
rm -f $destination/current
# creation du lien qui servira pour la prochaine synchro
ln -s $destination/back-$date $destination/current
# effacer ancienne sauvegarde de plus de 100 jours
find $destination -maxdepth 1 -type d -mtime +100 | xargs rm -rf
# Insertion de la date à la fin de la liste d'erreur si le fichier backuperror n'est pas vide (c'est à dire s'il y a des erreurs),
# ce que vérifie l'option "-s" :
if [ -s $backuplog ]; then
{
date >> $backuplog
}
fi
# Indique une action si le fichier n'est pas vide :
if [ -s $backuplog ]; then
{
echo
echo "Ouverture du fichier d'erreur de sauvegarde"
echo
sleep 5;
nano $backuplog
}
# efface le fichier pour qu'il ne soit ouvert au démarrage suivant de l'ordinateur
# que s'il a été recréé avec mention d'erreurs lors du déroulement de la sauvegarde suivante.
rm $backuplog
else
echo
echo "La sauvegarde s'est bien effectuée..."
echo "Vous pouvez fermer cette fenetre"
fi3 - j'ai d'abord testé le script en local, ça fonctionne parfaitement.
4 - Et c'est ici mon problème... Lorsque je teste ma sauvegarde directement sur mon dossier monté hubic (/mnt/hubic/) elle fonctionne correctement. Cependant, à chaque sauvegarde Rsync sauvegarde l'intégralité des fichiers et non pas seulement les modifiés contrairement à ce qui se passe en local... Je n'ai pas de problème de place puisque j'ai pris 10 To chez hubic, mais avec une sauvegarde hebdomadaire de 200 Go en 50 jours ce sera plein, sans compter la durée des sauvegardes qui vont prendre énormément de temps...
Quelqu'un verrait il d'où vient le problème ? Pourquoi Rsync ne fait pas de comparaison ?
Je remercie par avance celui ou celle qui pourra m'aider !
Dernière modification par Elève linuxien (Le 14/09/2018, à 09:27)
"Les ordinateurs sont inutiles : ils ne donnent que les réponses."
Pablo Picasso
Hors ligne
#2 Le 01/10/2016, à 13:31
- pom2tr
Re : Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
bonjour,
je n'ai pas d'aide à apporter à ce message, je n'en suis pas capable, mais venant de souscrire aux 10To de hubic, cela m'interesse fortement .....
j'utilise rsync avec l'aide de Grsync, est ce utilisable dans ce cas précis ?
je fais donc le mauvais élève en remerciant tout apport à Elève linuxien
je suis avec ubuntu 16.04
ubuntu 22.04 depuis le 1 juin 2022 (16.04 en secours)
(utilisateur depuis 8.04)
Hors ligne
#3 Le 12/10/2016, à 08:04
- Elève linuxien
Re : Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
Un petit up 
"Les ordinateurs sont inutiles : ils ne donnent que les réponses."
Pablo Picasso
Hors ligne
#4 Le 12/10/2016, à 14:57
- bbtux2
Re : Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
rclone marche bien pour moi pour sauvegarder automatiquement sur hubic.
Hors ligne
#5 Le 13/11/2016, à 12:00
- pom2tr
Re : Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
bonjour,
je reviens aux renseignements, j'ai rapidement regardé rclone, il y a plusieurs tutos pour le configurer avec hubic, lequel est préférable pour une sauvegarde (pas une synchronisation) ?
on en reste la dessus ou y'a mieux ?
Merci, amicalement.
Dernière modification par pom2tr (Le 13/11/2016, à 12:01)
ubuntu 22.04 depuis le 1 juin 2022 (16.04 en secours)
(utilisateur depuis 8.04)
Hors ligne
#6 Le 14/09/2018, à 09:25
- Elève linuxien
Re : Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
Helloooooo....
Je reviens, longtemps après mon premier post, pour vous informer que bien que j'avais réussi (je ne sais plus comment ?) j'ai supprimé la solution, pourquoi me demanderez vous ? => Hubic est unitilisable 
! Débit instable, qui décroche, erreurS au moment des sauvegardes, et je ne vous parle pas même pas des download EXTREMEMENT LENT (Pour rapatrier 50Gb il aurait fallu plusieurs jours voir semaines) !!!
Donc, ma solution a été de supprimer Hubic et de souscrire à l'offre de Code42 (Crashplan) pour 10$ par mois par ordi (moi tout est sur un serveur donc 1 ordi), espace illimité. Il fournisse une application pour linux (graphique) basé sur Rsync qui gère vos options, incrémentielle, chiffrement, etc...
Je n'ai pas d'action chez eux, mais une solutions qui fonctionne ça se partage 
Voilà, Bon Ubuntu à tous !
"Les ordinateurs sont inutiles : ils ne donnent que les réponses."
Pablo Picasso
Hors ligne
#7 Le 14/09/2018, à 18:32
- pom2tr
Re : Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
merci eleve linuxien
idem pour moi fini hubic, je me suis tourné vers zaclys avec nextcloud
à bientôt
ubuntu 22.04 depuis le 1 juin 2022 (16.04 en secours)
(utilisateur depuis 8.04)
Hors ligne
#8 Le 14/09/2018, à 20:57
- Zakhar
Re : Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
J'ai constaté récemment que Hubic à l'air à l'abandon.
Sur une sauvegarde que j'avais fait pour ma mère, un fichier sur 10 était irrécupérable, ce qui fait que même le par2 à 5% n'a pas suffit à récupérer une sauvegarde.
Aussi, en essayant de sauvegarder des fichiers, certains s'enregistrent et d'autres non, même après plusieurs essais.
Bref, à mon sens Hubic est mort. Aussi, comme évidemment toutes mes sauvegardes Cloud sont chiffrées, j'ai simplement mis ça sur Google (en l'occurrence Google ne peut rien lire des données sauvegardées vu le chiffrement).
Quant au premier post, l'explication du non-incrémentiel est simple, c'est que les attributs (dates, owner, etc...) ne sont pas sauvegardés sur Hubic (et pas en général sur les solutions cloud). La seule façon de faire un rsync incrémentiel est donc de lui demander de ne considérer que le fichier est différent que si la taille est différent. C'est évidemment moyennement satisfaisant, si on change un lettre dans un fichier texte, sa taille sera identique, et il ne sera pas sauvegardé.
"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)
Hors ligne
#9 Le 15/09/2018, à 08:17
- bruno
Re : Sauvegarde Rsync sur Hubic avec fuse - pb analyse de fichiers [Résolu]
Hubic est définitivement abandonné depuis mais 2018 : https://www.ovh.com/fr/fin-inscription-hubic/
Les solutions de stockage en ligne de type « cloud » ne sont pas des sauvegardes. C'est juste un moyen d'accèder à ses données à distance et éventuellement de les partager.
Une bonne politique de sauvegarde consiste à avoir au moins une sauvegarde locale (sur un disque externe) et si possible une autre distante (un disque stocké chez un parent/ami, un serveur dédié, etc.) et de contôler régulièrement l'intégrité de ces sauvegardes.