script d’automatisation sauvegardes

eric63 · Le 23/06/2025, à 23:18

@iznobe
Je suis sincèrement désolé de ne pas arriver à comprendre tes recommandations qui te semble évidentes mais je tiens compte de tes remarques au mieux de mes capacités de compréhension.

@steph810
j’ai longuement lu tes infos
tu fais appel à des commandes qui ne semble pas trouver d’écho chez moi

kubu@kubu-System-Product-Name:~$ sudo apt install findmnt
Notification : Le fichier « ookla_speedtest-cli.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « syncthing.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « arntanguy-head.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Erreur : Impossible de trouver le paquet findmnt
kubu@kubu-System-Product-Name:~$ sudo apt install awk
Le paquet awk est un paquet virtuel fourni par :
  original-awk 2025-01-16-1
  mawk:i386 1.3.4.20250131-1
  gawk:i386 1:5.2.1-2build3
  mawk 1.3.4.20250131-1
  gawk 1:5.2.1-2build3
Vous devez explicitement sélectionner un paquet à installer.

Notification : Le fichier « ookla_speedtest-cli.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « syncthing.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « arntanguy-head.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Erreur : Le paquet « awk » n'a pas de version susceptible d'être installée
kubu@kubu-System-Product-Name:~$ sudo apt install ping
Le paquet ping est un paquet virtuel fourni par :
  inetutils-ping 2:2.5-6ubuntu1
  iputils-ping 3:20240905-1ubuntu1
Vous devez explicitement sélectionner un paquet à installer.

Notification : Le fichier « ookla_speedtest-cli.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « syncthing.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « arntanguy-head.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Erreur : Le paquet « ping » n'a pas de version susceptible d'être installée
kubu@kubu-System-Product-Name:~$ sudo apt install flock
Notification : Le fichier « ookla_speedtest-cli.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « syncthing.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « arntanguy-head.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Erreur : Impossible de trouver le paquet flock
kubu@kubu-System-Product-Name:~$ sudo apt install mailx
Le paquet mailx est un paquet virtuel fourni par :
  mailutils 1:3.18-1
  bsd-mailx 8.1.2-0.20220412cvs-1build1
Vous devez explicitement sélectionner un paquet à installer.

Notification : Le fichier « ookla_speedtest-cli.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « syncthing.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « arntanguy-head.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Erreur : Le paquet « mailx » n'a pas de version susceptible d'être installée
kubu@kubu-System-Product-Name:~$ sudo apt install mail
Notification : Le fichier « ookla_speedtest-cli.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « syncthing.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Notification : Le fichier « arntanguy-head.list.migrate » dans le répertoire « /etc/apt/sources.list.d/ » a été ignoré car il possède une extension non valable
Erreur : Impossible de trouver le paquet mail
kubu@kubu-System-Product-Name:~$

steph810 · Hier à 07:27

Bonjour,
Normalement, elles devraient déjà être installés, car eles font partie du paquet util-linux.

sudo apt update && sudo apt install rsync sshfs fuse mailutils util-linux coreutils findutils gawk sed

Ajout au README

Dernière modification par steph810 (Hier à 15:30)

iznobe · Hier à 08:02

Bonjour , pour un script qui doit contenir une paire de commande rsync et le contrôle des sources / destination , ca devient vraiment n ' importe quoi .

Exactement , le pourquoi il ne faut pas suivre des indications portant vers des " wget " avec des scripts dont il n ' y a pas trace sur le forum , surtout si le demandeur suit " aveuglement " les consignes ... et dont seul l ' aidant a la main dessus .

@eric63 , tu devrais arrêter ça si tu veux mon avis , il est tout à fait possible d ' inclure un code malveillant et de changer ensuite le code sans que personne ne voit rien . ( je dis pas que c ' est ce qui est fait , mais c' est tout à fait possible ! )
là , j ' ai l' impression que c ' est très très limite et proche de la cata ! , tout ça ne sert à rien , a part perdre du temps et noyer le poisson ...

j ' attends le prochain wget

steph810 · Hier à 08:23

iznobe a écrit :

Bonjour , pour un script qui doit contenir une paire de commande rsync et le contrôle des sources / destination , ca devient vraiment n ' importe quoi .
Exactement , le pourquoi il ne faut pas suivre des indications portant vers des " wget " avec des scripts dont il n ' y a pas trace sur le forum , surtout si le demandeur suit " aveuglement " les consignes ... et dont seul l ' aidant a la main dessus .
@eric63 , tu devrais arrêter ça si tu veux mon avis , il est tout à fait possible d ' inclure un code malveillant et de changer ensuite le code sans que personne ne voit rien . ( je dis pas que c ' est ce qui est fait , mais c' est tout à fait possible ! )
là , j ' ai l' impression que c ' est très très limite et proche de la cata ! , tout ça ne sert à rien , a part perdre du temps et noyer le poisson ...

j ' attends le prochain wget

Si ce n'est que ca donnez moi votre github je peut vous rajouter dans Collaborators and teams. Pour l'accès en ecriture admin ect...

clamscan sauvegarde.sh 
Loading:    43s, ETA:   0s [========================>]    8.71M/8.71M sigs       
Compiling:   4s, ETA:   0s [========================>]       41/41 tasks 

/home/tech/sauvegarde.sh: OK

----------- SCAN SUMMARY -----------
Known viruses: 8707556
Engine version: 1.4.2
Scanned directories: 0
Scanned files: 1
Infected files: 0
Data scanned: 0.07 MB
Data read: 0.04 MB (ratio 1.89:1)
Time: 47.572 sec (0 m 47 s)
Start Date: 2025:06:24 08:18:52
End Date:   2025:06:24 08:19:40

Dernière modification par steph810 (Hier à 08:25)

Ayral · Hier à 10:17

steph810 a écrit :

je crois qu'il ne veut pas de backup les sauvegarde incrémentielle.
il ne les veut pas en double. VM + Perso.
Ont va voir se qu'il repondra. Si c'est ca il faut ajouter alors une "option" true,false ou 0,1
mais je peut me trompez.

Modération : Vraiment, steph810, fais un effort sur la rédaction de tes messages. Ils sont si étrangement rédigés qu'on en perd souvent la signification, il faut faire une analyse, une exégèse quasi doctrinale pour en découvrir le sens... Et même là, la postée du texte reste obscure. Et je n'ai rien dit de l'orthographe.

steph810 · Hier à 11:44

Ayral a écrit :

Modération : Vraiment, steph810, fais un effort sur la rédaction de tes messages. Ils sont si étrangement rédigés qu'on en perd souvent la signification, il faut faire une analyse, une exégèse quasi doctrinale pour en découvrir le sens... Et même là, la postée du texte reste obscure. Et je n'ai rien dit de l'orthographe.

Je prends note de la remarque, y compris sur l’orthographe. Toutefois, je trouve qu’on confond parfois rigueur de rédaction et compréhension des idées. Mon but est avant tout de faire avancer la discussion sur un sujet technique complexe, pas d’écrire des romans littéraires. Je veillerai à clarifier mes propos et à faire attention à l’orthographe, mais je refuse que l’essentiel soit noyé sous une obsession formelle qui ralentit les échanges.

Dernière modification par steph810 (Hier à 11:45)

eric63 · Hier à 13:11

pour changer le NOM de l' utilisateur , il n ' y a aucunement besoin de formater ...
Tu créés un nouvel utilisateur , tu transfères les fichiers dans son home , tu changes l' UUID du Nouvel utilisateur , et c' est tout !
Si ce n' est pas ça , précise ce que tu entends par " renommer la VM " :

je suppose que tu parles de cela

kubu@kubu-System-Product-Name:/run/user/1001/kio-fuse-eUhnLi/sftp/Multimedias@192.168.1.128/home$ ls -l
total 12
drwxr-x--- 1 kubu kubu 4096 juin   2 23:10 freebox
drwxr-x--- 1 kubu kubu 4096 mai    7 10:09 Multimedia
drwxr-x--- 1 kubu kubu 4096 juin  21 19:05 Multimedias
créer un nouvel utilisateur ici pour avoir un truc comme cela
drwxr-x--- 1 kubu kubu 4096 juin  21 19:05 VM

J’entends par «renommer la VM»le fait de changer dans la freebox le nom Multimedias n’importe ou qu’il soit
et son accès en ligne de commande:

Multimedias@192.168.1.128:/home/Multimedias

par

VMFreebox@192.168.1.128:/home/VM

@steph810
il me manque une solution pour des relances de sauvegardes toutes les xx minutes
ou un nombre de sauvegardes par heure de 1 à 10
dans ton script config.sh et dans sauvegarde.sh les conditions adéquates à HORAIRE_RETENTION

Je donne pas le script avec mes variables avant d’avoir soit modifié les chemins soit de continuer sur ma lancée suivant ce qu’on me renverra comme réponse

Dernière modification par eric63 (Hier à 13:27)

steph810 · Hier à 13:45

eric63 a écrit :

@steph810
il me manque une solution pour des relances de sauvegardes toutes les xx minutes
ou un nombre de sauvegardes par heure de 1 à 10
dans ton script config.sh et dans sauvegarde.sh les conditions adéquates à HORAIRE_RETENTION
Je donne pas le script avec mes variables avant d’avoir soit modifié les chemins soit de continuer sur ma lancée suivant ce qu’on me renverra comme réponse

Faisable, mais ça complique un peu les choses. Normalement, vous devriez déjà avoir les journalières hebdomadaires et mensuelles. N'oubliez pas de les désactiver, mettre à 0
Cela va impliquer l'ajout de nouvelles règles de modifier les boucles et fonctions. Je parle bien sûr de sauvegarde.sh.
Config.sh, ce serait uniquement l'ajout de nouvelles variables.

Dernière modification par steph810 (Hier à 13:49)

eric63 · Hier à 14:09

Je parle bien sûr de sauvegarde.sh.
Config.sh, ce serait uniquement l'ajout de nouvelles variables.

oui j’ai bien compris cela
les sauvegardes journalières me semble un peu juste avec les documents qui mériterait un déclencheur manuel ? si un fichier avait besoin de plus de rotation de sauvegardes

j’ai oublié aussi une question sur le dossier documents fanou en local et sur le dossier documents sur le portable qui appartiennent à la même personne même uid
l’un (portable) à des sous dossiers l’autre (locale) n’en a pas . Comment mutualiser les 2 ?? ce qui est ajouté dans l’un apparait dans l’autre

O_20_100_O · Hier à 14:21

eric63 a écrit :

j’ai oublié aussi une question sur le dossier documents fanou en local et sur le dossier documents sur le portable qui appartiennent à la même personne même uid
l’un (portable) à des sous dossiers l’autre (locale) n’en a pas . Comment mutualiser les 2 ?? ce qui est ajouté dans l’un apparait dans l’autre

Tiens, c'est amusant
Tout à l'heure, dans le demi sommeil de ma sieste, je faisais le point sur ton projet, et puis j'ai pensé que pour les fichiers personnels de Fanou, c'est le même problème que pour les communs. Elle ne peut pas en avoir un peu de chaque côté.
Il faudrait les mettre tous dans une session à son nom dans la VM.

Dernière modification par O_20_100_O (Hier à 14:22)

krodelabestiole · Hier à 14:56

iznobe a écrit :

tout ça ne sert à rien

surtout pour ce projet de mettre en place 2 ou 3 choses tout à fait simples et ordinaires : quelques répertoires partagés sur une box et une sauvegarde sur un disque externe !
(ça va être quoi le prochain fil, quelqu'un va proposer @eric63 de programmer en rust ?)

@eric63, si j'ai quelques conseils pour éviter de faire perdre du temps à toi et à d'autres - et éventuellement réussir à mettre ton léviathan en place, et être capable de le maintenir en autonomie :
quand tu ne comprends pas quelque chose, arrête-toi, et prends du temps pour poser des questions jusqu'à ce que tu comprennes, à la fois ce qu'on te conseille et ce que tu fais.
ça ne sert à rien de copier-coller des commandes et a fortiori du code sans le comprendre, on suppose que tu es là pour comprendre, c'est en tout cas le but du forum, a priori pas pour trouver quelqu'un pour faire les choses à sa place. pour ça on peut engager un technicien, ou trouver un bénévole si le projet en vaut la peine.
c'est pour ça que partir dans du script bash pour réinventer la sauvegarde est dès le début une mauvaise idée. bash est un langage de programmation. il faut donc l'apprendre au moins un minimum pour l'utiliser. et vu qu'on en est à comprendre les protocoles réseaux, et les bonnes pratiques en matière de chemins et de points de montage, et de gestion des ressources, même si bash peut avoir un intérêt didactique à un moment on ne peut pas tout apprendre en même temps.

et ça :

eric63 a écrit :

sur la VM Multimédias@192.168.1.128:/home
/VMMultimédias
/VMMultimediasCommuns
/VMDocumentsPerso/VMSauvegardesDocumentsEric
/VMDocumentsPerso//VMSauvegardesDocumentsFanou
/VMPhotos (stock)
/VMImages (stock)
/VMMusiques (stock)
/VMDocumentsPartages (stock)
/VMSauvegardesDocumentsPartages
sur le 8T /media/kubu/JEUX8T/
/SAUVEGARDES/SPhotos
/SImages
/SMusiques
/SauvegardesDocumentsPartages
Est ce clair pour vous ??

non ce n'est pas clair pour moi, et si je voyais ça sur une infra avec laquelle je dois bosser je m'arracherais les yeux de la tête.

j'ai du mal à voir le rapport entre cette "structure" et ce qui avait été planifié au départ qui était plutôt simple :
des répertoires partagés entre les utilisateurs sur la box et des sauvegardes de ceux-ci, plus des répertoires persos des utilisateurs, sur le disque dur.
ici selon les nomenclatures on trouve des sauvegardes partout (et même des sauvegardes-partages partout !??), des noms d'utilisateurs perdus dans des sous-sous-répertoires et des kilometres de verbage inutile, redondant, voire incohérent.

je ne sais pas ce qu'en pensent les autres mais à ce stade perso je conseillerais de faire table rase.

je pense que tu t'es perdu en cours de route, ce qui peut s'expliquer par exemple par le fait que quand on te dit initialement que ça ne sert à rien que des sauvegardes soient accessibles en permanence, tu penses qu'on veut contrarier tes projets; alors que c'est juste une mauvaise conception de la gestion des ressources et du rôle de chaque élément qui te fait insister sur la viabilité de ta méthode. c'est ce qui te fait dès le début de ta mise en place sauvegarder une sauvegarde sur elle-même.
dès ce moment on a un problème d'incompréhension fondamental à adresser, sur ce qu'est une sauvegarde par ex., ainsi qu'un problème de confiance par rapport à ce qu'on te dit (en tout cas c'est mon impression personnelle).

steph810 · Hier à 15:35

eric63 a écrit :

j’ai oublié aussi une question sur le dossier documents fanou en local et sur le dossier documents sur le portable qui appartiennent à la même personne même uid
l’un (portable) à des sous dossiers l’autre (locale) n’en a pas . Comment mutualiser les 2 ?? ce qui est ajouté dans l’un apparait dans l’autre

Le paquet unison fait très bien cela il est conçu pour.

sudo apt show unison

je vien de relire ton message.

eric63 a écrit :

dans ton script config.sh et dans sauvegarde.sh les conditions adéquates à HORAIRE_RETENTION

RETENTION=vous indiquez ici un nombre qui correspond au nombre de jours pendant lesquels vous voulez garder ces sauvegardes, Une fois ce nombre de jours dépassé, le script de sauvegarde va automatiquement supprimer les anciennes sauvegardes incrémentales qui sont plus vieilles que ce délai.
Si vous mettez 0, cela va désactiver la suppression. vous pouvez ainsi choisir de purger certaines catégories de sauvegardes et d'en conserver d'autres indéfiniment

Dernière modification par steph810 (Hier à 15:58)

krodelabestiole · Hier à 23:12

contrairement au SSD de ta box, le disque dur externe est lent.
même si il est déjà connecté il est probable que l'ouverture de n'importe quel fichier prenne quelques secondes. si son contenu n'est pas indexé (et ce ne sera jamais le cas par défaut), les recherches sur son contenu prennent une éternité comparées à la VM, pareil pour le temps de montage, qui va juste ralentir le démarrage si il est systématique avec fstab (je t'avoue que je n'ai pas tout suivi à ce sujet).
ce disque dur doit être réservé à de la sauvegarde froide, et surtout pas dédié à un travail ordinaire.

dans ces conditions, son contenu devrait ressembler à ça :
/backup
et quand tu le montes sur un ordi "client" ou depuis la VM, depuis lesquels tu effectues les sauvegardes, ça ressemblerait à
/mnt/8T
contenant ce répertoire backup :
/mnt/8T/backup

côté VM, l'organisation peut dépendre du protocole choisi (SMB, NFS, SSH, WebDAV...).
vu que tu es parti sur SSH / SFTP, on devrait utiliser les identifiants UNIX et l'architecture FHS, donc rester sur ce que propose linux par défaut :
- /home/$USER avec tous les utilisateurs ($USER) concernés, en conservant les permissions par défaut.
et pour les répertoires communs entre les utilisateurs sauf erreur la FHS ne prévoit rien de bien strict.
perso je choisirais :
- /srv/share
appartenant au groupe share (partage en anglais) créé pour l'occasion, dont les utilisateurs concernés sont membres.
avec les permissions 664 pour les fichiers et 775 pour les répertoires (pour que les membres du groupe share aient accès en écriture, quel que soit le propriétaire des fichiers), et umask correspondant (tu as peut-être déjà fait quelque chose d'équivalent il me semble, je ne me rappelle plus).

ensuite tu peux choisir l'outil de ton choix pour sauvegarder les données de la VM. si cet outil utilise encore une arborescence par système de fichiers *, celle-ci devrait ressembler à ça :
- pour les backups des /home de la VM
/mnt/8T/backup/srv/$USER (pour chaque $USER évidemment, à remplacer par les noms d'utilisateur - pas besoin de répéter home)
- et pour le backup du /srv/share de la VM
/mnt/8T/backup/srv/share
comme ça tu sais où trouver les backups du répertoire de partage du serveur sur le disque de 8T !
là où on monte les stockages -> disque dur de 8 To -> sauvegardes -> serveur -> partage commun

et pour les sauvegardes des ordis individuels :
/mnt/8T/backup/home/$USER
(note dans backup/ la différence entre srv/$USER et home/$USER)

ensuite ce que les utilisateurs mettent dans leur répertoire /home (image, vidéo, musique, documents, etc.) ne te regarde même pas ! (sauf le tien et le commun évidemment, mais il n'y a rien à prendre en charge individuellement !)

* ... et sachant qu'avec la plupart des logiciels de sauvegardes, contrairement aux bricolages bash, tu peux en fait tout mettre en vrac dans /mnt/8T/backup/, les logiciels savent parfaitement gérer et isoler les arborescences en fonction des noms des machines sources, sans avoir besoin de les reproduire en système de fichiers.

si quelque chose dans ce que je viens de décrire te semble obscur ou incohérent, n'hésite pas à demander, c'est important que tout ça soit très clair en amont, avant de se lancer dans la rédaction de scripts ou l'installation et la configuration de logiciels.

krodelabestiole · Hier à 23:28

et si tu as besoin de plus de finesse et de granularité dans les partages et les permissions, de groupes, et de partage de fichiers et sous-répertoires spécifiques différents du répertoire parent, malheureusement tu ne t'en sortiras pas avec SFTP et les permissions UNIX.
tu peux passer les deux prochaines années à te prendre la tête avec des ACL partagées entre plusieurs machines du réseau local, ça m'étonnerait que ça change quoi que ce soit (et bonjour la migraine pour migrer ou accueillir une nouvelle machine).

dans ce cas, la solution est à chercher du côté de nextcloud. tu y gagnes d'ailleurs le versioning au passage.
je ne prétends pas que ce soit simple à mettre en place, mais je ne vois aucune solution moins compliquée qui offre une telle souplesse (et perso c'est ce que je recommande en standard pour la plupart des besoins en travail collaboratif, mais pas forcément en laissant les non-informaticiens déployer eux-mêmes le serveur).

donc si tu ne te sens pas de déployer nextcloud, mieux vaut essayer de se débrouiller avec ce que permet le serveur qui fournit un répertoire individuel à chaque utilisateur et un répertoire commun (et allez, éventuellement un ou deux autres partages sous /srv entre deux utilisateurs au lieu de 3 par ex., mais sans que ça tourne à la fête foraine dans /srv).

O_20_100_O · Aujourd'hui à 07:48

Bonjour krodelabestiole,
Merci pour tes contributions à ce sujet, elles posent bien les choses.

et pour les répertoires communs entre les utilisateurs sauf erreur la FHS ne prévoit rien de bien strict.
perso je choisirais :
- /srv/share
appartenant au groupe share (partage en anglais) créé pour l'occasion, dont les utilisateurs concernés sont membres.
avec les permissions 664 pour les fichiers et 775 pour les répertoires (pour que les membres du groupe share aient accès en écriture, quel que soit le propriétaire des fichiers), et umask correspondant (tu as peut-être déjà fait quelque chose d'équivalent il me semble, je ne me rappelle plus).

Sur la base, d'échanges vieux de plusieurs mois, et auxquels tu as participé, eric63 a créé sur la VM un utilisateur "commun". Ses répertoires contiennent tous les fichiers communs à partager. Ils sont montés en SSHFS à l'ouverture de leur session sur les autres PC. Quelle est ton opinion sur cette méthode ?

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#301 Le 23/06/2025, à 23:18

Re : script d’automatisation sauvegardes

#302 Hier à 07:27

Re : script d’automatisation sauvegardes

#303 Hier à 08:02

Re : script d’automatisation sauvegardes

#304 Hier à 08:23

Re : script d’automatisation sauvegardes

#305 Hier à 10:17

Re : script d’automatisation sauvegardes

#306 Hier à 11:44

Re : script d’automatisation sauvegardes

#307 Hier à 13:11

Re : script d’automatisation sauvegardes

#308 Hier à 13:45

Re : script d’automatisation sauvegardes

#309 Hier à 14:09

Re : script d’automatisation sauvegardes

#310 Hier à 14:21

Re : script d’automatisation sauvegardes

#311 Hier à 14:56

Re : script d’automatisation sauvegardes

#312 Hier à 15:35

Re : script d’automatisation sauvegardes

#313 Hier à 23:12

Re : script d’automatisation sauvegardes

#314 Hier à 23:28

Re : script d’automatisation sauvegardes

#315 Aujourd'hui à 07:48

Re : script d’automatisation sauvegardes

Pied de page des forums