Ubuntu-fr

katian

duperemove (recherche d'extents en double) : pour Btrfs & XFS

Bonjour,

j'ai commencé à rédiger une page de doc sur duperemove

https://doc.ubuntu-fr.org/duperemove

cet utilitaire est très pratique, démonstration par l'exemple,

J'ai dupliqué une vidéo comme ceci :

katian@katian-desktop:~$ tree /media/katian/usb_160go/
/media/katian/usb_160go/
├── rep_1
│   └── video.mp4
├── rep_2
│   └── video.mp4
└── video.mp4

La place occupée est de 1.94Go :

katian@katian-desktop:~$ btrfs filesystem du /media/katian/usb_160go/
     Total   Exclusive  Set shared  Filename
     0.00B       0.00B           -  /media/katian/usb_160go/.Trash-1000/info
     0.00B       0.00B           -  /media/katian/usb_160go/.Trash-1000/files
     0.00B       0.00B           -  /media/katian/usb_160go/.Trash-1000/expunged
     0.00B       0.00B           -  /media/katian/usb_160go/.Trash-1000
 661.40MiB   661.40MiB           -  /media/katian/usb_160go/rep_1/video.mp4
 661.40MiB   661.40MiB           -  /media/katian/usb_160go/rep_1
 661.40MiB   661.40MiB           -  /media/katian/usb_160go/rep_2/video.mp4
 661.40MiB   661.40MiB           -  /media/katian/usb_160go/rep_2
 661.40MiB   661.40MiB           -  /media/katian/usb_160go/video.mp4
   1.94GiB     1.94GiB       0.00B  /media/katian/usb_160go/

on supprime les extents en double :

katian@katian-desktop:~$ duperemove -hrd /media/katian/usb_160go/
Gathering file list...
Using 4 threads for file hashing phase
[1/3] (33.33%) csum: /media/katian/usb_160go/rep_1/video.mp4
[2/3] (66.67%) csum: /media/katian/usb_160go/rep_2/video.mp4
[3/3] (100.00%) csum: /media/katian/usb_160go/video.mp4
Total files:  3
Total hashes: 15876
Loading only duplicated hashes from hashfile.
Hashing completed. Using 2 threads to calculate duplicate extents. This may take some time.
[########################################]
Search completed with no errors.             
Simple read and compare of file data found 1 instances of extents that might benefit from deduplication.
Showing 3 identical extents of length 661.4M with id 6d689c1c
Start		Filename
0.0	"/media/katian/usb_160go/rep_2/video.mp4"
0.0	"/media/katian/usb_160go/rep_1/video.mp4"
0.0	"/media/katian/usb_160go/video.mp4"
Using 4 threads for dedupe phase
[0x5612abd3d5e0] (1/1) Try to dedupe extents with id 6d689c1c
[0x5612abd3d5e0] Dedupe 2 extents (id: 6d689c1c) with target: (0.0, 661.4M), "/media/katian/usb_160go/rep_2/video.mp4"
Comparison of extent info shows a net change in shared extents of: 1.9G

résultat :

katian@katian-desktop:~$ btrfs filesystem du /media/katian/usb_160go/
     Total   Exclusive  Set shared  Filename
     0.00B       0.00B           -  /media/katian/usb_160go/.Trash-1000/info
     0.00B       0.00B           -  /media/katian/usb_160go/.Trash-1000/files
     0.00B       0.00B           -  /media/katian/usb_160go/.Trash-1000/expunged
     0.00B       0.00B           -  /media/katian/usb_160go/.Trash-1000
 661.40MiB     4.00KiB           -  /media/katian/usb_160go/rep_1/video.mp4
 661.40MiB     4.00KiB           -  /media/katian/usb_160go/rep_1
 661.40MiB       0.00B           -  /media/katian/usb_160go/rep_2/video.mp4
 661.40MiB       0.00B           -  /media/katian/usb_160go/rep_2
 661.40MiB     4.00KiB           -  /media/katian/usb_160go/video.mp4
   1.94GiB     8.00KiB   661.40MiB  /media/katian/usb_160go/

661 Mo partagés donc gain de place ^^

EDIT : ceci fonctionne avec une partition Btrfs, je n'ai pas réussi avec une partition XFS

Dernière modification par katian (Le 19/10/2019, à 08:50)

LeoMajor

Re : duperemove (recherche d'extents en double) : pour Btrfs & XFS

bonjour,

fdupes (paquet fdupes) pourrait faire l'affaire

:~/Images$ fdupes -A -S -r .
7396 bytes each:                        
./Bateau-au-dessus-mer-150x150.jpeg
./Bateau-au-dessus-mer-150x150.jpeg.1
./Bateau-au-dessus-mer-150x150.jpeg.2
./Bateau-au-dessus-mer-150x150.jpeg.3
./Bateau-au-dessus-mer-150x150.jpeg.4
./bateau1.jpg
./bateau2.jpg

3396 bytes each:
./1maison.jpeg
./2maison.jpg
./3maison.jpg
./new1.jpg

:~/Images$ fdupes -A -S -r -d -N .   # garde un seul exemplaire, supprime les copies
                                        
   [+] ./Bateau-au-dessus-mer-150x150.jpeg
   [-] ./Bateau-au-dessus-mer-150x150.jpeg.1
   [-] ./Bateau-au-dessus-mer-150x150.jpeg.2
   [-] ./Bateau-au-dessus-mer-150x150.jpeg.3
   [-] ./Bateau-au-dessus-mer-150x150.jpeg.4
   [-] ./bateau1.jpg
   [-] ./bateau2.jpg


   [+] ./1maison.jpeg
   [-] ./2maison.jpg
   [-] ./3maison.jpg
   [-] ./new1.jpg

katian

Re : duperemove (recherche d'extents en double) : pour Btrfs & XFS

sauf erreur, il y a une différence entre doublons d'extents et doublons de fichiers