Déduplication de données sous Linux

vlad34 · 15/01/2021 20:24:56

Bonsoir à tous et à toutes :) ,

Une question me traverse l'esprit ce soir et je trouve très peu d'infos sur le net :/ .

Peut-on faire de la déduplication de données sur un système de fichier en ext4 sous linux? (dans mon cas sur fedora) :)

L'idée général de la déduplication de données et de fusionner des blocs de données identiques sur un système de fichier pour gagner de la place sur le disque tous en gardant les informations.

J'ai trouvé le terme "LessFS" mais je trouve très peu d'infos (système de fichier ou package RPM? toujours maintenu?).

On en entend très peu parlé de la déduplication de données que je trouve très intéressant, votre point de vu sur le sujet? :)

Bon week-end. :D

C@sp€r · 15/01/2021 20:51:42

Bonjour,

on parle moins de "déduplication de données", mais on parle plus de compression de données smile

gzip, bzip, xzip, libz, ncompress, 7zip, lzma, zstd, pour ne citer que quelques uns...

les domaines d'applications sont variés, on s'en sert pour compresser un fichier seul, ou bien une archive, mais on s'en sert aussi là où on s'y attend pas :

GnuPG compresse automatiquement
certaines requêtes sur le web sont compressées
les photos (jpeg)
les vidéos (mpeg)

je ne connais pas de système de fichier qui serait "dédié à la compression", toutefois il y en a certains qui peuvent essayer d'optimiser à la volée, comme BTRFS par exemple...

Dernière modification par C@sp€r (15/01/2021 21:05:41)

C@sp€r · 15/01/2021 21:12:14

Après quelques recherches, SquashFS semble répondre à ton besoin.

Jamais testé à fond, pour ma part.

C@sp€r · 15/01/2021 21:34:39

J'ai trouvé 2 articles qui mentionnent la compression de ZFS, dans un cas de chiffrement + compression des données :

C@sp€r · 15/01/2021 21:57:07

Bon bah je pense que c'est ZFS qui a tout prévu :

https://icesquare.com/wordpress/zfs-com … e-english/ (la page est moche, mais l'explication est bien)

Ce sujet est définitivement instructif ^^

vlad34 · 15/01/2021 22:20:20

Bien vu, merci C@sp€r .

mmm, j'ai encore un peu de mal à voir la différence entre la compression et la déduplication de données, je vais examiner cela plus en détails, je reprendrai t'es liens demain pour me poser dessus :) .

Je pense faire des tests sur une machine "poubelle" et bien comprendre la diff entre le ext4 et le ZFS à l'occasion ;) .

Et faudrait que je regarde le chiffrement des données sa peux être utile et intéressant a la fois :) .

C@sp€r · 23/01/2021 14:48:56

encore après quelques recherches, dans la base de données du forum cette fois-ci :

Contexte = Solution de backup et sauvegarde de données :

madko, il y a très longtemps, a écrit :

Pour un outil plus orienté usage pro, là je conseille Bacula, mais c'est une tout autre paire de manches pour l'installer et le configurer. C'est très pro (dissociation des services entre le scheduler, les clients, et les noeuds de stockage, politique de différentiel, incrémentiel et full, potentiellement de la déduplication etc)

Source = https://forums.fedora-fr.org/viewtopic.php?id=68408

---

Contexte = ext4 bientôt remplacé ?

didierg, il y a très longtemps, a écrit :

Les systèmes de fichiers traditionnels sont le résultat d'évolutions de systèmes de fichiers conçus il y a un certain nombre d'années : ext4 est une évolution de ext3 qui est une évolution de ext2 qui est évolution de extended file system conçu en 1992
Voir : http://fr.wikipedia.org/wiki/Extended_file_system
De la même façon, la version actuelle de NTFS est une évolution de la version apparue avec Windows NT en 1993
A cette époque lointaine, les disques étaient de capacité bien moins importante, l'adressage se faisait en CCHHSS et les interface étaient de type ST ou SCSI.
La puissance CPU n'était pas ce qu'elle est aujourd'hui et la tendance était de faire accomplir le maximum de taches par la carte contrôleur.
Depuis le milieu des années 1990 les choses ont bien évolué et l'on a aujourd'hui des disques de grandes capacités (pour 2010 mais qui seront ridicules demain), un adressage en LBA et des interfaces SATA, SAS ou FC.
La puissance CPU a aussi fait de gros progrès: fréquence mais aussi dual, quad cores.... et de fait beaucoup de machine disposent de puissance en réserve disponible pour le système de fichiers.
Dès lors, il devenait nécessaire de repenser entièrement la gestion des disques et c'est ce qu'on fait indépendamment l'une de l'autre les R&D de Sun et d'Oracle.
Cela a donné naissance à deux système de fichiers modernes : ZFS pour Sun et BTRFS pour Oracle.
Ces deux systèmes incluent (ou incluront prochainement) toutes les fonctionnalités que l'on est en droit d'attendre d'un système de fichiers moderne : gestion de pool de stockage hybride (mémoire, SSD et disque), snapshots, rollbacks, réplication, thin provisionning, deduplication, gestion de la fonction Trim sur SSD, ...
Suite au rachat de Sun par Oracle, il reste à savoir comment les choses vont évoluer :
- BTRFS est en licence GPL et est déjà inclus, actuellement en version expérimentale, dans le kernel Linux
- ZFS est licence CCDL et ne peut donc pas en l'état être inclus dans le kernel Linux (il existe un package zfs-fuse pour Fedora mais avec les performances d'un système de fichiers en espace utilisateur)
Il semble que du coté d'Ubuntu la décision soit prise de faire de BTRFS le système de fichier standard pour les prochaines versions :
Voir : http://www.netsplit.com/2010/05/14/btrf … -maverick/
Et pour Fedora et BTRFS
Voir : https://fedoraproject.org/wiki/Btrfs_in_Fedora_13
Dans tous les cas, suite au rachat de Sun, Oracle est à ce jour une des sociétés qui maitrisent le mieux les technologies des systèmes de fichiers avec à son catalogue ZFS et BTRFS mais aussi QFS et ses déclinaisons SAM/QFS et Shared/QFS, Lustre, OCFS, ...

Source = https://forums.fedora-fr.org/viewtopic.php?id=47966

Fedora-Fr - Communauté francophone Fedora - Linux

#1 15/01/2021 20:24:56

Déduplication de données sous Linux

#2 15/01/2021 20:51:42

Re : Déduplication de données sous Linux

#3 15/01/2021 21:12:14

Re : Déduplication de données sous Linux

#4 15/01/2021 21:34:39

Re : Déduplication de données sous Linux

#5 15/01/2021 21:57:07

Re : Déduplication de données sous Linux

#6 15/01/2021 22:20:20

Re : Déduplication de données sous Linux

#7 23/01/2021 14:48:56

Re : Déduplication de données sous Linux

Pied de page des forums