Project

General

Profile

Scénario #24214

Bareos : voir comment limiter la taille occupée par les volumes dépassant la rétention

Added by équipe eole Academie d'Orléans-Tours over 1 year ago. Updated 3 months ago.

Status:
Terminé (Sprint)
Priority:
Normal
Assigned To:
-
Category:
-
Start date:
09/23/2019
Due date:
10/11/2019
% Done:

100%

Story points:
4.0
Remaining (hours):
0.00 hour
Velocity based estimate:
Release:
Release relationship:
Auto

Description

Malgré l'application de durée de rétention, on trouve sur environ 40% de nos horus et scribe de notre académie des volumes ayant dépassé cette dernière.

Sur une rétention à 40jours (diff et full), avec une diff par semaine, une full par mois et une inc par jour (8 jours de rétention), nous avons un peu de tout qui dépasse la durée demandée.

Par exemple :

J'ai ce volume "127.0.0.1-dir-diff-0248" dans mon catalogue donc le "list volumes" me donne :

248 127.0.0.1-dir-diff-0248 Full 1 1,999,936,603 0 3,456,000 1 0 0 File 2018-01-26 22:05:00

Idem sur le disque

-rwxr-xr-x 1 bareos root 1999936603 janv. 26 22:00 /mnt/sauvegardes/127.0.0.1-dir-diff-0248*

La duré est largement dépassé, et il me semble que bareos n'a depuis sa dernière utilisation jamais essayé de le purger :

zcat /var/log/rsyslog/local/bareos-dir/bareos-dir.err.log*.gz | grep 127.0.0.1-dir-diff-0248
2018-01-26T22:00:17.647790+01:00 sc450053.clg-dunois-orleans.lan bareos-dir: 127.0.0.1-dir JobId 910: There are no more Jobs associated with Volume "127.0.0.1-dir-diff-0248". Marking it purged.
2018-01-26T22:00:17.648785+01:00 sc450053.clg-dunois-orleans.lan bareos-dir: 127.0.0.1-dir JobId 910: All records pruned from Volume "127.0.0.1-dir-diff-0248"; marking it "Purged"
2018-01-26T22:00:17.650300+01:00 sc450053.clg-dunois-orleans.lan bareos-dir: 127.0.0.1-dir JobId 910: Recycled volume "127.0.0.1-dir-diff-0248"
2018-01-26T22:00:18.014895+01:00 sc450053.clg-dunois-orleans.lan bareos-dir: 127.0.0.1-sd JobId 910: Recycled volume "127.0.0.1-dir-diff-0248" on device "FileStorage" (/mnt/sauvegardes), all previous data lost.
2018-01-26T22:05:00.543471+01:00 sc450053.clg-dunois-orleans.lan bareos-dir: 127.0.0.1-sd JobId 910: End of medium on Volume "127.0.0.1-dir-diff-0248" Bytes=1,999,936,603 Blocks=31,001 at 26-Jan-2018 22:05.
2018-01-26T22:32:34.352679+01:00 sc450053.clg-dunois-orleans.lan bareos-dir: Volume name(s): 127.0.0.1-dir-diff-0248|127.0.0.1-dir-diff-0249|127.0.0.1-dir-diff-0250|127.0.0.1-dir-diff-0251|127.0.0.1-dir-diff-0252

Depuis ce recyclage, plus rien...

Par ailleurs, si on demande a bareos de purger les volumes dépassés par la rétention via :

echo "list volumes" | bconsole | grep 127.0.0.1-dir | awk '{print $4}' | xargs -i% echo -e "prune volume=%\nyes" | bconsole

les volumes passent bien en statut "prune". Je ne sais pas pourquoi certains volumes passent a travers "l'autoprune" de bareos.

Après dialogue avec E Garette, qui a notamment trouvé des infos relative a ce comportement tel que http://admin.shamot.cz/?p=309#sthash.TooEI6wU.dpbs , avoir l'option " “Action On Purge = Truncate” in all Pools" dans le directeur permet de limiter l'impact de ce comportement.

Ce que l'on ne sait pas, c'est si cela suffira : les volumes seront-il "Trucate" une fois la durée de rétention dépassé malgré le fait que leur statut n'est pas changé par bareos ?

Nicolas

unused.sh View (4.68 KB) Emmanuel GARETTE, 01/07/2019 11:06 AM


Subtasks

Tâche #29042: Évaluer la taille de disque mobilisable pour une sauvegardeFermé

Tâche #29044: Remonter les infos dans z-statsFermé

Tâche #29046: Documenter les indicateurs remontés.Fermé


Related issues

Related to Distribution EOLE - Tâche #29065: Validation du scénario : bareos - voir comment limiter la taille occupée par les volumes dépassant la rétention Fermé 10/04/2019

Associated revisions

Revision f2bce2aa (diff)
Added by Matthieu Lamalle 4 months ago

ref #24214 correction diagnose

Revision 16c60486 (diff)
Added by Benjamin Bohard 4 months ago

Message plus générique en cas d’erreur de lecture du fichier de rapport.

Ref #24214

History

#1 Updated by équipe eole Academie d'Orléans-Tours over 1 year ago

Ça devrait fonctionner car de ce qui est expliqué dans ce vieil article https://adsm.org/lists/html/Bacula-users/2010-06/msg00199.html nos volumes sont bien "scannés" par bareos, ils passent en Full puis en état Used, et sont parfois recyclés. Il semble que la suppression totale ne soit pas trop dans les habitudes de bacula...

Le fonctionnement fait qu'on conserve tous les Jobs, on garde donc les volumes associés :

*list jobs
Automatically selected Catalog: MyCatalog
Using Catalog "MyCatalog" 
+-------+-----------------+---------------------+------+-------+-----------+-----------------+-----------+
| JobId | Name            | StartTime           | Type | Level | JobFiles  | JobBytes        | JobStatus |
+-------+-----------------+---------------------+------+-------+-----------+-----------------+-----------+
|     1 | JobSchedulePre  | 2017-09-19 22:00:11 | B    | F     |         0 |               0 | T         |
|   286 | JobSauvegarde   | 2017-12-22 22:00:14 | B    | D     |   114,959 |   6,175,068,638 | T         |
|   306 | JobSauvegarde   | 2017-12-29 22:00:14 | B    | D     |   114,999 |   6,175,085,183 | T         |
|   326 | JobSauvegarde   | 2018-01-05 22:00:15 | B    | D     |   115,034 |   6,175,098,492 | T         |
|   350 | JobSauvegarde   | 2018-01-12 22:00:15 | B    | D     |    98,059 |   2,661,164,629 | T         |
|   370 | JobSauvegarde   | 2018-01-19 22:00:17 | B    | D     |   135,574 |   7,796,023,727 | T         |
|   390 | JobSauvegarde   | 2018-01-26 22:00:16 | B    | D     |   170,646 |  11,375,598,061 | T         |

Après je ne sais pas pourquoi certains sites tournent sur peu de volumes (recycle régulier) et d'autres beaucoup plus (presque un an de volumes "Inc" à des endroits)...

#2 Updated by équipe eole Academie d'Orléans-Tours over 1 year ago

Je suis tombé sur https://blog.bacula.org/whitepapers/CommunityDiskBackup.pdf

Avec notamment son paragraphe sur 1.4 Truncate Volume on Purge intéressante pour ce signalement.

J'ai aussi vu https://www.bareos.com/en/company_news/bareos-16-2-5-maintenance-release-published.html qui dit

The new action 'truncate on purge' directly deletes old backup volumes on disk storage, making it free for other purposes.

Du coup l'action est-elle limité à certaines versions du logiciel ? (on est en bareos 14.2 sur des eole 2.5.2)
Ou faut-il comprendre qu'a partir de cette version de bareos 16.2.5, il est possible d'avoir une suppression auto des volumes sur le disque ?

#3 Updated by Emmanuel GARETTE about 1 year ago

Je met ci-joint le script adapter au contexte d'EOLE :

bareosmount.py --mount
./unused.sh -t
./unused.sh -p
./unused.sh -Dp
./unused.sh -Do
bareosmount.py --umount

Ajouter “Action On Purge = Truncate” à tous les Pools via un patch (voir : http://doc.bareos.org/master/html/bareos-manual-main-reference.html#directiveDirPoolAction%20On%20Purge ).

#4 Updated by Gilles Grandgérard 11 months ago

  • Tracker changed from Demande to Scénario
  • Start date deleted (06/14/2018)

#5 Updated by Gilles Grandgérard 5 months ago

  • Project changed from creole to eole-bareos

#6 Updated by Gilles Grandgérard 5 months ago

  • Release set to Carnet de produit (Cadoles)

#7 Updated by Gilles Grandgérard 5 months ago

  • Story points set to 4.0

#8 Updated by Joël Cuissinat 4 months ago

  • Due date set to 10/11/2019
  • Target version set to Prestation Cadoles 39-41
  • Start date set to 09/23/2019

#9 Updated by Benjamin Bohard 4 months ago

Bareos privilégie la création de nouveau volume au recyclage des anciens tant qu’il a la place pour le faire. Il faudrait s’assurer qu’utiliser l’option Truncate n’aboutisse pas à un autre problème si Bareos remplit l’espace disque sans que l’espace reste alloué aux volumes qu’il pourrait potentiellement utiliser.
Pour limiter l’espace disque utilisé, il existe également d’autres méthodes impliquant de limiter le nombre de volumes que Bareos est autorisé à créé et en forçant le recyclage des plus anciens volumes.

#10 Updated by Matthieu Lamalle 4 months ago

On fournit un indicateur pour que l'administrateur soit en mesure d'adapter la configuration de bareos en fonction de l'espace disque disponible et en prévision de la prochaine sauvegarde, basée sur la taille des sauvegardes précédentes.

Il faut reporter et commenter cela dans la doc pour assister l'administrateur quant aux décisions qu'il peut prendre selon ces indications.

#11 Updated by Daniel Dehennin 4 months ago

  • Related to Tâche #29065: Validation du scénario : bareos - voir comment limiter la taille occupée par les volumes dépassant la rétention added

#12 Updated by Fabrice Barconnière 4 months ago

  • Status changed from Nouveau to Terminé (Sprint)

#13 Updated by Fabrice Barconnière 4 months ago

  • Status changed from Terminé (Sprint) to En cours

#14 Updated by Fabrice Barconnière 4 months ago

  • Status changed from En cours to Terminé (Sprint)

#15 Updated by Joël Cuissinat 3 months ago

  • Release changed from Carnet de produit (Cadoles) to EOLE 2.7.1.2

Also available in: Atom PDF