Project

General

Profile

Bac à idée #10072

Accélérer la mise à jour des dépôts apt

Added by Emmanuel GARETTE over 5 years ago. Updated almost 4 years ago.

Status:
Nouveau
Priority:
Normal
Assigned To:
-
Category:
Version majeure
Target version:
-
Start date:
Due date:
% Done:

0%

Estimated time:
(Total: 4.00 h)

optimisation_apt.txt View - mesures avec les modifications préconisées (1.05 KB) Benjamin Bohard, 11/13/2015 06:10 PM

orignal_apt.txt View - mesures avec la configuration originale (1.05 KB) Benjamin Bohard, 11/13/2015 06:11 PM


Subtasks

Tâche #14076: Possibilité de ne plus télécharger les traductions APTNouveau

Tâche #14077: Possibilité d'augmenter le nombre de pipelineNouveau

History

#1 Updated by Joël Cuissinat over 5 years ago

La réponse n°3 nous informe que cette modification casse apt-cache search...
D'après mes tests l'utilisation de Acquire::http { Pipeline-Depth "200"; } apporte vraiment de la rapidité mais dans la configuration EOLE, on a actuellement :

root@amonecole:~# grep -B1 Pipeline-Depth /etc/apt/apt.conf.d/*
/etc/apt/apt.conf.d/02eoleapt-// Correctif concernant l'utilisation d'un proxy
/etc/apt/apt.conf.d/02eoleapt:Acquire::http::Pipeline-Depth "0";

#2 Updated by Scrum Master over 4 years ago

  • Release set to EOLE 2.4.2.1

#3 Updated by Emmanuel GARETTE over 4 years ago

  • Subject changed from ne pas télécharge les fichiers de traduction apt pour aller plus vite to ne pas télécharger les fichiers de traduction apt pour aller plus vite

#4 Updated by Emmanuel GARETTE over 4 years ago

Analyse de la suppression des traductions :

Sans traduction

root@amon:~# cat /etc/apt/apt.conf.d/99translations
Acquire::Languages "none";
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m15.818s
user    0m13.641s
sys    0m1.549s

Par contre, il n'y a plus de description détaillée quand on fait :

root@amon:~# apt-cache show gedit
Package: gedit
Priority: optional
Section: gnome
Installed-Size: 2607
Maintainer: Ubuntu Desktop Team <ubuntu-desktop@lists.ubuntu.com>
Original-Maintainer: Debian GNOME Maintainers <pkg-gnome-maintainers@lists.alioth.debian.org>
Architecture: amd64
Version: 3.10.4-0ubuntu4
Depends: libatk1.0-0 (>= 1.12.4), libc6 (>= 2.14), libcairo2 (>= 1.2.4), libenchant1c2a (>= 1.6.0), libgdk-pixbuf2.0-0 (>= 2.22.0), libgirepository-1.0-1 (>= 0.9.3), libglib2.0-0 (>= 2.38), libgtk-3-0 (>= 3.10), libgtksourceview-3.0-1 (>= 3.10.0), libpango-1.0-0 (>= 1.14.0), libpeas-1.0-0 (>= 1.1.0), libx11-6, libxml2 (>= 2.7.4), libzeitgeist-2.0-0 (>= 0.9.9), gedit-common (>= 3.10), gedit-common (<< 3.11), gsettings-desktop-schemas, python3-gi (>= 3.0), python-gi-cairo (>= 3.0), gir1.2-peas-1.0, iso-codes
Recommends: gir1.2-gtksource-3.0, zenity, yelp
Suggests: gedit-plugins
Breaks: gedit-plugins (<< 2.91)
Filename: pool/main/g/gedit/gedit_3.10.4-0ubuntu4_amd64.deb
Size: 477968
MD5sum: 689c705772508d8d6bedf57179fc1ff3
SHA1: a2cb831d3c9b0c35d673f7912959d33381f27276
SHA256: 68b1c3fcc4f5a2c88bcb26f61499300960761e9b22e124f723b652d3b27408ad
Description: official text editor of the GNOME desktop environment
Description-md5: 5091aaf6659e6bf7ca9b32695a59f9cd
Homepage: http://www.gnome.org/projects/gedit/
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Origin: Ubuntu
Supported: 5y
Task: ubuntu-desktop, ubuntu-usb, edubuntu-desktop, edubuntu-usb, ubuntustudio-desktop, ubuntu-gnome-desktop

Seulement en anglais

root@amon:~# cat /etc/apt/apt.conf.d/99translations
Acquire::Languages "en";
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m26.279s
user    0m22.211s
sys    0m2.204s
root@amon:~# apt-cache show gedit
Package: gedit
Priority: optional
Section: gnome
Installed-Size: 2607
Maintainer: Ubuntu Desktop Team <ubuntu-desktop@lists.ubuntu.com>
Original-Maintainer: Debian GNOME Maintainers <pkg-gnome-maintainers@lists.alioth.debian.org>
Architecture: amd64
Version: 3.10.4-0ubuntu4
Depends: libatk1.0-0 (>= 1.12.4), libc6 (>= 2.14), libcairo2 (>= 1.2.4), libenchant1c2a (>= 1.6.0), libgdk-pixbuf2.0-0 (>= 2.22.0), libgirepository-1.0-1 (>= 0.9.3), libglib2.0-0 (>= 2.38), libgtk-3-0 (>= 3.10), libgtksourceview-3.0-1 (>= 3.10.0), libpango-1.0-0 (>= 1.14.0), libpeas-1.0-0 (>= 1.1.0), libx11-6, libxml2 (>= 2.7.4), libzeitgeist-2.0-0 (>= 0.9.9), gedit-common (>= 3.10), gedit-common (<< 3.11), gsettings-desktop-schemas, python3-gi (>= 3.0), python-gi-cairo (>= 3.0), gir1.2-peas-1.0, iso-codes
Recommends: gir1.2-gtksource-3.0, zenity, yelp
Suggests: gedit-plugins
Breaks: gedit-plugins (<< 2.91)
Filename: pool/main/g/gedit/gedit_3.10.4-0ubuntu4_amd64.deb
Size: 477968
MD5sum: 689c705772508d8d6bedf57179fc1ff3
SHA1: a2cb831d3c9b0c35d673f7912959d33381f27276
SHA256: 68b1c3fcc4f5a2c88bcb26f61499300960761e9b22e124f723b652d3b27408ad
Description-en: official text editor of the GNOME desktop environment
 gedit is a text editor which supports most standard editor features,
 extending this basic functionality with other features not usually
 found in simple text editors. gedit is a graphical application which
 supports editing multiple text files in one window (known sometimes as
 tabs or MDI).
 .
 gedit fully supports international text through its use of the Unicode
 UTF-8 encoding in edited files. Its core feature set includes syntax
 highlighting of source code, auto indentation and printing and print preview
 support.
 .
 gedit is also extensible through its plugin system, which currently
 includes support for spell checking, comparing files, viewing CVS
 ChangeLogs, and adjusting indentation levels.
Description-md5: 5091aaf6659e6bf7ca9b32695a59f9cd
Homepage: http://www.gnome.org/projects/gedit/
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Origin: Ubuntu
Supported: 5y
Task: ubuntu-desktop, ubuntu-usb, edubuntu-desktop, edubuntu-usb, ubuntustudio-desktop, ubuntu-gnome-desktop

Anglais et français

root@amon:~# rm -f /etc/apt/apt.conf.d/99translations
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]
real    0m30.760s
user    0m26.417s
sys    0m2.965s
Package: gedit
Priority: optional
Section: gnome
Installed-Size: 2607
Maintainer: Ubuntu Desktop Team <ubuntu-desktop@lists.ubuntu.com>
Original-Maintainer: Debian GNOME Maintainers <pkg-gnome-maintainers@lists.alioth.debian.org>
Architecture: amd64
Version: 3.10.4-0ubuntu4
Depends: libatk1.0-0 (>= 1.12.4), libc6 (>= 2.14), libcairo2 (>= 1.2.4), libenchant1c2a (>= 1.6.0), libgdk-pixbuf2.0-0 (>= 2.22.0), libgirepository-1.0-1 (>= 0.9.3), libglib2.0-0 (>= 2.38), libgtk-3-0 (>= 3.10), libgtksourceview-3.0-1 (>= 3.10.0), libpango-1.0-0 (>= 1.14.0), libpeas-1.0-0 (>= 1.1.0), libx11-6, libxml2 (>= 2.7.4), libzeitgeist-2.0-0 (>= 0.9.9), gedit-common (>= 3.10), gedit-common (<< 3.11), gsettings-desktop-schemas, python3-gi (>= 3.0), python-gi-cairo (>= 3.0), gir1.2-peas-1.0, iso-codes
Recommends: gir1.2-gtksource-3.0, zenity, yelp
Suggests: gedit-plugins
Breaks: gedit-plugins (<< 2.91)
Filename: pool/main/g/gedit/gedit_3.10.4-0ubuntu4_amd64.deb
Size: 477968
MD5sum: 689c705772508d8d6bedf57179fc1ff3
SHA1: a2cb831d3c9b0c35d673f7912959d33381f27276
SHA256: 68b1c3fcc4f5a2c88bcb26f61499300960761e9b22e124f723b652d3b27408ad
Description-fr: Éditeur de texte officiel de l'environnement de bureau GNOME
 gedit est un éditeur de texte qui offre la plupart des fonctions de base
 que vous attendez d'un éditeur de texte, avec en plus des fonctionnalités
 rarement trouvées dans les éditeurs simples. C'est une application avec
 une interface graphique qui supporte l'édition de plusieurs fichiers texte
 dans une seule fenêtre (quelquefois connu comme onglets ou MDI).
 .
 gedit gère n'importe quelle langue pour les textes grâce à l'utilisation
 du codage Unicode UTF-8 pour les fichiers édités. Les fonctionnalités de
 base comprennent la coloration syntaxique du code source, l'auto-
 indentation et le support pour l'impression et l'aperçu avant impression.
 .
 gedit est également extensible par le biais de son système de modules,
 parmi lesquels on peut citer le support pour la vérification
 orthographique, la comparaison de fichiers, la visualisation de
 changements dans les versions CVS et l'ajustement des niveaux
 d'indentation.
Description-md5: 5091aaf6659e6bf7ca9b32695a59f9cd
Homepage: http://www.gnome.org/projects/gedit/
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Origin: Ubuntu
Supported: 5y
Task: ubuntu-desktop, ubuntu-usb, edubuntu-desktop, edubuntu-usb, ubuntustudio-desktop, ubuntu-gnome-desktop

Analyse de l'augmentation des pipeline

Avec la valeur 0 :

root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m26.693s
user    0m23.365s
sys    0m2.335s
root@amon:~# time apt-get update
[..]

real    0m16.800s
user    0m14.060s
sys    0m1.457s

Avec une valeur de 4

root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m24.547s
user    0m21.278s
sys    0m2.272s
root@amon:~# time apt-get update
[..]

real    0m16.000s
user    0m13.860s
sys    0m1.607s

Avec une valeur de 10

root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m23.427s
user    0m20.205s
sys    0m2.057s
root@amon:~# time apt-get update
[..]

real    0m12.981s
user    0m11.031s
sys    0m1.273s

Conclusion

Configuration actuelle :

root@amon:~# rm -f /etc/apt/apt.conf.d/99translations
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update

real    0m25.440s
user    0m22.064s
sys    0m2.121s
root@amon:~# time apt-get update

real    0m15.495s
user    0m13.194s
sys    0m1.391s

Configuration optimisée :

root@amon:~# cat /etc/apt/apt.conf.d/99translations
Acquire::Languages "none";
root@amon:~# cat /etc/apt/apt.conf.d/02eoleapt
// Effacement du cache
Acquire::http "True";

Acquire::http::No-Cache "True";

// Correctif concernant l'utilisation d'un proxy
Acquire::http::Pipeline-Depth "10";
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m23.057s
user    0m20.157s
sys    0m2.141s
root@amon:~# time apt-get update
[..]

real    0m13.376s
user    0m11.674s
sys    0m1.264s

#5 Updated by Emmanuel GARETTE over 4 years ago

  • Tracker changed from Scénario to Demande
  • Assigned To set to Emmanuel GARETTE

#6 Updated by Emmanuel GARETTE over 4 years ago

A tester sur des serveurs avec un débit moins important que EOLE.

#7 Updated by Benjamin Bohard over 4 years ago

Résultat des tests en fichiers joints pour éviter le flooding.
Grossièrement, avec la conjonction pipeline + traductions, le temps est moitié moindre.
L'apport de chaque modification n'a pas été mesuré.

#8 Updated by Emmanuel GARETTE over 4 years ago

  • Tracker changed from Demande to Proposition Scénario
  • Subject changed from ne pas télécharger les fichiers de traduction apt pour aller plus vite to Accélérer la mise à jour des dépôts apt
  • Category set to Version majeure

Il est intéressant de changer la configuration d'APT pour accéder la partie "mise à jour" (équivalent à apt-get update).

Deux possibilités de mises à jour :

- ne pas télécharger les fichiers de traduction ;
- augmenter le nombre de pipe autorisé.

#9 Updated by Scrum Master over 4 years ago

  • Assigned To deleted (Emmanuel GARETTE)

#10 Updated by Scrum Master over 4 years ago

  • Tracker changed from Proposition Scénario to Scénario
  • Start date deleted (11/18/2015)
  • Release set to EOLE 2.6.0
  • Story points set to 2.0

#11 Updated by Scrum Master almost 4 years ago

  • Tracker changed from Scénario to Bac à idée

Also available in: Atom PDF