Bac à idée #10072

Accélérer la mise à jour des dépôts apt

Ajouté par Emmanuel GARETTE il y a plus de 9 ans. Mis à jour il y a presque 8 ans.

Statut:

Nouveau

Priorité:

Normal

Assigné à:

Catégorie:

Version majeure

Version cible:

Début:

Echéance:

% réalisé:

Temps estimé:

(Total: 4.00 h)

Description

Les informations sont ici :

http://askubuntu.com/questions/74653/how-can-i-remove-the-translation-entries-in-apt

optimisation_apt.txt Voir - mesures avec les modifications préconisées (1,05 ko) Benjamin Bohard, 13/11/2015 18:10

orignal_apt.txt Voir - mesures avec la configuration originale (1,05 ko) Benjamin Bohard, 13/11/2015 18:11

Sous-tâches

Historique

#1 Mis à jour par Joël Cuissinat il y a plus de 9 ans

La réponse n°3 nous informe que cette modification casse apt-cache search...
D'après mes tests l'utilisation de Acquire::http { Pipeline-Depth "200"; } apporte vraiment de la rapidité mais dans la configuration EOLE, on a actuellement :

root@amonecole:~# grep -B1 Pipeline-Depth /etc/apt/apt.conf.d/*
/etc/apt/apt.conf.d/02eoleapt-// Correctif concernant l'utilisation d'un proxy
/etc/apt/apt.conf.d/02eoleapt:Acquire::http::Pipeline-Depth "0";

#2 Mis à jour par Scrum Master il y a plus de 8 ans

Release mis à EOLE 2.4.2.1

#3 Mis à jour par Emmanuel GARETTE il y a plus de 8 ans

Sujet changé de ne pas télécharge les fichiers de traduction apt pour aller plus vite à ne pas télécharger les fichiers de traduction apt pour aller plus vite

#4 Mis à jour par Emmanuel GARETTE il y a plus de 8 ans

Analyse de la suppression des traductions :¶

Sans traduction¶

root@amon:~# cat /etc/apt/apt.conf.d/99translations
Acquire::Languages "none";
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m15.818s
user    0m13.641s
sys    0m1.549s

Par contre, il n'y a plus de description détaillée quand on fait :

root@amon:~# apt-cache show gedit
Package: gedit
Priority: optional
Section: gnome
Installed-Size: 2607
Maintainer: Ubuntu Desktop Team <ubuntu-desktop@lists.ubuntu.com>
Original-Maintainer: Debian GNOME Maintainers <pkg-gnome-maintainers@lists.alioth.debian.org>
Architecture: amd64
Version: 3.10.4-0ubuntu4
Depends: libatk1.0-0 (>= 1.12.4), libc6 (>= 2.14), libcairo2 (>= 1.2.4), libenchant1c2a (>= 1.6.0), libgdk-pixbuf2.0-0 (>= 2.22.0), libgirepository-1.0-1 (>= 0.9.3), libglib2.0-0 (>= 2.38), libgtk-3-0 (>= 3.10), libgtksourceview-3.0-1 (>= 3.10.0), libpango-1.0-0 (>= 1.14.0), libpeas-1.0-0 (>= 1.1.0), libx11-6, libxml2 (>= 2.7.4), libzeitgeist-2.0-0 (>= 0.9.9), gedit-common (>= 3.10), gedit-common (<< 3.11), gsettings-desktop-schemas, python3-gi (>= 3.0), python-gi-cairo (>= 3.0), gir1.2-peas-1.0, iso-codes
Recommends: gir1.2-gtksource-3.0, zenity, yelp
Suggests: gedit-plugins
Breaks: gedit-plugins (<< 2.91)
Filename: pool/main/g/gedit/gedit_3.10.4-0ubuntu4_amd64.deb
Size: 477968
MD5sum: 689c705772508d8d6bedf57179fc1ff3
SHA1: a2cb831d3c9b0c35d673f7912959d33381f27276
SHA256: 68b1c3fcc4f5a2c88bcb26f61499300960761e9b22e124f723b652d3b27408ad
Description: official text editor of the GNOME desktop environment
Description-md5: 5091aaf6659e6bf7ca9b32695a59f9cd
Homepage: http://www.gnome.org/projects/gedit/
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Origin: Ubuntu
Supported: 5y
Task: ubuntu-desktop, ubuntu-usb, edubuntu-desktop, edubuntu-usb, ubuntustudio-desktop, ubuntu-gnome-desktop

Seulement en anglais¶

root@amon:~# cat /etc/apt/apt.conf.d/99translations
Acquire::Languages "en";
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m26.279s
user    0m22.211s
sys    0m2.204s

root@amon:~# apt-cache show gedit
Package: gedit
Priority: optional
Section: gnome
Installed-Size: 2607
Maintainer: Ubuntu Desktop Team <ubuntu-desktop@lists.ubuntu.com>
Original-Maintainer: Debian GNOME Maintainers <pkg-gnome-maintainers@lists.alioth.debian.org>
Architecture: amd64
Version: 3.10.4-0ubuntu4
Depends: libatk1.0-0 (>= 1.12.4), libc6 (>= 2.14), libcairo2 (>= 1.2.4), libenchant1c2a (>= 1.6.0), libgdk-pixbuf2.0-0 (>= 2.22.0), libgirepository-1.0-1 (>= 0.9.3), libglib2.0-0 (>= 2.38), libgtk-3-0 (>= 3.10), libgtksourceview-3.0-1 (>= 3.10.0), libpango-1.0-0 (>= 1.14.0), libpeas-1.0-0 (>= 1.1.0), libx11-6, libxml2 (>= 2.7.4), libzeitgeist-2.0-0 (>= 0.9.9), gedit-common (>= 3.10), gedit-common (<< 3.11), gsettings-desktop-schemas, python3-gi (>= 3.0), python-gi-cairo (>= 3.0), gir1.2-peas-1.0, iso-codes
Recommends: gir1.2-gtksource-3.0, zenity, yelp
Suggests: gedit-plugins
Breaks: gedit-plugins (<< 2.91)
Filename: pool/main/g/gedit/gedit_3.10.4-0ubuntu4_amd64.deb
Size: 477968
MD5sum: 689c705772508d8d6bedf57179fc1ff3
SHA1: a2cb831d3c9b0c35d673f7912959d33381f27276
SHA256: 68b1c3fcc4f5a2c88bcb26f61499300960761e9b22e124f723b652d3b27408ad
Description-en: official text editor of the GNOME desktop environment
 gedit is a text editor which supports most standard editor features,
 extending this basic functionality with other features not usually
 found in simple text editors. gedit is a graphical application which
 supports editing multiple text files in one window (known sometimes as
 tabs or MDI).
 .
 gedit fully supports international text through its use of the Unicode
 UTF-8 encoding in edited files. Its core feature set includes syntax
 highlighting of source code, auto indentation and printing and print preview
 support.
 .
 gedit is also extensible through its plugin system, which currently
 includes support for spell checking, comparing files, viewing CVS
 ChangeLogs, and adjusting indentation levels.
Description-md5: 5091aaf6659e6bf7ca9b32695a59f9cd
Homepage: http://www.gnome.org/projects/gedit/
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Origin: Ubuntu
Supported: 5y
Task: ubuntu-desktop, ubuntu-usb, edubuntu-desktop, edubuntu-usb, ubuntustudio-desktop, ubuntu-gnome-desktop

Anglais et français¶

root@amon:~# rm -f /etc/apt/apt.conf.d/99translations
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]
real    0m30.760s
user    0m26.417s
sys    0m2.965s

Package: gedit
Priority: optional
Section: gnome
Installed-Size: 2607
Maintainer: Ubuntu Desktop Team <ubuntu-desktop@lists.ubuntu.com>
Original-Maintainer: Debian GNOME Maintainers <pkg-gnome-maintainers@lists.alioth.debian.org>
Architecture: amd64
Version: 3.10.4-0ubuntu4
Depends: libatk1.0-0 (>= 1.12.4), libc6 (>= 2.14), libcairo2 (>= 1.2.4), libenchant1c2a (>= 1.6.0), libgdk-pixbuf2.0-0 (>= 2.22.0), libgirepository-1.0-1 (>= 0.9.3), libglib2.0-0 (>= 2.38), libgtk-3-0 (>= 3.10), libgtksourceview-3.0-1 (>= 3.10.0), libpango-1.0-0 (>= 1.14.0), libpeas-1.0-0 (>= 1.1.0), libx11-6, libxml2 (>= 2.7.4), libzeitgeist-2.0-0 (>= 0.9.9), gedit-common (>= 3.10), gedit-common (<< 3.11), gsettings-desktop-schemas, python3-gi (>= 3.0), python-gi-cairo (>= 3.0), gir1.2-peas-1.0, iso-codes
Recommends: gir1.2-gtksource-3.0, zenity, yelp
Suggests: gedit-plugins
Breaks: gedit-plugins (<< 2.91)
Filename: pool/main/g/gedit/gedit_3.10.4-0ubuntu4_amd64.deb
Size: 477968
MD5sum: 689c705772508d8d6bedf57179fc1ff3
SHA1: a2cb831d3c9b0c35d673f7912959d33381f27276
SHA256: 68b1c3fcc4f5a2c88bcb26f61499300960761e9b22e124f723b652d3b27408ad
Description-fr: Éditeur de texte officiel de l'environnement de bureau GNOME
 gedit est un éditeur de texte qui offre la plupart des fonctions de base
 que vous attendez d'un éditeur de texte, avec en plus des fonctionnalités
 rarement trouvées dans les éditeurs simples. C'est une application avec
 une interface graphique qui supporte l'édition de plusieurs fichiers texte
 dans une seule fenêtre (quelquefois connu comme onglets ou MDI).
 .
 gedit gère n'importe quelle langue pour les textes grâce à l'utilisation
 du codage Unicode UTF-8 pour les fichiers édités. Les fonctionnalités de
 base comprennent la coloration syntaxique du code source, l'auto-
 indentation et le support pour l'impression et l'aperçu avant impression.
 .
 gedit est également extensible par le biais de son système de modules,
 parmi lesquels on peut citer le support pour la vérification
 orthographique, la comparaison de fichiers, la visualisation de
 changements dans les versions CVS et l'ajustement des niveaux
 d'indentation.
Description-md5: 5091aaf6659e6bf7ca9b32695a59f9cd
Homepage: http://www.gnome.org/projects/gedit/
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Origin: Ubuntu
Supported: 5y
Task: ubuntu-desktop, ubuntu-usb, edubuntu-desktop, edubuntu-usb, ubuntustudio-desktop, ubuntu-gnome-desktop

Analyse de l'augmentation des pipeline¶

Avec la valeur 0 :

root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m26.693s
user    0m23.365s
sys    0m2.335s
root@amon:~# time apt-get update
[..]

real    0m16.800s
user    0m14.060s
sys    0m1.457s

Avec une valeur de 4¶

root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m24.547s
user    0m21.278s
sys    0m2.272s
root@amon:~# time apt-get update
[..]

real    0m16.000s
user    0m13.860s
sys    0m1.607s

Avec une valeur de 10¶

root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m23.427s
user    0m20.205s
sys    0m2.057s
root@amon:~# time apt-get update
[..]

real    0m12.981s
user    0m11.031s
sys    0m1.273s

Conclusion¶

Configuration actuelle :¶

root@amon:~# rm -f /etc/apt/apt.conf.d/99translations
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update

real    0m25.440s
user    0m22.064s
sys    0m2.121s
root@amon:~# time apt-get update

real    0m15.495s
user    0m13.194s
sys    0m1.391s

Configuration optimisée :¶

root@amon:~# cat /etc/apt/apt.conf.d/99translations
Acquire::Languages "none";
root@amon:~# cat /etc/apt/apt.conf.d/02eoleapt
// Effacement du cache
Acquire::http "True";

Acquire::http::No-Cache "True";

// Correctif concernant l'utilisation d'un proxy
Acquire::http::Pipeline-Depth "10";
root@amon:~# rm -rf /var/lib/apt/lists/*
root@amon:~# time apt-get update
[..]

real    0m23.057s
user    0m20.157s
sys    0m2.141s
root@amon:~# time apt-get update
[..]

real    0m13.376s
user    0m11.674s
sys    0m1.264s

#5 Mis à jour par Emmanuel GARETTE il y a plus de 8 ans

Tracker changé de Scénario à Demande
Assigné à mis à Emmanuel GARETTE

#6 Mis à jour par Emmanuel GARETTE il y a plus de 8 ans

A tester sur des serveurs avec un débit moins important que EOLE.

#7 Mis à jour par Benjamin Bohard il y a plus de 8 ans

Fichier optimisation_apt.txt Voir ajouté
Fichier orignal_apt.txt Voir ajouté

Résultat des tests en fichiers joints pour éviter le flooding.
Grossièrement, avec la conjonction pipeline + traductions, le temps est moitié moindre.
L'apport de chaque modification n'a pas été mesuré.

#8 Mis à jour par Emmanuel GARETTE il y a plus de 8 ans

Tracker changé de Demande à Proposition Scénario
Sujet changé de ne pas télécharger les fichiers de traduction apt pour aller plus vite à Accélérer la mise à jour des dépôts apt
Catégorie mis à Version majeure

Il est intéressant de changer la configuration d'APT pour accéder la partie "mise à jour" (équivalent à apt-get update).

Deux possibilités de mises à jour :

- ne pas télécharger les fichiers de traduction ;
- augmenter le nombre de pipe autorisé.

#9 Mis à jour par Scrum Master il y a plus de 8 ans

Assigné à ~~Emmanuel GARETTE~~ supprimé

#10 Mis à jour par Scrum Master il y a plus de 8 ans

Tracker changé de Proposition Scénario à Scénario
Début ~~18/11/2015~~ supprimé
Release mis à EOLE 2.6.0
Points de scénarios mis à 2.0

#11 Mis à jour par Scrum Master il y a presque 8 ans

Tracker changé de Scénario à Bac à idée

Formats disponibles : Atom PDF

Projet

Général

Profil

Distribution EOLE » Commun » eole-common

Demandes

Rapports personnalisés