Project

General

Profile

Scénario #31842

Diagnose: services en Erreur (Apache, Dhcp, Lsc, Sso, logrotate) après MajAuto Hebdo

Added by Pascal Baptendier about 3 years ago. Updated about 3 years ago.

Status:
Terminé (Sprint)
Priority:
Normal
Assigned To:
Category:
-
Start date:
03/16/2021
Due date:
04/02/2021
% Done:

100%

Story points:
4.0
Remaining (hours):
0.00 hour
Velocity based estimate:
Release:
Release relationship:
Auto

Description

Bonjour,

Sur des Scribe 2.7.2 ou 2.8 nous avons assez souvent lors d'un diagnose
des erreurs de synchronisation LSC, alors que le service eole-lsc est ok.

Un redémarrage du service corrige l'erreur.

Merci

Pascal Baptendier
Conseil départemental de Haute Savoie

Cf message du 8/3 9h06


Subtasks

Tâche #32150: /var/log/rsyslog/local/creoled/creoled.info.log (à nouveau ?) en double dans logrotateFerméBenjamin Bohard

Tâche #32152: Le service eole-lsc n'est pas fiableFerméEmmanuel GARETTE


Related issues

Related to Distribution EOLE - Tâche #31916: Valider le scénario Diagnose: services en Erreur (Apache, Dhcp, Lsc, Sso, logrotate) après MajAuto Hebdo (11-13) Fermé 03/12/2021
Related to Distribution EOLE - Scénario #32151: Le calcul du "estimate_output" pour Bareos est susceptible de prendre plusieurs minutes Terminé (Sprint) 04/16/2021 06/04/2021

History

#1 Updated by Joël Cuissinat about 3 years ago

  • Description updated (diff)

#2 Updated by Joël Cuissinat about 3 years ago

  • Tracker changed from Demande to Scénario
  • Due date set to 04/02/2021
  • Target version set to Prestation Cadoles MEN 2021 11-13
  • Release set to EOLE 2.7.1.3
  • Story points set to 4.0

#3 Updated by Gilles Grandgérard about 3 years ago

  • Subject changed from Diagnose: Synchronisation LSC => Erreur to Diagnose: services en Erreur (Apache, Dhcp, Lsc, Sso, logrotate) après MajAuto Hebdo

#4 Updated by Gilles Grandgérard about 3 years ago

  • Description updated (diff)

#5 Updated by Emmanuel GARETTE about 3 years ago

  • Assigned To set to Emmanuel GARETTE

#6 Updated by Joël Cuissinat about 3 years ago

  • Related to Tâche #31916: Valider le scénario Diagnose: services en Erreur (Apache, Dhcp, Lsc, Sso, logrotate) après MajAuto Hebdo (11-13) added

#7 Updated by Emmanuel GARETTE about 3 years ago

Bonjour,

J'avais répondu dans la tâche au lieu du scénario, donc vous n'avez pas reçu mon message.

Voici donc mon analyse :

Si on regarde dans les logs du schedule on voit :

schedule.log :

                             Démarrage des services                             
[..]
Service isc-dhcp-server is not running                                  [  KO  ]
[..]
Service apache2 is not running                                          [  KO  ]

Dans les logs d'apache on peut voir :

apachectl.info.log:2021-03-15T05:50:32.287081+01:00 scribe.0741699v.etab apachectl[2130646]: (99)Cannot assign requested address: AH00072: make_sock: could not bind to address 10.174.7.250:80

Pareil pour dhcpd :

2021-03-15T05:50:32.086506+01:00 scribe.0741699v.etab dhcpd[2130624]: Not configured to listen on any interfaces!

On voit que le réseau ne démarre pas correctement (interface ens18) :

2021-03-15T05:46:22.165152+01:00 scribe.0741699v.etab systemd-networkd[30255]: addc_0: Link DOWN
2021-03-15T05:46:22.165249+01:00 scribe.0741699v.etab systemd-networkd[30255]: addc_0: Lost carrier
2021-03-15T05:46:22.166110+01:00 scribe.0741699v.etab systemd-networkd[30255]: br0: Lost carrier
2021-03-15T05:47:02.928224+01:00 scribe.0741699v.etab systemd-networkd[30255]: ens18: Link DOWN
2021-03-15T05:47:02.951949+01:00 scribe.0741699v.etab systemd-networkd[30255]: ens18: Lost carrier
2021-03-15T05:47:02.952705+01:00 scribe.0741699v.etab systemd-networkd[30255]: br0: Link DOWN
2021-03-15T05:47:03.750964+01:00 scribe.0741699v.etab systemd-networkd[2126581]: Enumeration completed
2021-03-15T05:47:03.751652+01:00 scribe.0741699v.etab systemd-networkd[2126581]: ens18: Link UP
2021-03-15T05:47:03.768358+01:00 scribe.0741699v.etab systemd-networkd[2126581]: ens18: Gained carrier
2021-03-15T05:48:27.729714+01:00 scribe.0741699v.etab systemd-networkd[2126581]: ens18: Link DOWN
2021-03-15T05:48:27.752790+01:00 scribe.0741699v.etab systemd-networkd[2126581]: ens18: Lost carrier
2021-03-15T05:50:31.636540+01:00 scribe.0741699v.etab systemd-networkd[2126581]: br0: Link UP
2021-03-15T05:51:02.300388+01:00 scribe.0741699v.etab systemd-networkd[2126581]: addc_0: Link UP
2021-03-15T05:51:02.361962+01:00 scribe.0741699v.etab systemd-networkd[2126581]: addc_0: Gained carrier
2021-03-15T05:51:02.362108+01:00 scribe.0741699v.etab systemd-networkd[2126581]: br0: Gained carrier

Le nouveau reconfigure à 9h fonctionne correctement :

2021-03-15T09:06:01.834437+01:00 scribe.0741699v.etab systemd-networkd[2126581]: addc_0: Link DOWN
2021-03-15T09:06:01.834574+01:00 scribe.0741699v.etab systemd-networkd[2126581]: addc_0: Lost carrier
2021-03-15T09:06:01.864074+01:00 scribe.0741699v.etab systemd-networkd[2126581]: br0: Lost carrier
2021-03-15T09:06:28.050856+01:00 scribe.0741699v.etab systemd-networkd[2126581]: br0: Link DOWN
2021-03-15T09:06:29.420114+01:00 scribe.0741699v.etab systemd-networkd[2331691]: Enumeration completed
2021-03-15T09:06:29.421071+01:00 scribe.0741699v.etab systemd-networkd[2331691]: ens18: Link UP
2021-03-15T09:06:29.441071+01:00 scribe.0741699v.etab systemd-networkd[2331691]: ens18: Gained carrier
2021-03-15T09:07:53.899418+01:00 scribe.0741699v.etab systemd-networkd[2331691]: ens18: Link DOWN
2021-03-15T09:07:53.919959+01:00 scribe.0741699v.etab systemd-networkd[2331691]: ens18: Lost carrier
2021-03-15T09:07:54.449277+01:00 scribe.0741699v.etab systemd-networkd[2335695]: Enumeration completed
2021-03-15T09:07:54.450064+01:00 scribe.0741699v.etab systemd-networkd[2335695]: ens18: Link UP
2021-03-15T09:07:54.471956+01:00 scribe.0741699v.etab systemd-networkd[2335695]: ens18: Gained carrier
2021-03-15T09:07:54.493365+01:00 scribe.0741699v.etab systemd-networkd[2335695]: br0: Link UP
2021-03-15T09:08:25.309554+01:00 scribe.0741699v.etab systemd-networkd[2335695]: addc_0: Link UP
2021-03-15T09:08:25.326101+01:00 scribe.0741699v.etab systemd-networkd[2335695]: br0: Gained carrier
2021-03-15T09:08:25.325940+01:00 scribe.0741699v.etab systemd-networkd[2335695]: addc_0: Gained carrier

Dans le 1er cas on voit que la configuration de l'interface termine par "ens18: Lost carrier".
Dans le 2ème cas on voit que la configuraton de l'interface termine par "ens18: Gained carrier".

Malheureusement le journal n'apporte aucune information utile.

Le début du journal est :

-- Logs begin at Mon 2021-03-15 16:08:36 CET, end at Mon 2021-03-15 16:21:47 CET. --

Donc bien plus tard dans la journée.

En effet il est rempli de ligne :

mars 15 16:08:58 scribe exim[2829297]: 2021-03-15 16:08:58 1lA7oD-0004Hh-O1 Message is frozen

Il faudrait purger ces mail en attente et corriger le problème de mail ou augmenter la taille de conservation du journal pour espérer avoir plus d'information.

Si cela se reproduit il est possible de voir l'état du réseau en faisant :

networkctl list

Vous devriez avoir une ligne :

ens18       ether    routable    configured

Est-ce que vous avez une idée de pourquoi l'interface réseau ne remonte pas durant le reconfigure de la nuit ?
Est-ce qu'il y a des opérations de maintenance sur l'hyperviseur ?
Est-ce qu'il y a des opérations de maintenance durant la nuit sur la VM ?

#8 Updated by Emmanuel GARETTE about 3 years ago

  • Status changed from Nouveau to En cours

#9 Updated by Pascal Baptendier about 3 years ago

Bonjour,

Toutes les nuits, nous avons uniquement une sauvegarde bareos

#10 Updated by Emmanuel GARETTE about 3 years ago

Dans ce cas il nous faut avoir plus d'informations pour tenter de comprendre ce qui se passe.

Je vous conseille donc de nettoyer la file d'attente de vos mails pour pouvoir nous transmettre un journal exploitable.

Cordialement,

#11 Updated by Pascal Baptendier about 3 years ago

Bonjour,

Pouvez vous m'indiquer la procédure pour nettoyer la file d'attente des mails?

Merci

#13 Updated by Joël Cuissinat about 3 years ago

Pascal Baptendier a écrit :

Bonjour,

Pouvez vous m'indiquer la procédure pour nettoyer la file d'attente des mails?

Merci

mailq | awk -F " " '{print $3}' | xargs exim -Mrm

#14 Updated by Joël Cuissinat about 3 years ago

  • Related to Scénario #32151: Le calcul du "estimate_output" pour Bareos est susceptible de prendre plusieurs minutes added

#15 Updated by Emmanuel GARETTE about 3 years ago

  • Status changed from En cours to Résolu

#16 Updated by Emmanuel GARETTE about 3 years ago

  • Status changed from Résolu to En cours

#17 Updated by Joël Cuissinat about 3 years ago

  • Related to deleted (Scénario #32151: Le calcul du "estimate_output" pour Bareos est susceptible de prendre plusieurs minutes)

#18 Updated by Joël Cuissinat about 3 years ago

  • Related to Scénario #32151: Le calcul du "estimate_output" pour Bareos est susceptible de prendre plusieurs minutes added

#19 Updated by Emmanuel GARETTE about 3 years ago

  • Status changed from En cours to Résolu

#20 Updated by Joël Cuissinat about 3 years ago

  • Status changed from Résolu to Terminé (Sprint)

Also available in: Atom PDF