Distribution EOLE

Tentative de reproduction du problème en suivant #17498 sans succès.

--> Enfin, je ne reproduis pas le problème

Tentative de reproduction du problème sur Seth.
Nous avions systématiquement le problème à l'instance du serveur membre en postservice (25-manage-samba) lors du redémarrage des services pas CreoleService.
La solution temporaire a été de remplacer les CreoleService par service (eole-ad-dc:de7a95b0).
J'ai remis les CreoleService et l'instance se termine sans problème.

--> Je n'arrive pas à reproduire le problème.

Si j’ai bien compris, ce dont je ne suis pas sûr, le problème n’existe que durant l’instance :

1. Une connexion à creoled est ouvert par le client creole.client.CreoleClient et reste ESTABLISHED
2. Le paramétrage du noyau est activé par systctl (creole.reconfigure.param_kernel())
3. Un appel à creoled par creole.client.CreoleClient renvoi un timeout

Le timeout ne se produit que si la connexion est toujours dans l’état ESTABLISHED lors du second appel.

J’ai écris un petit script python pour tenter de reproduire le problème :

#!/usr/bin/python -u

import subprocess
import re

from time import sleep

from creole.client import CreoleClient
from creole.reconfigure import param_kernel
from creole.template import CreoleTemplateEngine

established = r'127\.0\.0\.1:8000 +ESTABLISHED'
time_wait = r'127\.0\.0\.1:8000 +TIME_WAIT'
netstat = ['netstat', '-tanp']

client = CreoleClient()
engine = CreoleTemplateEngine()

engine.instance_files(filenames=['/etc/sysctl.conf'])

print "creole.client call",
for i in range(5):
    print ".",
    client.get_creole('eole_module')
print

raw_output = subprocess.check_output(netstat)
output = raw_output.decode('utf-8')

print "Param kernel" 
param_kernel()

if re.search(established, output):
    print "Connection is ESTABLISHED" 
elif re.search(time_wait, output):
    print "Connection is TIME_WAIT" 
else:
    print "Connection is neither ESTABLISHED nor TIME_WAIT" 

print "Last creole.client call: {0}".format(client.get_creole('eole_module'))

Ce qui a pour sortie, sur un 2.5.2.1 fraîchement installé et non à jour:

root@eolebase:~# ./t.py 
creole.client call . . . . .
Param kernel
-----------------------------------------------------------------------------------------------------------------------
                                           Application des paramètres Noyau                                            
-----------------------------------------------------------------------------------------------------------------------
Connection is ESTABLISHED
Last creole.client call: eolebase

J’ai modifié le script pour tester en fonction de l’état de la connexion, car il semble que cela se produise juste après la fermeture de la connexion:

#!/usr/bin/python -u

import sys
import argparse
import subprocess
import re

from time import sleep

from creole.client import CreoleClient
from creole.reconfigure import param_kernel
from creole.template import CreoleTemplateEngine

parser = argparse.ArgumentParser(description=u'Test CreoleClient')
parser.add_argument('status', nargs='?', help=u"Wanted status",
                    choices=['opened', 'time_wait', 'closed'],
                    default='closed')

options = parser.parse_args()

established = r'127\.0\.0\.1:8000 +ESTABLISHED'
time_wait = r'127\.0\.0\.1:8000 +TIME_WAIT'
netstat = ['netstat', '-tanp']

client = CreoleClient()
engine = CreoleTemplateEngine()

engine.instance_files(filenames=['/etc/sysctl.conf'])

print "creole.client call",
for i in range(5):
    print ".",
    client.get_creole('eole_module')
print

print "Param kernel" 
param_kernel()

while True:

    raw_output = subprocess.check_output(netstat)
    output = raw_output.decode('utf-8')

    if re.search(established, output):
        print "Connection is ESTABLISHED" 
        if options.status == 'opened':
            break
    elif re.search(time_wait, output):
        print "Connection is TIME_WAIT" 
        if options.status == 'time_wait':
            break
    else:
        print "Connection is neither ESTABLISHED nor TIME_WAIT" 
        if options.status in ['closed', 'time_wait']:
            # Sometime there is no TIME_WAIT
            break

    sleep(0.5)

print "Last creole.client call: {0}".format(client.get_creole('eole_module'))

Je n’arrive pas à reproduire le problème une second fois après avoir restauré les paramètres sysctl:

root@eolebase:~# sysctl -a > sysctl.save
root@eolebase:~# sysctl --load=/root/sysctl.save; sleep 2; ./t.py closed
[...]
restkit.errors.RequestTimeout: timed out

C’est donc toujours :

• La première fois que les paramètres sysctl sont appliqué
• Après que la connexion soit fermée par le noyau (Connection is neither ESTABLISHED nor TIME_WAIT)

NB: je n’ai pas testé sur 2.6.0 avec le correctif #17408.

La gestion des connexions à l’état TIME-WAIT est bien impliquée dans le problème de timeout.

• changement de la gestion des connexions du côté creole, restkit ;
• changement du paramètre tcp_tw_recycle dans le template ;
• changement de l’ordre des opérations dans l’instance pour faire passer la saisie des mots de passe avant l’application des paramètres du noyau

Aucune de ces solutions n’est facile à tester, surtout sur la 2.6.0 pour laquelle la correction déjà apportée au problème de timeout rend l’occurence de celui-ci plus aléatoire.

Sur la 2.5.2.1 avant mise à jour (pour laquelle le problème est facilement reproductible), passer la saisie des mots de passe avant l’application des paramètres du noyau résoud le problème. C’est peut-être la solution avec le moins de répercussion et la plus adaptée pour la 2.6.0.

Changement de l’ordre des opérations dans reconfigure.

OK sur Eolebase 2.6.0rc4 :

root@eolebase:~# sysctl net.ipv4.tcp_tw_recycle
net.ipv4.tcp_tw_recycle = 0