Distribution EOLE

Bonjour,

Nous avons récemment constaté un incident sur nos modules Zéphir, le service zephir_backend présentait régulièrement des dysfonctionnements qui nécessitaient une relance et le journal zephir_backend.alert.log saturait la partition avec un grand nombre de messages d'erreur de ce type traduisant un manque de ressource attribuée au processus:

2023-12-11T12:56:26.207765+01:00 zephir.ac-aix-marseille.fr zephir_backend: [-] IOError: [Errno 24] Too many open files: '/var/lib/zephir/conf/0133788X/711/zephir.eol'
2023-12-11T12:56:26.208708+01:00 zephir.ac-aix-marseille.fr zephir_backend: [-] #011psycopg2.OperationalError: could not create socket: Too many open files
2023-12-11T12:56:26.833596+01:00 zephir.ac-aix-marseille.fr zephir_backend: [twisted.protocols.tls.TLSMemoryBIOFactory] #011OpenSSL.SSL.Error: [('system library', 'fopen', 'Too many open files'), ('BIO routines', 'FILE_CTRL', 'system lib'), ('SSL routines', 'SSL_CTX_use_certificate_file', 'system lib')]

Apres recherche et tentative de modifier les limites au niveau système, processus et user dans limits.conf en vain nous avons identifié des fonctions dans la librairie test_posixprocess.py de twisted dans lesquelles sont codées en dur des limites qui semblent être la raison de la contrainte:

def test_resourceFDImplementation(self):
        """ 
        L{_FDDetector._fallbackFDImplementation} uses the L{resource} module if
        it is available, returning a range of integers from 0 to the
        minimum of C{1024} and the hard I{NOFILE} limit.
        """ 
        # When the resource module is here, use its value.
        self.revealResourceModule(512)
        self.assertEqual(
            list(range(512)), list(self.detector._fallbackFDImplementation()))

        # But limit its value to the arbitrarily selected value 1024.
        self.revealResourceModule(2048)
        self.assertEqual(
            list(range(1024)), list(self.detector._fallbackFDImplementation()))

    def test_fallbackFDImplementation(self):
        """ 
        L{_FDDetector._fallbackFDImplementation}, the implementation of last
        resort, succeeds with a fixed range of integers from 0 to 1024 when the
        L{resource} module is not importable.
        """ 
        self.hideResourceModule()
        self.assertEqual(list(range(1024)),
                         list(self.detector._fallbackFDImplementation()))

En effet en augmentant les valeurs maximum (1024) le service ne présente plus de symptômes ni de traces d'erreur de ce type dans les journaux depuis.

Si cela est confirmé serait-il envisageable un évolution pour passer ce paramètre en variable creole sur tous les modules?

Merci