Distribution EOLE

En conservant le plus longtemps possible le contenu échappé et en appelant la méthode unquote au dernier moment, lorsqu’on sait qu’on cherche les en-têtes du fichier be1d, on peut déterminer l’encodage avec plus d’assurance.

C'est mieux, mais le test est toujours en erreur :
https://dev-eole.ac-dijon.fr/jenkins/job/2.8.0/job/test-importation-acascribe-special-2.8.0-amd64/13/console

            INFO:scribe.importation:## Lecture des élèves... ##
            ERROR:scribe.importation:local variable 'encoding' referenced before assignment

            AUTOMATE : Traceback dans la sortie console!

            Traceback (most recent call last):
              File "/usr/share/ead2/backend/bin/importation.py", line 257, in do_parse_be1d
                be1d.parse_be1d_eleves(self.store, eleve)
              File "/usr/lib/python3/dist-packages/scribe/parsing/be1d.py", line 49, in parse_be1d_eleves
                unquoted_csv = unquote(quoted_csv, encoding=encoding)
            UnboundLocalError: local variable 'encoding' referenced before assignment

Je pense que l’utilisation de chardet pourrait rendre le code plus sexy et prendre en compte plus de cas du coup :

diff --git a/scribe/parsing/be1d.py b/scribe/parsing/be1d.py
index d0561b1..2ddf9aa 100644
--- a/scribe/parsing/be1d.py
+++ b/scribe/parsing/be1d.py
@@ -16,6 +16,8 @@
 from csv import DictReader, reader
 from urllib.parse import unquote
 from sqlalchemy import and_
+from chardet import detect
+
 from scribe.eoletools import replace_cars, convert_file, formate_date, \
 formate_civilite, replace_more_cars
 from scribe.importation import log
@@ -34,23 +36,22 @@ def parse_be1d_eleves(store, csvfile):
     """ 
     num = 0
     log.infolog("Lecture des élèves...", title=True)
-    # fichier en UTF-8 ?
-    # le caractère è est encodé avec %C3%A9 en utf-8, %E8 en iso-8859-1
-    # ce qui se trouve entre le premier l et le premier v permet de déduire l’encodage.
-    with open(csvfile, 'r') as csvstream:
-        quoted_csv = csvstream.read()
-    first_l_index = quoted_csv.index('l')
-    first_v_index = quoted_csv.index('v')
-    marker = quoted_csv[first_l_index + 1: first_v_index].upper()
-    if marker == '%C3%A8':
-        encoding = 'utf-8'
-    elif marker == '%E8':
-        encoding = 'iso-8859-1'
-    else:
-        raise Exception("L’encodage du fichier source n’a pas pu être déterminé")
-    unquoted_csv = unquote(quoted_csv, encoding=encoding)
+
+    # Detect file encoding
+    with open(csvfile, 'rb') as csvstream:
+        sample = csvstream.read(4096)
+        encoding_detection = detect(sample)
+        if encoding_detection['confidence'] < 0.5:
+            raise Exception(f"L’encodage du fichier source n’a pas pu être déterminé")
+
+    with open(csvfile, 'r', encoding=encoding_detection['encoding']) as csvstream:
+      quoted_csv = csvstream.read()
+
+    unquoted_csv = unquote(quoted_csv, encoding=encoding_detection['encoding'])
+
     with open(csvfile, 'w') as csvstream:
         csvstream.write(unquoted_csv)
+
     source = 'onde'
     # champs obligatoires
     onde_fields = ['Nom élève', 'Prénom élève', 'Date naissance', 'Sexe', 'INE',

La demande est toujours en cours, puis-je pousser ma modification ?

Cet encodage est fait par nous même dans l’EAD pour faire passer le contenu du service web au backend EAD par XMLRPC.

J’ai finalement troqué quote/unquote de urllib, qui est normalement prévu pour l’encodage d’URL, par un encodage base64.

Tout ceci se fait dans l’EAD et ne doit pas impacter les routines d’importation Scribe.