Project

General

Profile

Evolution #5172

Changement de format du fichier config.eol

Added by Emmanuel GARETTE almost 7 years ago. Updated almost 7 years ago.

Status:
Fermé
Priority:
Normal
Assigned To:
Category:
-
Start date:
04/01/2013
Due date:
04/26/2013
% Done:

100%

Spent time:
Distribution:
EOLE 2.4

Description

Aujourd'hui nous utilisons ConfigObj pour charger un fichier de type INI.

La bibliothèque ne s'en sort pas correctement avec les variables UTF-8, le module de validation est plus que limité et les performances sont déplorables.

Il faudrait changer le format du fichier eol et/ou la bibliothèque de chargement du fichier.

Impératif :
- facilement sériablisable dans une base de donnée NoSQL ;
- rapide ;
- conserve les types.

Format les plus connus :

- xml
- json
- yaml
- pickle

Associated revisions

Revision 5c6f7368 (diff)
Added by Emmanuel GARETTE almost 7 years ago

remplacement de configobj par cjson (voir si on reste sur cjson par la suite) (fixes #5172)

History

#1 Updated by Daniel Dehennin almost 7 years ago

Surtout pas de XML :-D

#2 Updated by Emmanuel GARETTE almost 7 years ago

YAML :

a={}
for i in range(0, 10000):
 a[i] = {'value': 'super', 'owner': 'gen_config'}

b={'unicode': u'test', 'integer': 1, 'intunicode': u'1', 'list': [u'unicode', 1, u'1', [u'uneautre']], 'boolean': True, 'none': None}

import yaml

def save():
 yaml.dump(a, file('document.yaml', 'w'))

def load():
 yaml.load(file('document.yaml', 'r'))

import hotshot
from hotshot import stats
prof = hotshot.Profile("hotshot_edi_stats")
prof.runcall(save)
prof.close()
s = stats.load("hotshot_edi_stats")
s.sort_stats("cumulative").print_stats()

prof = hotshot.Profile("hotshot_edi_stats")
prof.runcall(load)
prof.close()
s = stats.load("hotshot_edi_stats")
s.sort_stats("cumulative").print_stats()

yaml.dump(b, file('document2.yaml', 'w'))
c = yaml.load(file('document2.yaml', 'r'))

assert set(b) == set(c)

for i in b.keys():
 assert b[i] == c[i]
 assert type(b[i]) == type(c[i])

Enregistrement :

1730072 function calls (1530072 primitive calls) in 2.586 seconds

Chargement :

7040383 function calls (6960383 primitive calls) in 5.650 seconds

Dictionnaire avant/après chargement identique.

#3 Updated by Emmanuel GARETTE almost 7 years ago

  • Status changed from Nouveau to Accepté
  • % Done changed from 0 to 80

Voici le test complet :

a={}
for i in range(0, 10000):
 a['c{}'.format(i)] = {'value': 'super', 'owner': 'gen_config'}

b={'unicode': u'test', 'integer': 1, 'intunicode': u'1', 'list': [u'unicode', 1, u'1', [u'uneautre']], 'boolean': True, 'none': None, 'hehe': u'héhé'}

import yaml, cjson, pickle

def save():
 if typ == 'cjson':
  fh=file('document.json', 'w')
  fh.write(cjson.encode(a))
  fh.close()
 elif typ == 'yaml':
  yaml.dump(a, file('document.yaml', 'w'))
 elif typ == 'pickle':
  pickle.dump(a, file('document.pkl', 'w'))
 else:
  raise Exception('hu?')

def load():
 if typ == 'cjson':
  fh=file('document.json', 'r')
  c=cjson.decode(fh.read(), all_unicode=True)
  fh.close()
 elif typ == 'yaml':
  yaml.load(file('document.yaml', 'r'))
 elif typ == 'pickle':
  pickle.load(file('document.pkl', 'r'))
 else:
  raise Exception('hu?')

import hotshot

for typ in ['cjson', 'yaml', 'pickle']:
 print "==========save {}=========".format(typ)
 from hotshot import stats
 prof = hotshot.Profile("hotshot_edi_stats")
 prof.runcall(save)
 prof.close()
 s = stats.load("hotshot_edi_stats")
 s.sort_stats("cumulative").print_stats()

for typ in ['cjson', 'yaml', 'pickle']:
 print "==========read {}=========".format(typ)
 prof = hotshot.Profile("hotshot_edi_stats")
 prof.runcall(load)
 prof.close()
 s = stats.load("hotshot_edi_stats")
 s.sort_stats("cumulative").print_stats()

for typ in ['cjson', 'yaml', 'pickle']:
 print "==========compare {}=========".format(typ)
 if typ == 'cjson':
  fh=file('document2.json', 'w')
  fh.write(cjson.encode(b))
  fh.close()
  fh=file('document2.json', 'r')
  c=cjson.decode(fh.read(), all_unicode=True)
  fh.close()
 elif typ == 'yaml':
  yaml.dump(b, file('document2.yaml', 'w'))
  c = yaml.load(file('document2.yaml', 'r'))
 elif typ == 'pickle':
  pickle.dump(b, file('document2.pkl', 'w'))
  c = pickle.load(file('document2.pkl', 'r'))
 else:
  raise Exception('hu?')
 print set(b) == set(c)
 for i in b.keys():
  try:
   print b[i] == c[i]
   print type(b[i]) == type(c[i])
  except KeyError:
   print False

Résultat :

==========save cjson=========
         1 function calls in 0.010 seconds

==========save yaml=========
         1730072 function calls (1530072 primitive calls) in 2.704 seconds

==========save pickle=========
         230018 function calls (150018 primitive calls) in 0.164 seconds

==========read cjson=========
         1 function calls in 0.004 seconds

==========read yaml=========
         7050397 function calls (6970397 primitive calls) in 6.070 seconds

==========read pickle=========
         130024 function calls in 0.150 seconds

==========compare cjson=========
True
[..]
True

==========compare yaml=========
True
[..]
True

==========compare pickle=========
True
[..]
True

#4 Updated by Emmanuel GARETTE almost 7 years ago

Résultat :

cjson est le plus rapide.

Pickle est spécifique à Python et je ne suis pas sûr que le fichier yaml soit lisible avec autre chose que python-json :

boolean: true
hehe: "h\xE9h\xE9" 
integer: 1
intunicode: !!python/unicode '1'
list:
- !!python/unicode 'unicode'
- 1
- !!python/unicode '1'
- [!!python/unicode 'uneautre']
none: null
unicode: !!python/unicode 'test'

Pour moi, le winner est ... "cjson" !

#5 Updated by Emmanuel GARETTE almost 7 years ago

  • Status changed from Accepté to Résolu
  • % Done changed from 80 to 100

#6 Updated by Emmanuel GARETTE almost 7 years ago

  • Due date set to 04/26/2013
  • Target version set to Eole 2.4-dev-3
  • Start date set to 04/01/2013

#7 Updated by Joël Cuissinat almost 7 years ago

  • Status changed from Résolu to Fermé
  • Assigned To set to Emmanuel GARETTE

Vu

Also available in: Atom PDF