Project

General

Profile

Evolution #1204

Revoir la politique de journalisation des logs

Added by Luc Bourdot over 13 years ago. Updated over 9 years ago.

Status:
Fermé
Priority:
Normal
Assigned To:
-
Category:
-
Target version:
-
Start date:
11/18/2010
Due date:
% Done:

100%

Spent time:
Distribution:
Toutes

Description

Il faudrait mettre un garde-fou pour eviter la saturation du FileSystem /var/log

logs.txt View (2.85 KB) Joël Cuissinat, 03/30/2012 12:08 PM


Related issues

Related to eole-exim - Anomalie #2517: exim4 : ne semble pas utiliser syslog Fermé 12/02/2011
Related to eole-common - Anomalie #2432: rsyslog.logrotate n’est pas un template Fermé 11/18/2011
Related to eole-proxy - Evolution #3018: Le fichier de configuration rsyslog de squid devait être dans eole-proxy Fermé 03/06/2012
Related to zephir-client - Anomalie #2708: Gérer les logs des agents zéphir Fermé 01/12/2012
Related to eole-common - Evolution #2563: separation des logs et la version de scannedonly Fermé 12/07/2011
Related to zephir-client - Evolution #1492: Revoir la façon dont sont gérés les logs des agents Fermé 03/01/2011
Related to ZéphirLog - Anomalie #1226: Ajouter la variable "activer_sonde_prelude" sur zephirlogs Fermé 11/29/2010
Related to ZéphirLog - Anomalie #794: ZephirLogs Pas un bug 07/23/2010
Related to Amon - Anomalie #1348: log dansgardian Classée sans suite 01/12/2011
Related to controle-vnc - Anomalie #2511: Log de controle-vnc non remonté sur le maître Fermé 12/02/2011
Related to creole - Anomalie #660: parsedico log dans le logger "root" Ne sera pas résolu 06/11/2010
Related to Documentations - Anomalie #372: Documenter ZephirLog Ne sera pas résolu 04/12/2010
Related to eole-common - Anomalie #3161: [rsyslog] le port 20514 n’est pas accessible depuis les conteneurs Fermé 03/26/2012
Related to Sentinelle - Anomalie #429: logs sentinelle Ne sera pas résolu 04/19/2010
Related to eole-proxy - Anomalie #3066: règles distinctes de squid et iptables pour rsyslog redondantes avec 50-default-conteneur.conf (eole-common) Fermé 03/12/2012
Related to conf-amon - Anomalie #3245: [logrotate] un template est fourni pour @/etc/logrotate.conf@ Fermé 04/05/2012
Related to EoleSSO - Anomalie #3248: [log] N’utilise pas syslog Fermé 04/05/2012
Related to courier-eolecas - Anomalie #3250: [log] Utilise syslog mais pas des fois Fermé 04/16/2012 07/19/2013
Related to ead - Anomalie #3271: Pas de virus dans l'observation des virus (ead) Fermé 04/11/2012
Related to ead - Anomalie #3395: Plus d'historique de navigation Web dans L'EAD depuis la mise a jour 2.3.4 stable Fermé 04/25/2012
Related to eole-proxy - Anomalie #3541: Mise à niveau du logrotate de dansguardian Fermé 05/30/2012
Related to eole-common - Anomalie #3636: logrotate manquant à gérer dans le paquet eole-common Fermé 06/15/2012
Related to zephir-client - Anomalie #3646: logrotate manquant à gérer dans le paquet zephir-client Fermé 06/15/2012
Related to eole-spamassassin - Anomalie #3645: logrotate manquant à gérer dans le paquet eole-spamassassin Fermé 06/15/2012
Related to eole-courier - Anomalie #3643: logrotate manquant à gérer dans le paquet eole-courier Fermé 06/15/2012
Related to EoleSSO - Anomalie #3642: logrotate manquant à gérer dans le paquet EoleSSO Fermé 06/15/2012
Related to eole-dhcp - Anomalie #3641: logrotate manquant à gérer dans le paquet eole-dhcp Fermé 06/15/2012
Related to eole-web - Anomalie #3639: logrotate manquant à gérer dans le paquet eole-web Fermé 06/15/2012
Related to eole-proxy - Anomalie #3640: logrotate manquant à gérer dans le paquet eole-proxy Fermé 06/15/2012
Related to conf-scribe - Anomalie #3638: logrotate manquant à gérer dans le paquet conf-scribe Fermé 06/15/2012
Related to eole-web - Demande #21035: Passer LogLevel de info à warn Ne sera pas résolu 07/11/2017

Associated revisions

Revision 118378f5 (diff)
Added by moyooo over 15 years ago

see #1204 : Manage UTF8 filename

Revision 5439c58d (diff)
Added by Benjamin Bohard about 12 years ago

refactoring des logs (ref #1204)

mise à jour de la référence au fichier de règles de ryslsog en mode
contexte de conteneur : 50-default.conf -> 00-aggregation.conf et
50-default-conteneur.conf -> 00-conteneur.conf
Modification de la configuration de apache2 : ErrorLog syslog et level
info

Revision f4ea601e (diff)
Added by Benjamin Bohard about 12 years ago

refactoring log (ref #1204)

utilisation d'un template pour créer l'arborescence des journaux
dynamiquement.

Revision 7be43451 (diff)
Added by Benjamin Bohard about 12 years ago

refactoring des logs (ref #1204)

Mise à jour de la référence au fichier de règle pour rsyslog en contexte
de conteneur : 50-default.conf -> 00-aggregation.conf et
50-default-conteneur.conf -> 00-conteneur.conf.
Répercussion du changement d'arborescence dans squid.logrotate.

Revision 7461f286 (diff)
Added by Benjamin Bohard about 12 years ago

refactoring des logs (ref #1204)

Mise à jour des références au fichier de règles de rsyslog en contexte
de conteneur : 50-default.conf -> 00-aggregation.conf et
50-default-conteneur.conf -> 00-conteneur.conf

Revision f3876f4f (diff)
Added by Benjamin Bohard about 12 years ago

refactoring de la gestion des logs (ref #1204)

modification en profondeur du dictionnaire dicos/01_log.xml :
- séparation des sources de logs selon le protocole ;
- mise à jour des fichiers à charger.
modification des fichiers de configuration :
- rsyslog.conf : chargement des modules complété (RELP, TCP et UDP si besoin),
correction du groupe cible pour l'abandon des droits root (problèmes
d'écriture dans /var/log/rsyslog même avec les bons droits) ;
- schéma général : /var/log/rsyslog/%hostname%/%programname%/%programname%.%syslogseverity-text% ;
- 00-aggregation.conf : prend en charge l'envoi par TCP (si TLS) ou
RELP ;
- 00-conteneur.conf : le seul fichier à placer dans un conteneur,
prévoit l'utilisation d'une file d'attente pour squid et une règle
générale pour le reste ;
- 20-... : filtres personnalisés pour certains programmes : squid, iptables,
ajout de rsyslog pour se conformer au schéma général (instances avec des
noms différents) ;
- 99-general_dispatch.conf : "ramasse-miettes", filtre tout le reste selon
le shéma général.
- rsyslog.logrotate : répercussion du changement d'arborescence pour
une partie des règles.

Revision 183b9683 (diff)
Added by Benjamin Bohard about 12 years ago

refactoring des logs (ref #1204)

Mise à jour de la référence au fichier de règles de rsyslog en contexte
de conteneur : 50-default.conf -> 00-aggregation.conf et
50-default-conteneur.conf -> 00-conteneur.conf.
Ajout de la directive log_path_file = syslog dans le fichier de
configuration d'exim.
Répercussion du changement d'arborescence dans le fichier de logrotate.

Revision d6aed833 (diff)
Added by Benjamin Bohard about 12 years ago

refactoring de la gestion des logs (ref #1204)

modification en profondeur du dictionnaire dicos/01_log.xml :
- séparation des sources de logs selon le protocole ;
- mise à jour des fichiers à charger.
modification des fichiers de configuration :
- rsyslog.conf : chargement des modules complété (RELP, TCP et UDP si besoin),
correction du groupe cible pour l'abandon des droits root (problèmes
d'écriture dans /var/log/rsyslog même avec les bons droits) ;
- schéma général : /var/log/rsyslog/%hostname%/%programname%/%programname%.%syslogseverity-text% ;
- 00-aggregation.conf : prend en charge l'envoi par TCP (si TLS) ou
RELP ;
- 00-conteneur.conf : le seul fichier à placer dans un conteneur,
prévoit l'utilisation d'une file d'attente pour squid et une règle
générale pour le reste ;
- 20-... : filtres personnalisés pour certains programmes : squid, iptables,
ajout de rsyslog pour se conformer au schéma général (instances avec des
noms différents) ;
- 99-general_dispatch.conf : "ramasse-miettes", filtre tout le reste selon
le shéma général.
- rsyslog.logrotate : répercussion du changement d'arborescence pour
une partie des règles.

Revision aeff92ab (diff)
Added by Benjamin Bohard about 12 years ago

Les règles iptables bloquent les paquets entre conteneurs et root (ref #1204)

tmpl/end_static_rules.sh : ajout d'une règle autorisant les paquets tcp
sur le port 20514 depuis les conteneurs vers le maître.

Revision 0be8388e (diff)
Added by Benjamin Bohard about 12 years ago

Corrections des paramètre TLS (ref #1204)

dicos/01_log.xml : réorganisation du dictionnaire pour la gestion de TLS
tmpl/00-aggregation.conf : réécriture du template pour la gestion de TLS
tmpl/rsyslog.conf : réécriture du template pour la gestion de TLS

Revision 2f9a50f2 (diff)
Added by Benjamin Bohard about 12 years ago

migration de la journalisation de bacula (ref #1204)

syslog/20-bacula.conf : réécriture de la règle pour la nouvelle
arborescence.
tmpl/bacula-common.logrotate : réécriture pour correspondre à la
nouvelle arborescence.

Revision 3fd6fb1a (diff)
Added by Benjamin Bohard about 12 years ago

mise en conformité de la gestion des logs (ref #1204)

rsyslog/20-named.conf : réécriture de la règle conformément à la
nouvelle arborescence.
rvp/rsyslog/20-charon.conf : réécriture de la règle conformément à la
nouvelle arborescence.
rvp/logrotate/charon : réécriture de la règle pour correspondre à la
nouvelle arborescence.

Revision 28fa7dca (diff)
Added by Benjamin Bohard about 12 years ago

mise à jour des configurations de journalisation (ref #1204)

rsyslog/20-nmbd.conf : réécriture de la règle pour se conformer à la
nouvelle arborescence.
rsyslog/20-smbd.conf : réécriture de la règle pour se conformer à la
nouvelle arborescence.
logrotate/smbd_nmbd : réécriture de la règle pour correspondre à la
nouvelle arborescence.

Revision aabb2186 (diff)
Added by Benjamin Bohard about 12 years ago

mise à jour des configurations de journalisation (ref #1204)

tmpl/20-squid.conf : réécriture de la règle pour se conformer à la
nouvelle arborescence.
tmpl/99general-dispatch.conf : réécriture des règles pour se conformer à la
nouvelle arborescence.
tmpl/rsyslog.logrotate : réécriture d'une partie des règles pour
correspondre à la nouvelle arborescence.

Revision 50781435 (diff)
Added by Benjamin Bohard about 12 years ago

correction des templates pour rsyslog (ref #1204)

  • tmpl/99-general_dispatch.conf : il manquait .log à la fin et la
    variable syslogseverity-text à la place de syslogseverity.

Revision df29ebdc (diff)
Added by Benjamin Bohard about 12 years ago

mise à jour de la configuration de journalisation (ref #1204)

  • dansguardian*.conf : activation de l'option logsyslog (logsyslog = on
    plutôt que syslog = on).
  • dansguardian.logrotate : réécriture de la règle pour correspondre à la
    nouvelle arborescence.
  • squid.logrotate : réécriture de la règle pour correspondre à la
    nouvelle arborescence.

Revision a52d1fea (diff)
Added by Benjamin Bohard about 12 years ago

mise à jour de la configuration pour la journalisation (ref #1204)

  • tmpl/20-dansguardian.conf : ajout d'un fichier avec une règle pour
    rsyslog
  • dicos/23_proxy.xml : ajout de l'entrée file prenant en charge le
    nouveau fichier 20-dansguardian.conf

Revision c316b257 (diff)
Added by Benjamin Bohard about 12 years ago

correction de la journalisation d'iptables (ref #1204)

  • tmpl/20-iptables.conf : correction du filtre
  • tmpl/rsyslog.logrotate : ajout d'une règle pour iptables

Revision 9a0453e3 (diff)
Added by Benjamin Bohard about 12 years ago

refactoring de l'arborescence générale des logs (ref #1204)

L'arborescence précédemment mise en place ne garantissait pas
l'homogénéité entre le mode conteneur et le mode non conteneur.
L'arborescence retenue pour cette itération est divisée en deux
branches. La branche locale accueille les journaux locaux triés par
programme (y compris conteneurs si utilisés). La branche remote accueille
les journaux des machines distantes, triés par nom d'hôte puis par programme.

  • 00-aggregation.conf : mise à jour pour conformité avec la nouvelle
    arborescence.
  • 01-templates.conf : déport des templates génériques pour une
    éventuelle utilisation dans les règles personnalisées et, surtout, une
    meilleure identification.
  • 20-auth.conf : création d'une règle de type "vue" pour amalgamer les
    messages concernant les authentifications (création de doublons).
  • 80-rsyslog.conf : création d'une règle pour amalgamer les messages des
    différentes instances de rsyslog.
  • 99-general_dispatch : mise à jour pour conformité avec la nouvelle
    arborescence et suppression des templates (voir 01-templates.conf).
  • rsyslog.logrotate : mise à jour pour conformité avec la nouvelle
    arborescence.

Revision 15ff87dd (diff)
Added by Daniel Dehennin about 12 years ago

Samba n’utilise pas syslog: Revert "mise à jour des configurations de journalisation (ref #1204)".

This reverts commit 28fa7dcae17f4c71559beac5bf71ccd35b5446cd.

Revision 599a0a2f (diff)
Added by Daniel Dehennin about 12 years ago

Configuration de la rotation des logs de charon avec la nouvelle architecture.

  • rvp/logrotate/charon: Les logs se trouvent dans
    /var/log/rsyslog/local/charon/

Ref: #1204 @5m

Revision cf8521f3 (diff)
Added by Benjamin Bohard about 12 years ago

mise à jour du dictionnaire 01_log.xml (ref #1204)

Le dictionnaire installe les bons fichiers de configuration pour
rsyslog.

Revision 7daf0041 (diff)
Added by Daniel Dehennin about 12 years ago

Rsyslog: Ajout d’une règlè pour le trie des logs des conteneurs.

  • tmpl/99-general_dispatch.conf: On utilise « :fromhost » en plus de
    « :fromhost-ip » du fait de problème avec la version rsyslog de Lucid.

Ref: #2871 @45m
Ref: #1204

Revision 6075242b (diff)
Added by Benjamin Bohard almost 12 years ago

problème de template rsyslog pour squid

  • tmpl/00-aggregation.conf : ajout d'une condition sur les valeurs de
    %%squid_heure_debut et %%squid_heure_fin.
  • tmpl/00-conteneur.conf : suppression de la condition sur
    %%activate_squide_tems_realtime.

Ref #1204

Revision fecdc38b (diff)
Added by Benjamin Bohard almost 12 years ago

Les templates ne permettent pas d'appliquer la politique de journalisation

  • tmpl/80-squid.conf: règle de filtrage pour squid exploitant la différence de
    facility des instances.
  • tmpl/80-dansguardian.conf: règle de filtrage pour dansguardian exploitant la
    différence de nom de programme des instances.
  • dicos/23_proxy.xml: balise file pour 80-dansguardian.conf.
  • tmpl/dansguardian1.conf: ajout de la variable "namesuffix" avec défaut à "$z"
  • tmpl/dansguardian2.conf: ajout de la variable "namesuffix" avec défaut à "$z"
  • tmpl/dansguardian3.conf: ajout de la variable "namesuffix" avec défaut à "$z"
  • tmpl/squid.conf: utilisation de la facility LOG_LOCAL1
  • tmpl/squid2.conf: utilisation de la facility LOG_LOCAL2

Ref #1204

Revision 57794e46 (diff)
Added by Benjamin Bohard almost 12 years ago

Correction du chemin des logs eole-sso pour logrotate

  • logrotate/eole-sso : correction du chemin pour correspondre au
    nouveau dispatch.

Ref #1204

Revision a8b82850 (diff)
Added by Benjamin Bohard almost 12 years ago

Les répertoires créés avant l'abandon des privilèges sont inaccessibles après.

  • tmpl/rsyslog.conf : ajout des directives $DirUser syslog et $DirGroup adm.

Ref #1204

Revision a120b623 (diff)
Added by Benjamin Bohard almost 12 years ago

Corrections des fichiers de conf de rsyslog.

  • tmpl/80-cron.conf : copier/coller fâcheux, nom de template corrigé.
  • tmpl/rsyslog.conf : correction de la directive $DirUser -> $DirOwner.

Ref #1204

History

#1 Updated by Joël Cuissinat over 12 years ago

  • Assigned To set to Daniel Dehennin

#2 Updated by Daniel Dehennin over 12 years ago

  • Distribution set to Toutes

Faire en sorte que tout passe par syslog, cf l’horreur de #1454.

#3 Updated by Joël Cuissinat about 12 years ago

Je joins mon rapport concernant les programmes qui vont fouiner (et des fois même écrire) dans les logs.
Demandes déjà rentrées :
  • agent eximstats : #3213
  • détection des virus : #3271 (ead) et #3400 (agent)
  • observatoire de la navigation EAD : #3395

#4 Updated by Daniel Dehennin about 12 years ago

Le filtrage avec :fromhost-ip ne semble fonctionner que pour les messages adressé à l’adresse IP de la carte eth0.

#5 Updated by Daniel Dehennin about 12 years ago

Daniel Dehennin a écrit :

Le filtrage avec :fromhost-ip ne semble fonctionner que pour les messages adressé à l’adresse IP de la carte eth0.

Mais cela ne fonctionne pas avec un rsyslog de Lucid :-/

#6 Updated by Daniel Dehennin almost 12 years ago

Il faut revoir les logrotate

root@amonecole:~# grep /var/log/rsyslog/ /etc/logrotate.d/*
/etc/logrotate.d/bacula-common:/var/log/rsyslog/local/bacula*/*.log {
/etc/logrotate.d/charon:/var/log/rsyslog/local/charon/*.log {
/etc/logrotate.d/eole-exim:/var/log/rsyslog/local/exim/*.alert.log {
/etc/logrotate.d/eole-exim:/var/log/rsyslog/local/exim/*.[!a]*.log {
/etc/logrotate.d/named:/var/log/rsyslog/local/named/*.log {
/etc/logrotate.d/rsyslog:/var/log/rsyslog/local/auth/*.log {
/etc/logrotate.d/rsyslog:/var/log/rsyslog/local/iptables/*.log {
/etc/logrotate.d/rsyslog:/var/log/rsyslog/local/CRON/*.log {
/etc/logrotate.d/rsyslog:/var/log/rsyslog/local/kernel/*.log {
/etc/logrotate.d/squid3:/var/log/rsyslog/local/squid/squid.info.log {
/etc/logrotate.d/squid3:/var/log/rsyslog/local/squid/squid.[!i]*.log
root@amonecole:~# ls -1 /var/log/rsyslog/local/
10freedos
10qnx
20microsoft
30utility
50mounted-tests
apache2
archived
archived.pl
auth
authdaemond
bastion
bounced
bounced.pl
charon
cron
CRON
dansguardian
dhclient
dhcpd
eolesso
exim
IMAP
imapd
init
ipsec_starter
kernel
login
macosx-prober
modprobe
named
ntpd
os-prober
pluto
proftpd
python
rngd
rsyslog
slapd
smbd
spamd
squid
sshd
sSMTP
su
sudo
sympa
task_manager
twisted
wwsympa
zephir
zephiragents

Voilà la liste des répertoires manquants, donc non géré par les logrotates.

10freedos
10qnx
20microsoft
30utility
50mounted-tests
apache2
archived
archived.pl
authdaemond
bastion
bounced
bounced.pl
cron
dansguardian
dhclient
dhcpd
eolesso
IMAP
imapd
init
ipsec_starter
login
macosx-prober
modprobe
ntpd
os-prober
pluto
proftpd
python
rngd
rsyslog
slapd
smbd
spamd
sshd
sSMTP
su
sudo
sympa
task_manager
twisted
wwsympa
zephir
zephiragents

#7 Updated by Benjamin Bohard almost 12 years ago

Il y a, en plus, des fichiers dans /var/log/ qui ne sont pas pris en charge par logrotate.

#8 Updated by Joël Cuissinat over 9 years ago

  • Status changed from Nouveau to Fermé
  • Assigned To deleted (Daniel Dehennin)
  • % Done changed from 0 to 100

#9 Updated by Joël Cuissinat almost 7 years ago

Also available in: Atom PDF