Evolution #1204
Revoir la politique de journalisation des logs
Description
Il faudrait mettre un garde-fou pour eviter la saturation du FileSystem /var/log
Related issues
Associated revisions
see #1204 : Manage UTF8 filename
refactoring des logs (ref #1204)
mise à jour de la référence au fichier de règles de ryslsog en mode
contexte de conteneur : 50-default.conf -> 00-aggregation.conf et
50-default-conteneur.conf -> 00-conteneur.conf
Modification de la configuration de apache2 : ErrorLog syslog et level
info
refactoring log (ref #1204)
utilisation d'un template pour créer l'arborescence des journaux
dynamiquement.
refactoring des logs (ref #1204)
Mise à jour de la référence au fichier de règle pour rsyslog en contexte
de conteneur : 50-default.conf -> 00-aggregation.conf et
50-default-conteneur.conf -> 00-conteneur.conf.
Répercussion du changement d'arborescence dans squid.logrotate.
refactoring des logs (ref #1204)
Mise à jour des références au fichier de règles de rsyslog en contexte
de conteneur : 50-default.conf -> 00-aggregation.conf et
50-default-conteneur.conf -> 00-conteneur.conf
refactoring de la gestion des logs (ref #1204)
modification en profondeur du dictionnaire dicos/01_log.xml :
- séparation des sources de logs selon le protocole ;
- mise à jour des fichiers à charger.
modification des fichiers de configuration :
- rsyslog.conf : chargement des modules complété (RELP, TCP et UDP si besoin),
correction du groupe cible pour l'abandon des droits root (problèmes
d'écriture dans /var/log/rsyslog même avec les bons droits) ;
- schéma général : /var/log/rsyslog/%hostname%/%programname%/%programname%.%syslogseverity-text% ;
- 00-aggregation.conf : prend en charge l'envoi par TCP (si TLS) ou
RELP ;
- 00-conteneur.conf : le seul fichier à placer dans un conteneur,
prévoit l'utilisation d'une file d'attente pour squid et une règle
générale pour le reste ;
- 20-... : filtres personnalisés pour certains programmes : squid, iptables,
ajout de rsyslog pour se conformer au schéma général (instances avec des
noms différents) ;
- 99-general_dispatch.conf : "ramasse-miettes", filtre tout le reste selon
le shéma général.
- rsyslog.logrotate : répercussion du changement d'arborescence pour
une partie des règles.
refactoring des logs (ref #1204)
Mise à jour de la référence au fichier de règles de rsyslog en contexte
de conteneur : 50-default.conf -> 00-aggregation.conf et
50-default-conteneur.conf -> 00-conteneur.conf.
Ajout de la directive log_path_file = syslog dans le fichier de
configuration d'exim.
Répercussion du changement d'arborescence dans le fichier de logrotate.
refactoring de la gestion des logs (ref #1204)
modification en profondeur du dictionnaire dicos/01_log.xml :
- séparation des sources de logs selon le protocole ;
- mise à jour des fichiers à charger.
modification des fichiers de configuration :
- rsyslog.conf : chargement des modules complété (RELP, TCP et UDP si besoin),
correction du groupe cible pour l'abandon des droits root (problèmes
d'écriture dans /var/log/rsyslog même avec les bons droits) ;
- schéma général : /var/log/rsyslog/%hostname%/%programname%/%programname%.%syslogseverity-text% ;
- 00-aggregation.conf : prend en charge l'envoi par TCP (si TLS) ou
RELP ;
- 00-conteneur.conf : le seul fichier à placer dans un conteneur,
prévoit l'utilisation d'une file d'attente pour squid et une règle
générale pour le reste ;
- 20-... : filtres personnalisés pour certains programmes : squid, iptables,
ajout de rsyslog pour se conformer au schéma général (instances avec des
noms différents) ;
- 99-general_dispatch.conf : "ramasse-miettes", filtre tout le reste selon
le shéma général.
- rsyslog.logrotate : répercussion du changement d'arborescence pour
une partie des règles.
Les règles iptables bloquent les paquets entre conteneurs et root (ref #1204)
tmpl/end_static_rules.sh : ajout d'une règle autorisant les paquets tcp
sur le port 20514 depuis les conteneurs vers le maître.
Corrections des paramètre TLS (ref #1204)
dicos/01_log.xml : réorganisation du dictionnaire pour la gestion de TLS
tmpl/00-aggregation.conf : réécriture du template pour la gestion de TLS
tmpl/rsyslog.conf : réécriture du template pour la gestion de TLS
migration de la journalisation de bacula (ref #1204)
syslog/20-bacula.conf : réécriture de la règle pour la nouvelle
arborescence.
tmpl/bacula-common.logrotate : réécriture pour correspondre à la
nouvelle arborescence.
mise en conformité de la gestion des logs (ref #1204)
rsyslog/20-named.conf : réécriture de la règle conformément à la
nouvelle arborescence.
rvp/rsyslog/20-charon.conf : réécriture de la règle conformément à la
nouvelle arborescence.
rvp/logrotate/charon : réécriture de la règle pour correspondre à la
nouvelle arborescence.
mise à jour des configurations de journalisation (ref #1204)
rsyslog/20-nmbd.conf : réécriture de la règle pour se conformer à la
nouvelle arborescence.
rsyslog/20-smbd.conf : réécriture de la règle pour se conformer à la
nouvelle arborescence.
logrotate/smbd_nmbd : réécriture de la règle pour correspondre à la
nouvelle arborescence.
mise à jour des configurations de journalisation (ref #1204)
tmpl/20-squid.conf : réécriture de la règle pour se conformer à la
nouvelle arborescence.
tmpl/99general-dispatch.conf : réécriture des règles pour se conformer à la
nouvelle arborescence.
tmpl/rsyslog.logrotate : réécriture d'une partie des règles pour
correspondre à la nouvelle arborescence.
correction des templates pour rsyslog (ref #1204)
- tmpl/99-general_dispatch.conf : il manquait .log à la fin et la
variable syslogseverity-text à la place de syslogseverity.
mise à jour de la configuration de journalisation (ref #1204)
- dansguardian*.conf : activation de l'option logsyslog (logsyslog = on
plutôt que syslog = on).
- dansguardian.logrotate : réécriture de la règle pour correspondre à la
nouvelle arborescence.
- squid.logrotate : réécriture de la règle pour correspondre à la
nouvelle arborescence.
mise à jour de la configuration pour la journalisation (ref #1204)
- tmpl/20-dansguardian.conf : ajout d'un fichier avec une règle pour
rsyslog
- dicos/23_proxy.xml : ajout de l'entrée file prenant en charge le
nouveau fichier 20-dansguardian.conf
correction de la journalisation d'iptables (ref #1204)
- tmpl/20-iptables.conf : correction du filtre
- tmpl/rsyslog.logrotate : ajout d'une règle pour iptables
refactoring de l'arborescence générale des logs (ref #1204)
L'arborescence précédemment mise en place ne garantissait pas
l'homogénéité entre le mode conteneur et le mode non conteneur.
L'arborescence retenue pour cette itération est divisée en deux
branches. La branche locale accueille les journaux locaux triés par
programme (y compris conteneurs si utilisés). La branche remote accueille
les journaux des machines distantes, triés par nom d'hôte puis par programme.
- 00-aggregation.conf : mise à jour pour conformité avec la nouvelle
arborescence.
- 01-templates.conf : déport des templates génériques pour une
éventuelle utilisation dans les règles personnalisées et, surtout, une
meilleure identification.
- 20-auth.conf : création d'une règle de type "vue" pour amalgamer les
messages concernant les authentifications (création de doublons).
- 80-rsyslog.conf : création d'une règle pour amalgamer les messages des
différentes instances de rsyslog.
- 99-general_dispatch : mise à jour pour conformité avec la nouvelle
arborescence et suppression des templates (voir 01-templates.conf).
- rsyslog.logrotate : mise à jour pour conformité avec la nouvelle
arborescence.
Samba n’utilise pas syslog: Revert "mise à jour des configurations de journalisation (ref #1204)".
This reverts commit 28fa7dcae17f4c71559beac5bf71ccd35b5446cd.
Configuration de la rotation des logs de charon avec la nouvelle architecture.
- rvp/logrotate/charon: Les logs se trouvent dans
/var/log/rsyslog/local/charon/
Ref: #1204 @5m
mise à jour du dictionnaire 01_log.xml (ref #1204)
Le dictionnaire installe les bons fichiers de configuration pour
rsyslog.
problème de template rsyslog pour squid
- tmpl/00-aggregation.conf : ajout d'une condition sur les valeurs de
%%squid_heure_debut et %%squid_heure_fin.
- tmpl/00-conteneur.conf : suppression de la condition sur
%%activate_squide_tems_realtime.
Ref #1204
Les templates ne permettent pas d'appliquer la politique de journalisation
- tmpl/80-squid.conf: règle de filtrage pour squid exploitant la différence de
facility des instances.
- tmpl/80-dansguardian.conf: règle de filtrage pour dansguardian exploitant la
différence de nom de programme des instances.
- dicos/23_proxy.xml: balise file pour 80-dansguardian.conf.
- tmpl/dansguardian1.conf: ajout de la variable "namesuffix" avec défaut à "$z"
- tmpl/dansguardian2.conf: ajout de la variable "namesuffix" avec défaut à "$z"
- tmpl/dansguardian3.conf: ajout de la variable "namesuffix" avec défaut à "$z"
- tmpl/squid.conf: utilisation de la facility LOG_LOCAL1
- tmpl/squid2.conf: utilisation de la facility LOG_LOCAL2
Ref #1204
Correction du chemin des logs eole-sso pour logrotate
- logrotate/eole-sso : correction du chemin pour correspondre au
nouveau dispatch.
Ref #1204
Les répertoires créés avant l'abandon des privilèges sont inaccessibles après.
- tmpl/rsyslog.conf : ajout des directives $DirUser syslog et $DirGroup adm.
Ref #1204
Corrections des fichiers de conf de rsyslog.
- tmpl/80-cron.conf : copier/coller fâcheux, nom de template corrigé.
- tmpl/rsyslog.conf : correction de la directive $DirUser -> $DirOwner.
Ref #1204
History
#1 Updated by Joël Cuissinat almost 12 years ago
- Assigned To set to Daniel Dehennin
#2 Updated by Daniel Dehennin almost 12 years ago
- Distribution set to Toutes
Faire en sorte que tout passe par syslog, cf l’horreur de #1454.
#3 Updated by Joël Cuissinat over 11 years ago
#4 Updated by Daniel Dehennin over 11 years ago
Le filtrage avec :fromhost-ip ne semble fonctionner que pour les messages adressé à l’adresse IP de la carte eth0.
#5 Updated by Daniel Dehennin over 11 years ago
Daniel Dehennin a écrit :
Le filtrage avec
:fromhost-ipne semble fonctionner que pour les messages adressé à l’adresse IP de la carteeth0.
Mais cela ne fonctionne pas avec un rsyslog de Lucid :-/
#6 Updated by Daniel Dehennin over 11 years ago
Il faut revoir les logrotate
root@amonecole:~# grep /var/log/rsyslog/ /etc/logrotate.d/*
/etc/logrotate.d/bacula-common:/var/log/rsyslog/local/bacula*/*.log {
/etc/logrotate.d/charon:/var/log/rsyslog/local/charon/*.log {
/etc/logrotate.d/eole-exim:/var/log/rsyslog/local/exim/*.alert.log {
/etc/logrotate.d/eole-exim:/var/log/rsyslog/local/exim/*.[!a]*.log {
/etc/logrotate.d/named:/var/log/rsyslog/local/named/*.log {
/etc/logrotate.d/rsyslog:/var/log/rsyslog/local/auth/*.log {
/etc/logrotate.d/rsyslog:/var/log/rsyslog/local/iptables/*.log {
/etc/logrotate.d/rsyslog:/var/log/rsyslog/local/CRON/*.log {
/etc/logrotate.d/rsyslog:/var/log/rsyslog/local/kernel/*.log {
/etc/logrotate.d/squid3:/var/log/rsyslog/local/squid/squid.info.log {
/etc/logrotate.d/squid3:/var/log/rsyslog/local/squid/squid.[!i]*.log
root@amonecole:~# ls -1 /var/log/rsyslog/local/
10freedos
10qnx
20microsoft
30utility
50mounted-tests
apache2
archived
archived.pl
auth
authdaemond
bastion
bounced
bounced.pl
charon
cron
CRON
dansguardian
dhclient
dhcpd
eolesso
exim
IMAP
imapd
init
ipsec_starter
kernel
login
macosx-prober
modprobe
named
ntpd
os-prober
pluto
proftpd
python
rngd
rsyslog
slapd
smbd
spamd
squid
sshd
sSMTP
su
sudo
sympa
task_manager
twisted
wwsympa
zephir
zephiragents
Voilà la liste des répertoires manquants, donc non géré par les logrotates.
10freedos 10qnx 20microsoft 30utility 50mounted-tests apache2 archived archived.pl authdaemond bastion bounced bounced.pl cron dansguardian dhclient dhcpd eolesso IMAP imapd init ipsec_starter login macosx-prober modprobe ntpd os-prober pluto proftpd python rngd rsyslog slapd smbd spamd sshd sSMTP su sudo sympa task_manager twisted wwsympa zephir zephiragents
#7 Updated by Benjamin Bohard over 11 years ago
Il y a, en plus, des fichiers dans /var/log/ qui ne sont pas pris en charge par logrotate.
#8 Updated by Joël Cuissinat almost 9 years ago
- Status changed from Nouveau to Fermé
- Assigned To deleted (
Daniel Dehennin) - % Done changed from 0 to 100
#9 Updated by Joël Cuissinat about 6 years ago
- Related to Demande #21035: Passer LogLevel de info à warn added