[Perl] perl et syslog-ng réinjection de logs

Eric DUVAL eduval at ligfy.fr
Sam 21 Mai 18:00:05 CEST 2016


Bonjour,

J'ai un problème technique et ne sais pas vraiment par quelle bout
le prendre.

Je reçois environ 140Go de logs par jour (syslog-ng), que je traite
et en partie que je retransmets vers d'autres serveurs.

En cas de non retransmission, j'ai écris un script en perl qui
permet pour une période donnée de retransmettre les logs en
les réinjectant dans des fichiers que syslog-ng sait prendre
en charge.

Mon problème est que le volume de logs à retransmettre peut
être très important et j'aimerai pouvoir soit détecter
à partir de mon script perl le moment où syslog-ng a terminé
son traitement ou intégrer un timeout paramétrable dans mon script
pour ralentir le mécanisme de réinjection.

Le but de ce mécanisme étant de ne pas saturer les capacités
des serveurs distants et de ne pas saturer les capacités des
connexions réseaux.

Auriez vous piste de réflexion à me proposer ?

Merci.
Eric.



Plus d'informations sur la liste de diffusion Perl