[Perl] perl et syslog-ng réinjection de logs

[Patrice Karatchentzeff]

Salut

Plusieurs pistes...

Pour détecter quand syslog a terminé, tu peux guetter quand il n'y plus de
PID par exemple.

Plus simple, tu peux compter tes lignes de traitement et bloquer au bout
d'un nombre paramétrable... Tout cela donne une taille approximative. Ou
alors, plus violemment, tu segmentes tes logs en paquets à traiter (mais
cela fait deux traitements alors que dans le premier cas, cela va avec ton
traitement de log... c'est mieux :) )

PK

Le 21 mai 2016 à 18:00, Eric DUVAL <eduval at ligfy.fr> a écrit :

> Bonjour,
>
> J'ai un problème technique et ne sais pas vraiment par quelle bout
> le prendre.
>
> Je reçois environ 140Go de logs par jour (syslog-ng), que je traite
> et en partie que je retransmets vers d'autres serveurs.
>
> En cas de non retransmission, j'ai écris un script en perl qui
> permet pour une période donnée de retransmettre les logs en
> les réinjectant dans des fichiers que syslog-ng sait prendre
> en charge.
>
> Mon problème est que le volume de logs à retransmettre peut
> être très important et j'aimerai pouvoir soit détecter
> à partir de mon script perl le moment où syslog-ng a terminé
> son traitement ou intégrer un timeout paramétrable dans mon script
> pour ralentir le mécanisme de réinjection.
>
> Le but de ce mécanisme étant de ne pas saturer les capacités
> des serveurs distants et de ne pas saturer les capacités des
> connexions réseaux.
>
> Auriez vous piste de réflexion à me proposer ?
>
> Merci.
> Eric.
>
> _______________________________________________
> Perl mailing list
> Perl at mongueurs.net
> http://listes.mongueurs.net/mailman/listinfo/perl
>



-- 
      |\      _,,,---,,_           Patrice KARATCHENTZEFF
ZZZzz /,`.-'`'    -.  ;-;;,_   mailto:patrice.karatchentzeff at gmail.com
     |,4-  ) )-,_. ,\ (  `'-'      http://p.karatchentzeff.free.fr
    '---''(_/--'  `-'\_)
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://listes.mongueurs.net/mailman/private/perl/attachments/20160521/16b4e133/attachment.html>