From eduval at ligfy.fr Sat May 21 18:00:05 2016 From: eduval at ligfy.fr (Eric DUVAL) Date: Sat, 21 May 2016 18:00:05 +0200 Subject: [Perl] =?utf-8?q?perl_et_syslog-ng_r=C3=A9injection_de_logs?= Message-ID: <57408605.9050703@ligfy.fr> Bonjour, J'ai un problème technique et ne sais pas vraiment par quelle bout le prendre. Je reçois environ 140Go de logs par jour (syslog-ng), que je traite et en partie que je retransmets vers d'autres serveurs. En cas de non retransmission, j'ai écris un script en perl qui permet pour une période donnée de retransmettre les logs en les réinjectant dans des fichiers que syslog-ng sait prendre en charge. Mon problème est que le volume de logs à retransmettre peut être très important et j'aimerai pouvoir soit détecter à partir de mon script perl le moment où syslog-ng a terminé son traitement ou intégrer un timeout paramétrable dans mon script pour ralentir le mécanisme de réinjection. Le but de ce mécanisme étant de ne pas saturer les capacités des serveurs distants et de ne pas saturer les capacités des connexions réseaux. Auriez vous piste de réflexion à me proposer ? Merci. Eric. From patrice.karatchentzeff at gmail.com Sat May 21 18:49:46 2016 From: patrice.karatchentzeff at gmail.com (Patrice Karatchentzeff) Date: Sat, 21 May 2016 18:49:46 +0200 Subject: [Perl] =?utf-8?q?perl_et_syslog-ng_r=C3=A9injection_de_logs?= In-Reply-To: <57408605.9050703@ligfy.fr> References: <57408605.9050703@ligfy.fr> Message-ID: Salut Plusieurs pistes... Pour détecter quand syslog a terminé, tu peux guetter quand il n'y plus de PID par exemple. Plus simple, tu peux compter tes lignes de traitement et bloquer au bout d'un nombre paramétrable... Tout cela donne une taille approximative. Ou alors, plus violemment, tu segmentes tes logs en paquets à traiter (mais cela fait deux traitements alors que dans le premier cas, cela va avec ton traitement de log... c'est mieux :) ) PK Le 21 mai 2016 à 18:00, Eric DUVAL a écrit : > Bonjour, > > J'ai un problème technique et ne sais pas vraiment par quelle bout > le prendre. > > Je reçois environ 140Go de logs par jour (syslog-ng), que je traite > et en partie que je retransmets vers d'autres serveurs. > > En cas de non retransmission, j'ai écris un script en perl qui > permet pour une période donnée de retransmettre les logs en > les réinjectant dans des fichiers que syslog-ng sait prendre > en charge. > > Mon problème est que le volume de logs à retransmettre peut > être très important et j'aimerai pouvoir soit détecter > à partir de mon script perl le moment où syslog-ng a terminé > son traitement ou intégrer un timeout paramétrable dans mon script > pour ralentir le mécanisme de réinjection. > > Le but de ce mécanisme étant de ne pas saturer les capacités > des serveurs distants et de ne pas saturer les capacités des > connexions réseaux. > > Auriez vous piste de réflexion à me proposer ? > > Merci. > Eric. > > _______________________________________________ > Perl mailing list > Perl at mongueurs.net > http://listes.mongueurs.net/mailman/listinfo/perl > -- |\ _,,,---,,_ Patrice KARATCHENTZEFF ZZZzz /,`.-'`' -. ;-;;,_ mailto:patrice.karatchentzeff at gmail.com |,4- ) )-,_. ,\ ( `'-' http://p.karatchentzeff.free.fr '---''(_/--' `-'\_) -------------- section suivante -------------- Une pièce jointe HTML a été nettoyée... URL: From stephane.teletchea at univ-nantes.fr Sat May 21 22:32:33 2016 From: stephane.teletchea at univ-nantes.fr (=?UTF-8?B?U3TDqXBoYW5lIFTDqWxldGNow6lh?=) Date: Sat, 21 May 2016 22:32:33 +0200 Subject: [Perl] =?utf-8?q?perl_et_syslog-ng_r=C3=A9injection_de_logs?= In-Reply-To: <57408605.9050703@ligfy.fr> References: <57408605.9050703@ligfy.fr> Message-ID: <5740C5E1.1020604@univ-nantes.fr> Le 21/05/2016 18:00, Eric DUVAL a écrit : > Mon problème est que le volume de logs à retransmettre peut > être très important et j'aimerai pouvoir soit détecter > à partir de mon script perl le moment où syslog-ng a terminé > son traitement ou intégrer un timeout paramétrable dans mon script > pour ralentir le mécanisme de réinjection. Salut, Je ne suis pas sûr que cela réponde à tous tes problèmes, mais tu peux regarder du côté de inotify ? https://codehacienda.wordpress.com/2011/02/25/monitor-a-file-or-directory-for-changes-using-perl-and-linuxinotify2-module/ Bonne recherche :-) Stéphane -- Lecturer, UFIP, UMR 6286 CNRS, Team Protein Design In Silico UFR Sciences et Techniques, 2, rue de la Houssinière, Bât. 25, 44322 Nantes cedex 03, France Tél : +33 251 125 636 / Fax : +33 251 125 632 http://www.ufip.univ-nantes.fr/ - http://www.steletch.org From eduval at ligfy.fr Tue May 24 19:55:34 2016 From: eduval at ligfy.fr (Eric DUVAL) Date: Tue, 24 May 2016 19:55:34 +0200 Subject: [Perl] =?utf-8?q?perl_et_syslog-ng_r=C3=A9injection_de_logs?= In-Reply-To: References: <57408605.9050703@ligfy.fr> Message-ID: <57449596.3000900@ligfy.fr> Le 21/05/2016 18:49, Patrice Karatchentzeff a écrit : > Salut Salut, Merci pour vos réponses. > > Plusieurs pistes... > > Pour détecter quand syslog a terminé, tu peux guetter quand il n'y plus de > PID par exemple. Pas évident, syslog-ng n'est pas lancé que pour traiter cette réinjection, il gère aussi les flux entrants. Il n'y a pas de fork du process syslog-ng dédié à la réinjection. J'ai bien pensé créer une conf spécifique pour syslog-ng et à partir du script perl, lancer un process syslog-ng mais ça ne résout pas vraiment mon problème de volumétrie pour les serveurs qui vont devoir réceptionner ces logs. > > Plus simple, tu peux compter tes lignes de traitement et bloquer au bout > d'un nombre paramétrable... Tout cela donne une taille approximative. Ou > alors, plus violemment, tu segmentes tes logs en paquets à traiter (mais > cela fait deux traitements alors que dans le premier cas, cela va avec ton > traitement de log... c'est mieux :) ) Il y a une application qui permet en "pipant" avec le script perl de contrôler un flux de données. pv (http://linux.die.net/man/1/pv) en utilisant l'option "-L". ça peut faire l'affaire. Stéphane, merci pour le lien intéressant, mais ce n'est pas un module "perl::CORE" je ne peux pas l'installer. J'avais oublié de le préciser :-) > > PK > > Le 21 mai 2016 à 18:00, Eric DUVAL a écrit : > >> Bonjour, >> >> J'ai un problème technique et ne sais pas vraiment par quelle bout >> le prendre. >> >> Je reçois environ 140Go de logs par jour (syslog-ng), que je traite >> et en partie que je retransmets vers d'autres serveurs. >> >> En cas de non retransmission, j'ai écris un script en perl qui >> permet pour une période donnée de retransmettre les logs en >> les réinjectant dans des fichiers que syslog-ng sait prendre >> en charge. >> >> Mon problème est que le volume de logs à retransmettre peut >> être très important et j'aimerai pouvoir soit détecter >> à partir de mon script perl le moment où syslog-ng a terminé >> son traitement ou intégrer un timeout paramétrable dans mon script >> pour ralentir le mécanisme de réinjection. >> >> Le but de ce mécanisme étant de ne pas saturer les capacités >> des serveurs distants et de ne pas saturer les capacités des >> connexions réseaux. >> >> Auriez vous piste de réflexion à me proposer ? >> >> Merci. >> Eric. >> >> _______________________________________________ >> Perl mailing list >> Perl at mongueurs.net >> http://listes.mongueurs.net/mailman/listinfo/perl >> > > > > > > _______________________________________________ > Perl mailing list > Perl at mongueurs.net > http://listes.mongueurs.net/mailman/listinfo/perl > From stephane.teletchea at univ-nantes.fr Tue May 24 21:14:16 2016 From: stephane.teletchea at univ-nantes.fr (=?UTF-8?B?VMOpbGV0Y2jDqWEgU3TDqXBoYW5l?=) Date: Tue, 24 May 2016 21:14:16 +0200 Subject: [Perl] =?utf-8?q?perl_et_syslog-ng_r=C3=A9injection_de_logs?= In-Reply-To: <57449596.3000900@ligfy.fr> References: <57408605.9050703@ligfy.fr> <57449596.3000900@ligfy.fr> Message-ID: <5744A808.6000403@univ-nantes.fr> Le 24/05/2016 19:55, Eric DUVAL a écrit : > Stéphane, merci pour le lien intéressant, mais ce n'est pas un module > "perl::CORE" je ne peux pas l'installer. J'avais oublié de le préciser :-) Ha, tant pis, mais inotify est un mécanisme noyau : https://www.ibm.com/developerworks/library/l-ubuntu-inotify/ (il y a même un code en C ...). Dans un "script" tu peux utiliser inotify-wait et monitorer son résultat :-) Encore mieux, une dépêche de linuxfr : http://linuxfr.org/news/exploiter-inotify-c-est-simple cf incrond, Isyncd, iwatch ... Cela semble répondre pas mal à tes demandes :-) :-) Bonne soirée, Stéphane -- Team Protein Design In Silico UFIP, UMR 6286 CNRS, UFR Sciences et Techniques, 2, rue de la Houssinière, Bât. 25, Nantes cedex 03, France Tél : +33 251 125 636 - Fax : +33 251 125 632 http://www.ufip.univ-nantes.fr/ - http://www.steletch.org From eduval at ligfy.fr Tue May 24 21:43:32 2016 From: eduval at ligfy.fr (Eric DUVAL) Date: Tue, 24 May 2016 21:43:32 +0200 Subject: [Perl] =?utf-8?q?perl_et_syslog-ng_r=C3=A9injection_de_logs?= In-Reply-To: <5744A808.6000403@univ-nantes.fr> References: <57408605.9050703@ligfy.fr> <57449596.3000900@ligfy.fr> <5744A808.6000403@univ-nantes.fr> Message-ID: <5744AEE4.60900@ligfy.fr> Merci pour ces infos. Le 24/05/2016 21:14, Téletchéa Stéphane a écrit : > Le 24/05/2016 19:55, Eric DUVAL a écrit : >> Stéphane, merci pour le lien intéressant, mais ce n'est pas un module >> "perl::CORE" je ne peux pas l'installer. J'avais oublié de le préciser >> :-) > > Ha, tant pis, mais inotify est un mécanisme noyau : > https://www.ibm.com/developerworks/library/l-ubuntu-inotify/ > > (il y a même un code en C ...). > > Dans un "script" tu peux utiliser inotify-wait et monitorer son résultat > :-) > > Encore mieux, une dépêche de linuxfr : > > http://linuxfr.org/news/exploiter-inotify-c-est-simple > > cf incrond, Isyncd, iwatch ... Cela semble répondre pas mal à tes > demandes :-) > > :-) > > Bonne soirée, > > Stéphane > From elbeho at boivin.eu Sun May 29 15:20:17 2016 From: elbeho at boivin.eu (L Boivin) Date: Sun, 29 May 2016 15:20:17 +0200 Subject: [Perl] Fwd: looking for a strong OpenStack DevOps engineer in European time zone In-Reply-To: References: Message-ID: <574AEC91.6040205@boivin.eu> Okazou, donc. -------- Forwarded Message -------- Subject: looking for a strong OpenStack DevOps engineer in European time zone Date: Thu, 26 May 2016 14:25:18 +0800 From: Kai Carver To: jobs at mongueurs.net Hello, Roger Kou, une connaissance DevOps Manager à Cisco à Hong Kong, cherche un bon ingénieur DevOps en zone horaire européenne, voir ci-dessous. Je fais donc passer okazou k TUE 4:22AM Hi Kai, we are looking for a strong OpenStack DevOps engineer in European time zone. Do you know anyone there? wink emoticon https://mjobs.cisco.com/job/CISCA000137815/Sr--OpenStack-Development-Ops-Engineer 2:11PM Hi Roger, that looks interesting! I will ask around. -------------- section suivante -------------- Une pièce jointe HTML a été nettoyée... URL: