[syslog-ng] syslog-ng with mongodb user survey

[Lucas, Sascha]

Hi Gergely,

From: Gergely Nagy
Date: Tue, 28. May 2013 15:31

> Thanks a lot for your feedback, it's very valuable!

Your welcome. I just missed to tell a imported mongo setting: Beside the right query and index I have to set:

db.runCommand({collMod:"messages", usePowerOf2Sizes:"true"})

This does some kind of padding to avoid "fragmentation" of deleted space. Else mongo won't be able to reuse deleted space and your DB just grows...

Another syslog-setting I have set is encoding(UTF-8) in the TCP/UDP source. Else non UTF-8 chars will be inserted into mongodb. This is really bad. Because all queries stop at the document containing the invalid char.

> > * our network destination: Invalid byte sequence or other error while
> > converting input, skipping character; encoding='UTF-8', char='0xf0'

Is this somehow related to my setting encoding(UTF-8)?

> > * a unknown problem, where syslog-ng stops logging/scrambles logs
> > after (frequent) SIGHUP
> 
> Are you using file sources, by any chance?

No. Just TCP and UDP.

> > * a unknown problem, where syslog-ng stops working and blocks most of
> > the system: i.e. sshd or sudo waiting to log to /dev/log
> We've seen something similar when the supress() option was used, that

That's a good point. I used suppress() for internal() going to a file and even on a pipe() destination getting all logs from the network. For now I removed suppress().

Also I had threaded(yes) in global options(), which I also disable for now. Using strace on the "hanging, threaded, suppressing" syslog-ng process just shows syscall futex() hanging...

Thanks, Sascha.

Vorsitzender des Aufsichtsrates: Ralf Hiltenkamp
Geschäftsführung: Michael Krüger (Sprecher), Stephan Drescher
Sitz der Gesellschaft: Halle/Saale
Registergericht: Amtsgericht Stendal | Handelsregister-Nr. HRB 208414
UST-ID-Nr. DE 158253683
Diese E-Mail enthält vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige Empfänger sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie bitte sofort den Absender und vernichten Sie diese Mail. Das unerlaubte Kopieren sowie die unbefugte Weitergabe dieser Mail oder des Inhalts dieser Mail sind nicht gestattet. Diese Kommunikation per E-Mail ist nicht gegen den Zugriff durch Dritte geschützt. Die GISA GmbH haftet ausdrücklich nicht für den Inhalt und die Vollständigkeit von E-Mails und den gegebenenfalls daraus entstehenden Schaden. Sollte trotz der bestehenden Viren-Schutzprogramme durch diese E-Mail ein Virus in Ihr System gelangen, so haftet die GISA GmbH - soweit gesetzlich zulässig - nicht für die hieraus entstehenden Schäden.