[syslog-ng] reloading (HUP) syslog-ng -> mutilation of messages in mongodb

[Lucas, Sascha]

Hi Gergely,

Am Mittwoch, den 03.04.2013, 14:26 +0200 schrieb Gergely Nagy:

> Hrm. Haven't experienced anything like that yet... do you happen to have
> file sources? Or the stuff that gets corrupted is coming from the
> network?

My source is network only with about 20e6 messages per day. I'm trying
to reproduce this better. What I can say for now is, that it happens
after two ore more reloads (SIGHUP) in a relative short time (< 1
minute).

> Are there any errors in the internal log, any cores perhaps?

I can see no evidence of any errors. The file where the internal() go
to, just say "Configuration reload request received, reloading
configuration;"

What do you mean with "any cores"? Application Coredumps? This are
disabled by default with my distro (SLES11 SP2).

enclosed please find my relevant config:

source s_network { tcp( max-connections(10) encoding(UTF-8));
                   udp( encoding(UTF-8));
};
destination d_mongo {
        mongodb(
                database("test")
                collection("messages")
                value-pairs(
                        scope("selected-macros" "nv-pairs")
                        exclude("R_*")
                        exclude("S_*")
                        exclude("HOST_FROM")
                        exclude("LEGACY_MSGHDR")
                        exclude("MSG")
                        exclude("SDATA")
                        pair("DATE" "$UNIXTIME")
                        pair("ISODATE" "$ISODATE")
                        pair("RCVDATE" "$R_ISODATE")
                )
        );
};
log { source(s_network); source(src); destination(d_mongo); };

Thanks, Sascha.

Vorsitzender des Aufsichtsrates: Ralf Hiltenkamp
Geschäftsführung: Michael Krüger (Sprecher), Stephan Drescher
Sitz der Gesellschaft: Halle/Saale
Registergericht: Amtsgericht Stendal | Handelsregister-Nr. HRB 208414
UST-ID-Nr. DE 158253683
Diese E-Mail enthält vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige Empfänger sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie bitte sofort den Absender und vernichten Sie diese Mail. Das unerlaubte Kopieren sowie die unbefugte Weitergabe dieser Mail oder des Inhalts dieser Mail sind nicht gestattet. Diese Kommunikation per E-Mail ist nicht gegen den Zugriff durch Dritte geschützt. Die GISA GmbH haftet ausdrücklich nicht für den Inhalt und die Vollständigkeit von E-Mails und den gegebenenfalls daraus entstehenden Schaden. Sollte trotz der bestehenden Viren-Schutzprogramme durch diese E-Mail ein Virus in Ihr System gelangen, so haftet die GISA GmbH - soweit gesetzlich zulässig - nicht für die hieraus entstehenden Schäden.