[syslog-ng] non-UTF-8 data in mongodb

[Lucas, Sascha]

Hi,

I was looking for a way to have some log-rotate functionality (move logs older then x into another collection). I heard of TTL collections, which is fine for deletion. To keep collections small, I tried following mongo-shell code:
 
for( var c = db.messages.find({DATE: {$lt: "1342688698"}}); c.hasNext(); ) { db.messages.old.save(c.next()); }
 
Being totally new to mongodb, I don’t know if this is the right solution, however I got the following error:
 
Mon Jul 23 12:30:34 decode failed. probably invalid utf-8 string [opx2 opx2-dispatch.exe(8100) 2 OPX-20001 Attempt to do an array operation on #26\META-SUPER-HYPER-� which is not an array.]
Mon Jul 23 12:30:34      why: TypeError: malformed UTF-8 character sequence at offset 98
Mon Jul 23 12:30:34 Error: invalid utf8 shell/collection.js:128

Asking on mongodb-user Tad Marshall explained that running mongodb with --objcheck prevents this problem. The mogodb config file has following comment:

# Inspect all client data for validity on receipt (useful for
# developing drivers)
#objcheck = true

Is the syslog-ng shipped driver the root cause? Should syslog-ng utf8-encode the strings? Is this a bug, or do I miss something?

TIA, Sascha.


Vorsitzender des Aufsichtsrates: Ralf Hiltenkamp
Geschäftsführung: Michael Krüger (Sprecher), Stephan Drescher
Sitz der Gesellschaft: Halle/Saale
Registergericht: Amtsgericht Stendal | Handelsregister-Nr. HRB 208414
UST-ID-Nr. DE 158253683
Diese E-Mail enthält vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige Empfänger sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie bitte sofort den Absender und vernichten Sie diese Mail. Das unerlaubte Kopieren sowie die unbefugte Weitergabe dieser Mail oder des Inhalts dieser Mail sind nicht gestattet. Diese Kommunikation per E-Mail ist nicht gegen den Zugriff durch Dritte geschützt. Die GISA GmbH haftet ausdrücklich nicht für den Inhalt und die Vollständigkeit von E-Mails und den gegebenenfalls daraus entstehenden Schaden. Sollte trotz der bestehenden Viren-Schutzprogramme durch diese E-Mail ein Virus in Ihr System gelangen, so haftet die GISA GmbH - soweit gesetzlich zulässig - nicht für die hieraus entstehenden Schäden.