<div class="gmail_quote">---------- Forwarded message ----------<br>From: &quot;Terry Burton&quot; &lt;<a href="mailto:tez@terryburton.co.uk">tez@terryburton.co.uk</a>&gt;<br>Date: 17 Jul 2012 19:52<br>Subject: Re: [syslog-ng] Following a file to generate one syslog message per appended line<br>
To: &quot;Balazs Scheidler&quot; &lt;<a href="mailto:bazsi77@gmail.com">bazsi77@gmail.com</a>&gt;<br><br type="attribution"><div class="elided-text"><p dir="ltr">On 17 Jul 2012 19:30, &quot;Balazs Scheidler&quot; &lt;<a href="mailto:bazsi77@gmail.com" target="_blank">bazsi77@gmail.com</a>&gt; wrote:<br>

&gt;<br>
&gt; ----- Original message ----- <br>
&gt; &gt; On 17 July 2012 15:20, Jim Hendrick &lt;<a href="mailto:jrhendri@maine.rr.com" target="_blank">jrhendri@maine.rr.com</a>&gt; wrote: <br>
&gt; &gt; &gt; hmmm - nothing obvious to me. <br>
&gt; &gt; &gt; <br>
&gt; &gt; &gt; Questions that might help <br>
&gt; &gt; &gt; - do you know what the message rate for that source is? <br>
&gt; &gt; <br>
&gt; &gt; The source is the alerts from an IDS where the messages arrive at <br>
&gt; &gt; irregular intervals and often in surges of many messages. <br>
&gt; &gt; <br>
&gt; &gt; &gt; - is there anything possibly unusual about the messages themselves? <br>
&gt; &gt; &gt; (how is end of line demarked? what are the maximum line lengths?) <br>
&gt; &gt; <br>
&gt; &gt; The end of line is demarked by a LF (0x0a). <br>
&gt; &gt; <br>
&gt; &gt; $ xxd /srv/snort/snort.fast <br>
&gt; &gt; <br>
&gt; &gt; 0000000: 3037 2f31 362d 3134 3a30 333a 3431 2e33  07/16-14:03:41.3 <br>
&gt; &gt; 0000010: 3837 3339 3020 205b 2a2a 5d20 5b31 3a31  87390  [**] [1:1 <br>
&gt; &gt; 0000020: 3535 3137 3a31 305d 203c 6574 6831 3e20  5517:10] &lt;eth1&gt; <br>
&gt; &gt; 0000030: 5745 422d 434c 4945 4e54 204d 6963 726f  WEB-CLIENT Micro <br>
&gt; &gt; 0000040: 736f 6674 2057 696e 646f 7773 2041 5649  soft Windows AVI <br>
&gt; &gt; 0000050: 2044 6972 6563 7453 686f 7720 5175 6963    DirectShow Quic <br>
&gt; &gt; 0000060: 6b54 696d 6520 7061 7273 696e 6720 6f76  kTime parsing ov <br>
&gt; &gt; 0000070: 6572 666c 6f77 2061 7474 656d 7074 205b  erflow attempt [ <br>
&gt; &gt; 0000080: 2a2a 5d20 5b43 6c61 7373 6966 6963 6174  **] [Classificat <br>
&gt; &gt; 0000090: 696f 6e3a 2041 7474 656d 7074 6564 2055  ion: Attempted U <br>
&gt; &gt; 00000a0: 7365 7220 5072 6976 696c 6567 6520 4761  ser Privilege Ga <br>
&gt; &gt; 00000b0: 696e 5d20 5b50 7269 6f72 6974 793a 2031  in] [Priority: 1 <br>
&gt; &gt; 00000c0: 5d20 7b54 4350 7d20 322e 3232 2e32 3238  ] {TCP} 2.22.228 <br>
&gt; &gt; 00000d0: 2e34 303a 3830 202d 3e20 3134 332e 3231  .40:80 -&gt; 143.21 <br>
&gt; &gt; 00000e0: 302e 3936 2e31 3138 3a36 3238 3732 0a30  0.96.118:62872.0 <br>
&gt; &gt; 00000f0: 372f 3136 2d31 343a 3033 3a34 312e 3537  7/16-14:03:41.57 <br>
&gt; &gt; 0000100: 3836 3535 2020 5b2a 2a5d 205b 313a 3135  8655  [**] [1:15 <br>
&gt; &gt; 0000110: 3531 373a 3130 5d20 3c65 7468 313e 2057  517:10] &lt;eth1&gt; W <br>
&gt; &gt; 0000120: 4542 2d43 4c49 454e 5420 4d69 6372 6f73  EB-CLIENT Micros <br>
&gt; &gt; 0000130: 6f66 7420 5769 6e64 6f77 7320 4156 4920  oft Windows AVI <br>
&gt; &gt; 0000140: 4469 7265 6374 5368 6f77 2051 7569 636b  DirectShow Quick <br>
&gt; &gt; 0000150: 5469 6d65 2070 6172 7369 6e67 206f 7665  Time parsing ove <br>
&gt; &gt; 0000160: 7266 6c6f 7720 6174 7465 6d70 7420 5b2a  rflow attempt [* <br>
&gt; &gt; 0000170: 2a5d 205b 436c 6173 7369 6669 6361 7469  *] [Classificati <br>
&gt; &gt; 0000180: 6f6e 3a20 4174 7465 6d70 7465 6420 5573  on: Attempted Us <br>
&gt; &gt; 0000190: 6572 2050 7269 7669 6c65 6765 2047 6169  er Privilege Gai <br>
&gt; &gt; 00001a0: 6e5d 205b 5072 696f 7269 7479 3a20 315d  n] [Priority: 1] <br>
&gt; &gt; 00001b0: 207b 5443 507d 2032 2e32 322e 3232 382e    {TCP} 2.22.228. <br>
&gt; &gt; 00001c0: 3430 3a38 3020 2d3e 2031 3433 2e32 3130  40:80 -&gt; 143.210 <br>
&gt; &gt; 00001d0: 2e39 362e 3131 383a 3632 3837 320a 3037  .96.118:62872.07 <br>
&gt; &gt; 00001e0: 2f31 362d 3134 3a30 333a 3530 2e39 3534  /16-14:03:50.954 <br>
&gt; &gt; 00001f0: 3939 3620 205b 2a2a 5d20 5b31 3a35 3930  996  [**] [1:590 <br>
&gt; &gt; 0000200: 333a 395d 203c 6574 6831 3e20 5350 5957  3:9] &lt;eth1&gt; SPYW <br>
&gt; &gt; 0000210: 4152 452d 5055 5420 4164 7761 7265 2064  ARE-PUT Adware d <br>
&gt; &gt; 0000220: 6f77 6e6c 6f61 6420 6163 6365 6c65 7261  ownload accelera <br>
&gt; &gt; 0000230: 746f 7220 706c 7573 2072 756e 7469 6d65  tor plus runtime <br>
&gt; &gt; 0000240: 2064 6574 6563 7469 6f6e 202d 2067 6574    detection - get <br>
&gt; &gt; 0000250: 2061 6473 205b 2a2a 5d20 5b43 6c61 7373    ads [**] [Class <br>
&gt; &gt; 0000260: 6966 6963 6174 696f 6e3a 204d 6973 6320  ification: Misc <br>
&gt; &gt; 0000270: 6163 7469 7669 7479 5d20 5b50 7269 6f72  activity] [Prior <br>
&gt; &gt; 0000280: 6974 793a 2033 5d20 7b54 4350 7d20 3134  ity: 3] {TCP} 14 <br>
&gt; &gt; 0000290: 332e 3231 302e 3139 332e 3639 3a34 3937  <a href="http://3.210.193.69:497" target="_blank">3.210.193.69:497</a> <br>
&gt; &gt; 00002a0: 3535 202d 3e20 3231 322e 3134 332e 3232  55 -&gt; 212.143.22 <br>
&gt; &gt; 00002b0: 2e31 3130 3a38 300a 3037 2f31 362d 3134  .110:80.07/16-14 <br>
&gt; &gt; 00002c0: 3a30 333a 3536 2e34 3536 3034 3320 205b  :03:56.456043  [ <br>
&gt; &gt; 00002d0: 2a2a 5d20 5b31 3a31 3535 3137 3a31 305d  **] [1:15517:10] <br>
&gt; &gt; 00002e0: 203c 6574 6831 3e20 5745 422d 434c 4945    &lt;eth1&gt; WEB-CLIE <br>
&gt; &gt; 00002f0: 4e54 204d 6963 726f 736f 6674 2057 696e  NT Microsoft Win <br>
&gt; &gt; 0000300: 646f 7773 2041 5649 2044 6972 6563 7453  dows AVI DirectS <br>
&gt; &gt; 0000310: 686f 7720 5175 6963 6b54 696d 6520 7061  how QuickTime pa <br>
&gt; &gt; 0000320: 7273 696e 6720 6f76 6572 666c 6f77 2061  rsing overflow a <br>
&gt; &gt; 0000330: 7474 656d 7074 205b 2a2a 5d20 5b43 6c61  ttempt [**] [Cla <br>
&gt; &gt; 0000340: 7373 6966 6963 6174 696f 6e3a 2041 7474  ssification: Att <br>
&gt; &gt; 0000350: 656d 7074 6564 2055 7365 7220 5072 6976  empted User Priv <br>
&gt; &gt; 0000360: 696c 6567 6520 4761 696e 5d20 5b50 7269  ilege Gain] [Pri <br>
&gt; &gt; 0000370: 6f72 6974 793a 2031 5d20 7b54 4350 7d20  ority: 1] {TCP} <br>
&gt; &gt; 0000380: 3233 2e36 372e 3235 352e 3536 3a38 3020  <a href="http://23.67.255.56:80" target="_blank">23.67.255.56:80</a> <br>
&gt; &gt; 0000390: 2d3e 2031 3433 2e32 3130 2e31 3030 2e37  -&gt; 143.210.100.7 <br>
&gt; &gt; 00003a0: 333a 3535 3539 330a 3037 2f31 362d 3134  3:55593.07/16-14 <br>
&gt; &gt; 00003b0: 3a30 343a 3434 2e36 3232 3930 3820 205b  :04:44.622908  [ <br>
&gt; &gt; 00003c0: 2a2a 5d20 5b31 3a31 3131 3932 3a31 325d  **] [1:11192:12] <br>
&gt; &gt; &lt;...snip...&gt; <br>
&gt; &gt; <br>
&gt; &gt; &gt; I would personally try removing the flags (from source and log lines) <br>
&gt; &gt; &gt; and one by one add them back - looking at the changes in behavior (if <br>
&gt; &gt; &gt; any), then taking that one back out and adding the other. <br>
&gt; &gt; <br>
&gt; &gt; I&#39;ve tried that to no useful effect unfortunately. It appears that <br>
&gt; &gt; flush_lines(1) is the default setting. <br>
&gt; &gt; <br>
&gt; &gt; I am wondering whether the file source driver does not treat a lone LF <br>
&gt; &gt; as a new line and therefore log_fetch_limit(1) is ineffective? I am <br>
&gt; &gt; about to test this. <br>
&gt;<br>
&gt; it should treat one NL (aka LF, ASCII 10) as line terminator. what version of syslog-ng are you using?</p>
</div><p dir="ltr">Version 3.1.3 on Debian Squeeze, 64 bit.</p>
</div>