<DIV>
<DIV>
<DIV>
<DIV>
<DIV>I am currently experiencing an odd performance issue with syslog-ng 1.6.5.&nbsp; I use several load-balanced relays which receive syslog traffic via both udp and tcp.&nbsp; They forward all traffic to the back-end collection hosts exclusively via tcp.&nbsp; Overall, this environment collects around 60GB of log data&nbsp;per day.&nbsp; All of the relays have identical Solaris 8 builds, as well as identical syslog-ng configurations.&nbsp; Here is the pertinent snippet from a configuration file:</DIV>
<DIV>&nbsp;</DIV>
<DIV>options { stats(300); sync(0); time_reopen(10); log_fifo_size(3000000); gc_busy_threshold(200000); check_hostname(no); keep_hostname(yes); };</DIV>
<DIV>&nbsp;</DIV>
<DIV>As you can see, my fifo queue is enormous.&nbsp; Despite that fact, syslog-ng on any given relay&nbsp;will begin&nbsp;dropping messages at an alarming rate (600-700 per second) when combined inbound and outbound tcp traffic increases beyond a certain threshold.&nbsp; Said threshold seems to be a bit low to me, though.&nbsp; We're talking somewhere in the neighborhood of 700&nbsp;tcp segments per second.&nbsp; The corresponding inbound UDP dgrams are usually between 200 and 400 per second.&nbsp; It should be noted that the IP stack is handling the load just fine.&nbsp; Also, CPU utilization rarely exceeds 60 or 70 percent.</DIV>
<DIV>&nbsp;</DIV>
<DIV>The collection hosts are fairly beefy systems that are barely breathing even during peak load.&nbsp; I've watched both the IP stack and syslog-ng on these systems, and&nbsp;they're keeping&nbsp;up just fine.</DIV>
<DIV>&nbsp;</DIV>
<DIV>I know the FIFO queue size probably seems unreasonable here, but the lower I make it, the worse the drops.&nbsp; Of course, the higher I make it, the more memory it eats up.&nbsp; And in some cases, I've seen syslog-ng eventually eat it all up and the scanner kicks in.</DIV>
<DIV>&nbsp;</DIV>
<DIV>But what's really most peculiar in this scenario is the fact that the numbers simply don't add up.&nbsp; Why does syslog-ng appear (on the surface) to be dropping a very large percentage of the messages that it receives?&nbsp; I&nbsp;realize that it's not, but the numbers tell a different story.&nbsp; And how could it possibly drop so many messages when the FIFO queue is configured to buffer three million lines?&nbsp; How preposterous!</DIV>
<DIV>&nbsp;</DIV>
<DIV>Am I way off base here?</DIV></DIV></DIV></DIV></DIV><p>
                <hr size=1> <a href="http://us.lrd.yahoo.com/_ylc=X3oDMTFqODRtdXQ4BF9TAzMyOTc1MDIEX3MDOTY2ODgxNjkEcG9zAzEEc2VjA21haWwtZm9vdGVyBHNsawNmYw--/SIG=110oav78o/**http%3a//farechase.yahoo.com/">Yahoo! FareChase - Search multiple travel sites in one click.</a>