<div dir="ltr"><div>Also, I don't see log-fetch-limit() setting in your configuration. It defaults to 10, which means that syslog-ng will go to sleep after 10 processed messages to avoid starving other connections. You can easily increase this value to 100 or even 1000, especially if most of it does is a few connections. udp() uses 1 connection regardless of how many clients are logging to it.</div><div><br></div><div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 7, 2019 at 9:46 PM Czanik, Péter <<a href="mailto:peter.czanik@balabit.com">peter.czanik@balabit.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div>Hi,</div><div><br></div><div>If policy does not prevent you from using something outside of EPEL, I'd recommend you to give so-reuseport() a try. It requires a recent syslog-ng. For details check: <a href="https://www.syslog-ng.com/community/b/blog/posts/improved-log-collection-over-udp" target="_blank">https://www.syslog-ng.com/community/b/blog/posts/improved-log-collection-over-udp</a> It's not a silver bullet, but in some situations it might improve the UDP situation considerably.</div><div><br></div><div>Bye,<br></div><div><br></div><div><div><div dir="ltr" class="gmail-m_-2607281885414913920gmail_signature">Peter Czanik (CzP) <<a href="mailto:peter.czanik@balabit.com" target="_blank">peter.czanik@balabit.com</a>><br>Balabit (a OneIdentity company) / syslog-ng upstream<br><a href="https://syslog-ng.com/community/" target="_blank">https://syslog-ng.com/community/</a><br><a href="https://twitter.com/PCzanik" target="_blank">https://twitter.com/PCzanik</a></div></div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 7, 2019 at 3:38 PM Jim Hendrick <<a href="mailto:james.r.hendrick@gmail.com" target="_blank">james.r.hendrick@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Good questions. If you are looking for an accurate count, I would go off-box with a tap. Anything that lives on RHEL will in some way be subject to hardware / software limits of the IP stack.<div><br></div><div>Your config looks reasonable.</div><div><br></div><div>I suggest looking into load balancing as a possibility. Maybe an F5 in front of your log servers.</div><div><br></div><div>In general, I have seen the same kind of issue, and had unfortunately little success with kernel parameter tuning.</div><div><br></div><div>At least UDP fails more politely than TCP :-)</div><div><br></div><div>Jim</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 7, 2019 at 11:16 AM Swordfish Binary <<a href="mailto:linuxteche@gmail.com" target="_blank">linuxteche@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi, </div><div dir="ltr"><br></div><div>I am having syslog running <span style="color:rgb(51,51,51);font-size:14px">all udp/514 on </span>8 machines and we receive 40000 EPS in a given point in time at each of the 8 locations.  We have virtual IP's in all the 8 boxes.</div><div dir="ltr"><br></div><div dir="ltr">we have syslog version 3.5.6.</div><div dir="ltr"><br></div><div>Questions</div><div dir="ltr"><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">Besides a packet capture, is there anything in RHEL (built-in preferred) that provides a counter of UDP packets attempted and not just those that are received (see comments on <i>netstat -su</i> output below)?</li><li style="line-height:20px">Is it possible to receive all packets sent yet still get UDP errors?</li><li style="line-height:20px">What is a reasonable amount of syslog EPS to expect with this hardware?</li><li style="line-height:20px">Are there any other tweaks to the Kernel or Syslog-ng to make?</li></ul><div>Environment:</div><div><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">RHEL 7.3</li><li style="line-height:20px">16 cores</li><li style="line-height:20px">64GB Memory</li><li style="line-height:20px">5TB SAS 15k disk</li></ul><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p>Errors:</div><div><br></div><div><div>Udp:</div><div>    1540062710 packets received</div><div>    257 packets to unknown port received.</div><div>    306945112 packet receive errors</div><div>    1378189992 packets sent</div><div>    306945112 receive buffer errors</div><div>    101 send buffer errors</div></div><div><br></div><div><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">The "packets received" is how many were accepted by the listening application and NOT how many were attempted</li><li style="line-height:20px">The "packets to unknown port" is what came in for the application when the application was down or not listening (e.g. during a restart)</li><li style="line-height:20px">The "packet receive errors" clearly indicates an error; HOWEVER, it is not a one-for-one packets-to-error. You can have many more errors than packets were sent, indicating it is possible for a single packet to generate multiple errors.</li></ul><div><font color="#333333"><div><span style="font-size:14px">Tuning Steps</span></div><div><span style="font-size:14px">These are similar to what was done; however, multiple values were tried so the numbers below are not exactly what is in production now:</span></div><div><span style="font-size:14px">We tried turning off the udp/514 forwarding to the other applications but we did not see a noticeable drop in errors</span></div><div><span style="font-size:14px">kernel</span></div><div><span style="font-size:14px">net.ipv4.udp_rmem_min = 131072</span></div><div><span style="font-size:14px">net.ipv4.udp_wmem_min = 131072</span></div><div><span style="font-size:14px">net.core.netdev_max_backlog=2000</span></div><div><span style="font-size:14px">net.core.rmem_max=67108864</span></div><div><span style="font-size:14px">syslog-ng</span></div><div><span style="font-size:14px">options {</span></div><div><span style="font-size:14px">        sync (5000);</span></div><div><span style="font-size:14px">        time_reopen (10);</span></div><div><span style="font-size:14px">        time_reap(5);</span></div><div><span style="font-size:14px">        long_hostnames (off);</span></div><div><span style="font-size:14px">        use_dns (no);</span></div><div><span style="font-size:14px">        use_fqdn (no);</span></div><div><span style="font-size:14px">        create_dirs (no);</span></div><div><span style="font-size:14px">        keep_hostname (yes);</span></div><div><span style="font-size:14px">        log_fifo_size (536870912);</span></div><div><span style="font-size:14px">        stats_freq(60);</span></div><div><span style="font-size:14px">        flush_lines(500);</span></div><div><span style="font-size:14px">        flush_timeout(10000);</span></div><div><span style="font-size:14px">};</span></div><div style="font-size:14px"><br></div><div style="font-size:14px"><br></div></font></div></div></div></div></div></div></div>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div>