<div dir="ltr"><div dir="ltr"><div>Hi,</div><div><br></div><div>If policy does not prevent you from using something outside of EPEL, I'd recommend you to give so-reuseport() a try. It requires a recent syslog-ng. For details check: <a href="https://www.syslog-ng.com/community/b/blog/posts/improved-log-collection-over-udp">https://www.syslog-ng.com/community/b/blog/posts/improved-log-collection-over-udp</a> It's not a silver bullet, but in some situations it might improve the UDP situation considerably.</div><div><br></div><div>Bye,<br></div><div><br></div><div><div><div dir="ltr" class="gmail_signature">Peter Czanik (CzP) <<a href="mailto:peter.czanik@balabit.com" target="_blank">peter.czanik@balabit.com</a>><br>Balabit (a OneIdentity company) / syslog-ng upstream<br><a href="https://syslog-ng.com/community/" target="_blank">https://syslog-ng.com/community/</a><br><a href="https://twitter.com/PCzanik" target="_blank">https://twitter.com/PCzanik</a></div></div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 7, 2019 at 3:38 PM Jim Hendrick <<a href="mailto:james.r.hendrick@gmail.com">james.r.hendrick@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Good questions. If you are looking for an accurate count, I would go off-box with a tap. Anything that lives on RHEL will in some way be subject to hardware / software limits of the IP stack.<div><br></div><div>Your config looks reasonable.</div><div><br></div><div>I suggest looking into load balancing as a possibility. Maybe an F5 in front of your log servers.</div><div><br></div><div>In general, I have seen the same kind of issue, and had unfortunately little success with kernel parameter tuning.</div><div><br></div><div>At least UDP fails more politely than TCP :-)</div><div><br></div><div>Jim</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 7, 2019 at 11:16 AM Swordfish Binary <<a href="mailto:linuxteche@gmail.com" target="_blank">linuxteche@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi, </div><div dir="ltr"><br></div><div>I am having syslog running <span style="color:rgb(51,51,51);font-size:14px">all udp/514 on </span>8 machines and we receive 40000 EPS in a given point in time at each of the 8 locations.  We have virtual IP's in all the 8 boxes.</div><div dir="ltr"><br></div><div dir="ltr">we have syslog version 3.5.6.</div><div dir="ltr"><br></div><div>Questions</div><div dir="ltr"><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">Besides a packet capture, is there anything in RHEL (built-in preferred) that provides a counter of UDP packets attempted and not just those that are received (see comments on <i>netstat -su</i> output below)?</li><li style="line-height:20px">Is it possible to receive all packets sent yet still get UDP errors?</li><li style="line-height:20px">What is a reasonable amount of syslog EPS to expect with this hardware?</li><li style="line-height:20px">Are there any other tweaks to the Kernel or Syslog-ng to make?</li></ul><div>Environment:</div><div><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">RHEL 7.3</li><li style="line-height:20px">16 cores</li><li style="line-height:20px">64GB Memory</li><li style="line-height:20px">5TB SAS 15k disk</li></ul><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p>Errors:</div><div><br></div><div><div>Udp:</div><div>    1540062710 packets received</div><div>    257 packets to unknown port received.</div><div>    306945112 packet receive errors</div><div>    1378189992 packets sent</div><div>    306945112 receive buffer errors</div><div>    101 send buffer errors</div></div><div><br></div><div><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">The "packets received" is how many were accepted by the listening application and NOT how many were attempted</li><li style="line-height:20px">The "packets to unknown port" is what came in for the application when the application was down or not listening (e.g. during a restart)</li><li style="line-height:20px">The "packet receive errors" clearly indicates an error; HOWEVER, it is not a one-for-one packets-to-error. You can have many more errors than packets were sent, indicating it is possible for a single packet to generate multiple errors.</li></ul><div><font color="#333333"><div><span style="font-size:14px">Tuning Steps</span></div><div><span style="font-size:14px">These are similar to what was done; however, multiple values were tried so the numbers below are not exactly what is in production now:</span></div><div><span style="font-size:14px">We tried turning off the udp/514 forwarding to the other applications but we did not see a noticeable drop in errors</span></div><div><span style="font-size:14px">kernel</span></div><div><span style="font-size:14px">net.ipv4.udp_rmem_min = 131072</span></div><div><span style="font-size:14px">net.ipv4.udp_wmem_min = 131072</span></div><div><span style="font-size:14px">net.core.netdev_max_backlog=2000</span></div><div><span style="font-size:14px">net.core.rmem_max=67108864</span></div><div><span style="font-size:14px">syslog-ng</span></div><div><span style="font-size:14px">options {</span></div><div><span style="font-size:14px">        sync (5000);</span></div><div><span style="font-size:14px">        time_reopen (10);</span></div><div><span style="font-size:14px">        time_reap(5);</span></div><div><span style="font-size:14px">        long_hostnames (off);</span></div><div><span style="font-size:14px">        use_dns (no);</span></div><div><span style="font-size:14px">        use_fqdn (no);</span></div><div><span style="font-size:14px">        create_dirs (no);</span></div><div><span style="font-size:14px">        keep_hostname (yes);</span></div><div><span style="font-size:14px">        log_fifo_size (536870912);</span></div><div><span style="font-size:14px">        stats_freq(60);</span></div><div><span style="font-size:14px">        flush_lines(500);</span></div><div><span style="font-size:14px">        flush_timeout(10000);</span></div><div><span style="font-size:14px">};</span></div><div style="font-size:14px"><br></div><div style="font-size:14px"><br></div></font></div></div></div></div></div></div></div>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div>