<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi, </div><div dir="ltr"><br></div><div>I am having syslog running <span style="color:rgb(51,51,51);font-size:14px">all udp/514 on </span>8 machines and we receive 40000 EPS in a given point in time at each of the 8 locations.  We have virtual IP's in all the 8 boxes.</div><div dir="ltr"><br></div><div dir="ltr">we have syslog version 3.5.6.</div><div dir="ltr"><br></div><div>Questions</div><div dir="ltr"><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">Besides a packet capture, is there anything in RHEL (built-in preferred) that provides a counter of UDP packets attempted and not just those that are received (see comments on <i>netstat -su</i> output below)?</li><li style="line-height:20px">Is it possible to receive all packets sent yet still get UDP errors?</li><li style="line-height:20px">What is a reasonable amount of syslog EPS to expect with this hardware?</li><li style="line-height:20px">Are there any other tweaks to the Kernel or Syslog-ng to make?</li></ul><div>Environment:</div><div><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">RHEL 7.3</li><li style="line-height:20px">16 cores</li><li style="line-height:20px">64GB Memory</li><li style="line-height:20px">5TB SAS 15k disk</li></ul><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p><p style="margin:0px 0px 10px;color:rgb(51,51,51);font-size:14px"></p>Errors:</div><div><br></div><div><div>Udp:</div><div>    1540062710 packets received</div><div>    257 packets to unknown port received.</div><div>    306945112 packet receive errors</div><div>    1378189992 packets sent</div><div>    306945112 receive buffer errors</div><div>    101 send buffer errors</div></div><div><br></div><div><ul style="padding:0px;margin:0px 0px 10px 25px;color:rgb(51,51,51);font-size:14px"><li style="line-height:20px">The "packets received" is how many were accepted by the listening application and NOT how many were attempted</li><li style="line-height:20px">The "packets to unknown port" is what came in for the application when the application was down or not listening (e.g. during a restart)</li><li style="line-height:20px">The "packet receive errors" clearly indicates an error; HOWEVER, it is not a one-for-one packets-to-error. You can have many more errors than packets were sent, indicating it is possible for a single packet to generate multiple errors.</li></ul><div><font color="#333333"><div><span style="font-size:14px">Tuning Steps</span></div><div><span style="font-size:14px">These are similar to what was done; however, multiple values were tried so the numbers below are not exactly what is in production now:</span></div><div><span style="font-size:14px">We tried turning off the udp/514 forwarding to the other applications but we did not see a noticeable drop in errors</span></div><div><span style="font-size:14px">kernel</span></div><div><span style="font-size:14px">net.ipv4.udp_rmem_min = 131072</span></div><div><span style="font-size:14px">net.ipv4.udp_wmem_min = 131072</span></div><div><span style="font-size:14px">net.core.netdev_max_backlog=2000</span></div><div><span style="font-size:14px">net.core.rmem_max=67108864</span></div><div><span style="font-size:14px">syslog-ng</span></div><div><span style="font-size:14px">options {</span></div><div><span style="font-size:14px">        sync (5000);</span></div><div><span style="font-size:14px">        time_reopen (10);</span></div><div><span style="font-size:14px">        time_reap(5);</span></div><div><span style="font-size:14px">        long_hostnames (off);</span></div><div><span style="font-size:14px">        use_dns (no);</span></div><div><span style="font-size:14px">        use_fqdn (no);</span></div><div><span style="font-size:14px">        create_dirs (no);</span></div><div><span style="font-size:14px">        keep_hostname (yes);</span></div><div><span style="font-size:14px">        log_fifo_size (536870912);</span></div><div><span style="font-size:14px">        stats_freq(60);</span></div><div><span style="font-size:14px">        flush_lines(500);</span></div><div><span style="font-size:14px">        flush_timeout(10000);</span></div><div><span style="font-size:14px">};</span></div><div style="font-size:14px"><br></div><div style="font-size:14px"><br></div></font></div></div></div></div></div></div></div>