<p>Unfortunately the product we use only supports sending the syslog over UDP.  I will try the latest version and the option you mentioned.</p>
<p>Shawn Cannon</p>
<div class="gmail_quote">On Mar 10, 2011 3:21 AM, &quot;Zoltán Pallagi&quot; &lt;<a href="mailto:pzolee@balabit.hu">pzolee@balabit.hu</a>&gt; wrote:<br type="attribution">&gt; Hi,<br>&gt; <br>&gt; First of all, it seems that syslog-ng receives logs faster than your <br>
&gt; mssql server can process them that&#39;s the reason for dropping.<br>&gt; <br>&gt; However, you are using udp source for receiving logs, it&#39;s not the best <br>&gt; solution if you don&#39;t want to lose logs (UDP is not a lossless protocol <br>
&gt; and perhaps the kernel will also drop the unprocessed messages).<br>&gt; You should use TCP instead of UDP.<br>&gt; <br>&gt; If you use TCP, you can use flags(flow-control) in your server <br>&gt; configuration. If the senders are also syslog-ng, you can use it on <br>
&gt; their configurations, too.<br>&gt; flow-control will slow down (or block) receiving logs if syslog-ng <br>&gt; cannot process (write out, forward and so on) the messages in time. It <br>&gt; can prevent losing logs.<br>
&gt; <br>&gt; For example:<br>&gt; log {<br>&gt; source(s_gms);<br>&gt; flags(flow-control);<br>&gt; destination(d_mssql);<br>&gt; };<br>&gt; <br>&gt; For more details about flow-control: <br>&gt; <a href="http://www.balabit.com/sites/default/files/documents/syslog-ng-ose-v3.2-guide-admin-en.html/configuring_flow_control.html">http://www.balabit.com/sites/default/files/documents/syslog-ng-ose-v3.2-guide-admin-en.html/configuring_flow_control.html</a><br>
&gt; <br>&gt; On 2011-03-10 06:28, Shawn Cannon wrote:<br>&gt;&gt; I really need help on this.  I am collecting tons of SYSLOG data from <br>&gt;&gt; over 500 firewalls.  I have these syslogs going to a Barracuda Load <br>
&gt;&gt; Balancer first which will then send messages to 2 syslog-ng open <br>&gt;&gt; source servers.  Here is how I have my config file setup:<br>&gt;&gt;<br>&gt;&gt; @version: 3.0<br>&gt;&gt; #Default configuration file for syslog-ng.<br>
&gt;&gt; #<br>&gt;&gt; # For a description of syslog-ng configuration file directives, please <br>&gt;&gt; read<br>&gt;&gt; # the syslog-ng Administrator&#39;s guide at:<br>&gt;&gt; #<br>&gt;&gt; # <br>&gt;&gt; <a href="http://www.balabit.com/dl/html/syslog-ng-admin-guide_en.html/bk01-toc.html">http://www.balabit.com/dl/html/syslog-ng-admin-guide_en.html/bk01-toc.html</a><br>
&gt;&gt; #<br>&gt;&gt;<br>&gt;&gt; options { use_dns(no);<br>&gt;&gt; };<br>&gt;&gt;<br>&gt;&gt; ######<br>&gt;&gt; # sources<br>&gt;&gt; source s_gms {<br>&gt;&gt; # message generated by Syslog-NG<br>&gt;&gt; # internal();<br>
&gt;&gt; # standard Linux log source (this is the default place for the syslog()<br>&gt;&gt; # function to send logs to)<br>&gt;&gt; # unix-stream(&quot;/dev/log&quot;);<br>&gt;&gt; # messages from the kernel<br>&gt;&gt; #file(&quot;/proc/kmsg&quot; program_override(&quot;kernel&quot;));<br>
&gt;&gt; # messages destined to udp514<br>&gt;&gt; udp(ip(0.0.0.0) port(514));<br>&gt;&gt; };<br>&gt;&gt; source s_syslogng {<br>&gt;&gt; internal();<br>&gt;&gt; };<br>&gt;&gt;<br>&gt;&gt; ######<br>&gt;&gt; # destinations<br>
&gt;&gt; destination d_messages { file(&quot;/var/log/messages&quot;); };<br>&gt;&gt; destination d_mssql {<br>&gt;&gt; sql(type(mssql) host(&quot;<a href="http://rawsql.abcdefg.net">rawsql.abcdefg.net</a> &lt;<a href="http://rawsql.abcdefg.net">http://rawsql.abcdefg.net</a>&gt;&quot;) <br>
&gt;&gt; port(&quot;1785&quot;)<br>&gt;&gt; username(&quot;username&quot;) password(&quot;password&quot;) database(&quot;Syslog&quot;)<br>&gt;&gt; table(&quot;syslogng&quot;)columns(&quot;datetime varchar(16)&quot;, &quot;host varchar(32)&quot;,<br>
&gt;&gt; &quot;program varchar(32)&quot;, &quot;pid varchar(8)&quot;, &quot;message varchar(4096)&quot;)<br>&gt;&gt; values(&quot;$R_DATE&quot;, &quot;$HOST&quot;, &quot;$PROGRAM&quot;, &quot;$PID&quot;, &quot;$MSGONLY&quot;)<br>
&gt;&gt; indexes(&quot;datetime&quot;, &quot;host&quot;, &quot;program&quot;, &quot;pid&quot;));<br>&gt;&gt; };<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; log {<br>&gt;&gt; source(s_gms);<br>&gt;&gt; destination(d_mssql);<br>
&gt;&gt; };<br>&gt;&gt;<br>&gt;&gt; log {<br>&gt;&gt; source(s_syslogng);<br>&gt;&gt; destination(d_messages);<br>&gt;&gt; };<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; When messages are coming in, I am showing the following in the local <br>
&gt;&gt; syslog-ng messages:<br>&gt;&gt;<br>&gt;&gt; Log statistics; processed=&#39;source(s_gms)=2155636&#39;, <br>&gt;&gt; dropped=&#39;dst.sql(d_mssql#0,freetds,<a href="http://rawsql.abcdefg.net">rawsql.abcdefg.net</a> <br>
&gt;&gt; &lt;<a href="http://rawsql.abcdefg.net">http://rawsql.abcdefg.net</a>&gt;,1785,Syslog)=1717472&#39;, <br>&gt;&gt; stored=&#39;dst.sql(d_mssql#0,freetds,<a href="http://rawsql.abcdefg.net">rawsql.abcdefg.net</a> <br>
&gt;&gt; &lt;<a href="http://rawsql.abcdefg.net">http://rawsql.abcdefg.net</a>&gt;,1785,Syslog)=0&#39;,<br>&gt;&gt;<br>&gt;&gt; I assume this is telling me that I am dropping the majority of my <br>&gt;&gt; messages instead of them getting inserted into my MS SQL database?  <br>
&gt;&gt; The MS SQL Database runs on a very beefy server with plenty of <br>&gt;&gt; memory.  I am trying to determine why this is being dropped.  Please <br>&gt;&gt; help as I am huge newbie when it comes to syslog-ng.<br>
&gt;&gt;<br>&gt;&gt; Thanks!<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; ______________________________________________________________________________<br>&gt;&gt; Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
&gt;&gt; Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>&gt;&gt; FAQ: <a href="http://www.campin.net/syslog-ng/faq.html">http://www.campin.net/syslog-ng/faq.html</a><br>
&gt;&gt;<br>&gt; <br></div>