<div><div>Geller, Sandor<br>Balazs Scheidler<br><br>Thanks 4 ur advise.<br>&nbsp;</div>Please pardon me for my short information.<br><br>The scenario is this,<br>-----<br>There is a network device which sends logs to syslog server over network at a pace of approx 4000 logs/sec.
<br>Syslog server has its own mission to handle them.<br>In case, syslog server must write logs to local disk, the server in fact drops some logs in the local file.<br>Consequently, I turned to think of tuning some tweak in syslog-ng parameter or kernel parameter.
<br>I have tuned kernel parameter by setting &quot;udp_recv_hiwat&quot; to its maximum value, and udp_max_buf to the value of 300 times of the default value.<br>And, I have come up with this idea.<br><br>&nbsp; 1. Increase &quot;sync&quot; parameter to buffer some logs and write logs , not at the pace of every second.
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I tried to increase sync as well as log_fifo_size.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; First, I set sync as 3000 , log_fifo_size as 10000.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; However, it was not liked, with the message <br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &quot; The value of flush_lines must be less than fifo_size; fifo_size=&#39;1000&#39;,flush_lines=&#39;3000&#39; &quot;.
<br><br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Syslog-ng is configured as follows;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sync (3000);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;time_reopen (10);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;time_sleep(0);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;log_fifo_size (10000);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;long_hostnames (off);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;use_dns (no);
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;use_fqdn (no);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;create_dirs (no);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;keep_hostname (yes);<br><br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; source s_test { udp(ip(<a href="http://0.0.0.0">0.0.0.0</a>) port(514)); };<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; destination d_local4 { file(&quot;/var/log/local4&quot;); };
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; filter f_local4_al&nbsp; { facility(local4) and level(info) and match(&quot;xxxxxx&quot;) and filter(test); };<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; filter test&nbsp; { match(&quot;10600[1267]&quot;) or match(&quot;10601[0-8]&quot;) or match (&quot;10602[0124567]&quot;) or match(&quot;106100&quot;) or 
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; match(&quot;20900[345]&quot;) or match(&quot;500004&quot;); };<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; log { source(s_test); filter(f_local4_al); destination(d_local4); };<br><br>&nbsp; &nbsp; &nbsp; Any advice about how sync works , and how log_fifo_size works will greatly help.
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
Is there any other way than editing the logwriter.c file and re-compile it?<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Is there difference between setting sync and log_fifo_size in global option section and individual destination section<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; in terms of its effect?
<br><br>&nbsp; 2. &quot;fsync&quot; parameter would be thouhgt as second chance to overcome this problem.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; However, no userful information cound not be found on web.<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I set fsync in destination section, but it was rejected when reloading the process.
<br>&nbsp; &nbsp; &nbsp; Any advice about how fsync works will greatly help.<br><br>In addition, how can I get STATS information of syslog-ng?<br>I have added &quot;stats_freq (60);&quot; in global option section, but I could not get any information in /var/adm/messages.
<br>Where does syslog-ng output the stats information?<br><br>Thanks!<br><br>Regards<br><br>George<br><br><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
------------------------------<br><br>Message: 3<br>Date: Wed, 20 Jun 2007 11:12:40 +0900<br>From: &quot;Root Administrator&quot; &lt;<a href="mailto:root.regist@gmail.com">root.regist@gmail.com</a>&gt;<br>Subject: [syslog-ng] syslog-ng 
2.0.4 How can syslog-ng achieve this<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;performance???<br>To: <a href="mailto:syslog-ng@lists.balabit.hu">syslog-ng@lists.balabit.hu</a><br>Message-ID:<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;<a href="mailto:8ee7d730706191912l357ecabfgb137b7297c1bfbf0@mail.gmail.com">
8ee7d730706191912l357ecabfgb137b7297c1bfbf0@mail.gmail.com</a>&gt;<br>Content-Type: text/plain; charset=&quot;iso-8859-1&quot;<br><br>Hi All,<br><br>NEED HELP!!!!!<br><br>[Environment]<br>SunOS 5.9 Generic_122300-07 sun4u sparc SUNW
<br>syslog-ng 2.0.4<br>disk : single disk (no RAID)<br>syslog-ng conf (global option part)<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sync (3000);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;time_reopen (10);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;time_sleep(0);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;log_fifo_size (10000);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;long_hostnames (off);
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;use_dns (no);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;use_fqdn (no);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;create_dirs (no);<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;keep_hostname (yes);<br><br>[NEED]<br>I want syslog-ng to write logs to local disk at pace of about 4000<br>lines per second without any lines losing.
<br>However, lines were in fact lost in the local file.<br>I am trying to know the syslog-ng max performable point.<br><br>[Consideration]<br>&quot;log_fifo_size&quot; in global option is set as 10000.<br>I tried to set sync() parameter, for instance 3000, in global option
<br>section.<br>This did not succeed with this messages when reloading the process,<br>&quot; The value of flush_lines must be less than fifo_size; fifo_size=&#39;1000&#39;,<br>flush_lines=&#39;3000&#39; &quot;.<br>The administration guide says &quot;sync&quot; is alias for &quot;flush_lines&quot;.
<br><br>In addition, resource usage at 4000lines/s load was as below,<br><br>result of vmstat<br> kthr&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;memory&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;page&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;faults&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;cpu<br> r b w&nbsp;&nbsp; swap&nbsp;&nbsp;free&nbsp;&nbsp;re&nbsp;&nbsp;mf pi po fr de sr s3 sd sd --&nbsp;&nbsp; in&nbsp;&nbsp; sy&nbsp;&nbsp; cs us sy
<br>id<br> 0 0 0 3954792 3895288 155 8 353 0 0&nbsp;&nbsp;0 12&nbsp;&nbsp;0&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;669 4368&nbsp;&nbsp;857&nbsp;&nbsp;4&nbsp;&nbsp;3<br>93<br> 0 0 0 3955248 3926424 3&nbsp;&nbsp;8&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0 4112 27017 5889 21 15<br>64<br> 0 0 0 3955248 3925664 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;3&nbsp;&nbsp;0&nbsp;&nbsp;0 4120 27251 5653 16 19
<br>64<br> 0 0 0 3955248 3924528 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4129 27251 5914 15 18<br>67<br> 0 0 0 3955248 3923400 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4113 27236 6052 17 15<br>68<br> 0 0 0 3955176 3922568 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp;0&nbsp;&nbsp;0 4156 26028 5405 19 13
<br>68<br> 0 0 0 3955176 3921808 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4161 27316 5757 16 18<br>66<br> 0 0 0 3955176 3921056 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4120 27254 6136 14 18<br>68<br> 0 0 0 3955176 3920296 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4110 27244 5648 18 17
<br>65<br> 0 0 0 3955176 3919544 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4115 27253 6042 17 19<br>64<br> 0 0 0 3955176 3918784 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4108 27238 6469 18 16<br>65<br> 0 0 0 3955176 3918032 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4107 27235 6106 16 18
<br>66<br> 0 0 0 3955176 3917272 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4139 27264 5850 17 18<br>65<br> 0 0 0 3955176 3916520 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0 4107 27259 5867 19 14<br>67<br><br>result of iostat<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;extended device statistics
<br>&nbsp;&nbsp;&nbsp;&nbsp;r/s&nbsp;&nbsp;&nbsp;&nbsp;w/s&nbsp;&nbsp; kr/s&nbsp;&nbsp; kw/s wait actv wsvc_t asvc_t&nbsp;&nbsp;%w&nbsp;&nbsp;%b device<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;775.9&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 27.3&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;2.0&nbsp;&nbsp;&nbsp;&nbsp;8.0&nbsp;&nbsp;744.1&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 11.4&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>
&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;2.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;864.0&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 15.7&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;4.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;856.0&nbsp;&nbsp;0.0&nbsp;&nbsp;0.1&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 17.3&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;456.0&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 19.5&nbsp;&nbsp; 0&nbsp;&nbsp; 2 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;
0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;856.1&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 28.1&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;855.9&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 24.4&nbsp;&nbsp; 0&nbsp;&nbsp; 2 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;856.1&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 27.3&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0
&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 0&nbsp;&nbsp; 0 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;856.0&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 19.0&nbsp;&nbsp; 0&nbsp;&nbsp; 2 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;856.0&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 26.9&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;
1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;832.1&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 24.8&nbsp;&nbsp; 0&nbsp;&nbsp; 2 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;735.9&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 26.4&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;1.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;856.1&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 28.7&nbsp;&nbsp; 0&nbsp;&nbsp; 3 c1t0d0s3<br>&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0
&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;&nbsp; 0&nbsp;&nbsp; 0 c1t0d0s3<br><br>[Question]<br>Question 1.<br>&nbsp;&nbsp;Does the &quot;fifo_size&quot; in above message mean &quot;log_fifo_size&quot; in global<br>&nbsp;&nbsp;option ?<br>&nbsp;&nbsp;Is the value &quot;fifo_size=&#39;1000&#39;&quot; max value ?
<br>&nbsp;&nbsp;Is it possible to set &quot;log_fifo_size&quot; far more than 1000 ?<br>&nbsp;&nbsp;Is it possible to set &quot;sync&quot; far more than 1000 ?<br>&nbsp;&nbsp;If possible, then how do I do it ?<br><br>Question 2.<br>&nbsp;&nbsp;To achieve the NEED, I am considering the parameters below,
<br>&nbsp;&nbsp;&nbsp;&nbsp; sync()<br>&nbsp;&nbsp;&nbsp;&nbsp; log_fifo_size()<br>&nbsp;&nbsp;.<br>&nbsp;&nbsp;Are there any other parameters I MUST consider for syslog-ng<br>&nbsp;&nbsp;configuration?<br><br>Regards<br><br>George<br>-------------- next part --------------<br>An HTML attachment was scrubbed...
<br>URL: <a href="http://lists.balabit.hu/pipermail/syslog-ng/attachments/20070620/35731185/attachment.htm">http://lists.balabit.hu/pipermail/syslog-ng/attachments/20070620/35731185/attachment.htm</a><br><br>------------------------------
<br><br>Message: 4<br>Date: Wed, 20 Jun 2007 08:03:20 +0100<br>From: &quot;Geller, Sandor (IT)&quot; &lt;<a href="mailto:Sandor.Geller@morganstanley.com">Sandor.Geller@morganstanley.com</a>&gt;<br>Subject: RE: [syslog-ng] syslog-ng 
2.0.4 How can syslog-ng achieve<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;thisperformance???<br>To: &quot;Syslog-ng users&#39; and developers&#39; mailing list&quot;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;<a href="mailto:syslog-ng@lists.balabit.hu">syslog-ng@lists.balabit.hu</a>
&gt;<br>Message-ID:<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;<a href="mailto:14F0A35F6E466D48BF11108F4E09E68C05756F01@LNWEXMB58.msad.ms.com">14F0A35F6E466D48BF11108F4E09E68C05756F01@LNWEXMB58.msad.ms.com</a>&gt;<br>Content-Type: text/plain;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; charset=&quot;US-ASCII&quot;
<br><br>&gt; Hi All,<br>&gt;<br>&gt; NEED HELP!!!!!<br><br>Don&#39;t panic :)<br><br>&gt; [Environment]<br>&gt; SunOS 5.9 Generic_122300-07 sun4u sparc SUNW<br>&gt; syslog-ng 2.0.4<br>&gt; disk : single disk (no RAID)<br>
&gt; syslog-ng conf (global option part)<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sync (3000);<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; time_reopen (10);<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; time_sleep(0);<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; log_fifo_size (10000);<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; long_hostnames (off);
<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; use_dns (no);<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; use_fqdn (no);<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; create_dirs (no);<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; keep_hostname (yes);<br>&gt;<br>&gt; [NEED]<br>&gt; I want syslog-ng to write logs to local disk at pace of about 4000
<br>&gt; lines per second without any lines losing.<br>&gt; However, lines were in fact lost in the local file.<br><br>It would be good to see the statistics of syslog-ng. You should<br>set the stats_freq() option as well, and analyse the output. I
<br>would like to recommend using stats_freq(60);<br><br>As you have omitted your log sources I don&#39;t know whether you are<br>logging messages originating from the network. If you did, you<br>should check the receive buffer options.
<br><br>Also please note that using time_sleep(0) might cause performance<br>drops, so you should try using time_sleep(10) or higher, the optimal<br>setting depends on your environment...<br><br>&gt; I am trying to know the syslog-ng max performable point.
<br><br>Depends on the speed of the CPU, the disks, your syslog-ng filters,<br>the ordering of the filters, ...<br><br>&gt; [Consideration]<br>&gt; &quot;log_fifo_size&quot; in global option is set as 10000.<br>&gt; I tried to set sync() parameter, for instance 3000, in global
<br>&gt; option section.<br>&gt; This did not succeed with this messages when reloading the process,<br>&gt; &quot; The value of flush_lines must be less than fifo_size;<br>&gt; fifo_size=&#39;1000&#39;,<br>&gt; flush_lines=&#39;3000&#39; &quot;.
<br><br>Looks like line #502 of logwriter.c might be the cause of this.<br>Seems that the global log_fifo_size isn&#39;t propagated correctly.<br><br>However you can override that by using the log_fifo_size() option<br>in your destination definition too.
<br><br>Regards,<br><br>Sandor<br>--------------------------------------------------------<br><br>NOTICE: If received in error, please destroy and notify sender. Sender does not intend to waive confidentiality or privilege. Use of this email is prohibited when received in error.
<br><br><br>------------------------------<br><br>Message: 5<br>Date: Wed, 20 Jun 2007 10:47:50 +0200<br>From: Balazs Scheidler &lt;<a href="mailto:bazsi@balabit.hu">bazsi@balabit.hu</a>&gt;<br>Subject: RE: [syslog-ng] syslog-ng 
2.0.4 How can syslog-ng achieve<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;thisperformance???<br>To: Syslog-ng users&#39; and developers&#39; mailing list<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;<a href="mailto:syslog-ng@lists.balabit.hu">syslog-ng@lists.balabit.hu</a>&gt;<br>Message-ID: &lt;
<a href="mailto:1182329270.6482.41.camel@bzorp.balabit">1182329270.6482.41.camel@bzorp.balabit</a>&gt;<br>Content-Type: text/plain<br><br>On Wed, 2007-06-20 at 08:03 +0100, Geller, Sandor (IT) wrote:<br>&gt; &gt; [NEED]<br>
&gt; &gt; I want syslog-ng to write logs to local disk at pace of about 4000<br>&gt; &gt; lines per second without any lines losing.<br>&gt; &gt; However, lines were in fact lost in the local file.<br>&gt;<br>&gt; It would be good to see the statistics of syslog-ng. You should
<br>&gt; set the stats_freq() option as well, and analyse the output. I<br>&gt; would like to recommend using stats_freq(60);<br>&gt;<br>&gt; As you have omitted your log sources I don&#39;t know whether you are<br>&gt; logging messages originating from the network. If you did, you
<br>&gt; should check the receive buffer options.<br>&gt;<br>&gt; Also please note that using time_sleep(0) might cause performance<br>&gt; drops, so you should try using time_sleep(10) or higher, the optimal<br>&gt; setting depends on your environment...
<br>&gt;<br><br>First of all we need to know what your exact scenario is. You might be<br>missing a receive buffer size tweak, or you might have something else.<br>The information you provided is not enough.<br><br>&gt; &gt; [Consideration]
<br>&gt; &gt; &quot;log_fifo_size&quot; in global option is set as 10000.<br>&gt; &gt; I tried to set sync() parameter, for instance 3000, in global<br>&gt; &gt; option section.<br>&gt; &gt; This did not succeed with this messages when reloading the process,
<br>&gt; &gt; &quot; The value of flush_lines must be less than fifo_size;<br>&gt; &gt; fifo_size=&#39;1000&#39;,<br>&gt; &gt; flush_lines=&#39;3000&#39; &quot;.<br>&gt;<br>&gt; Looks like line #502 of logwriter.c might be the cause of this.
<br>&gt; Seems that the global log_fifo_size isn&#39;t propagated correctly.<br>&gt;<br>&gt; However you can override that by using the log_fifo_size() option<br>&gt; in your destination definition too.<br><br>Right, the log_fifo_size() limit propagation has a problem, it maximizes
<br>the fifo size in 1000 entries, unless specified locally. This patch<br>fixes it:<br><br>diff --git a/src/logwriter.c b/src/logwriter.c<br>index eea6814..955c333 100644<br>--- a/src/logwriter.c<br>+++ b/src/logwriter.c
<br>@@ -499,7 +499,7 @@ log_writer_options_init(LogWriterOptions *options, GlobalConfig *cfg, guint32 fl<br>&nbsp;&nbsp; options-&gt;template = template;<br>&nbsp;&nbsp; options-&gt;flags = flags;<br>&nbsp;&nbsp; if (options-&gt;fifo_size == -1)<br>-&nbsp;&nbsp;&nbsp;&nbsp;options-&gt;fifo_size = MIN(1000, cfg-&gt;log_fifo_size);
<br>+&nbsp;&nbsp;&nbsp;&nbsp;options-&gt;fifo_size = MAX(1000, cfg-&gt;log_fifo_size);<br>&nbsp;&nbsp; if (options-&gt;use_time_recvd == -1)<br>&nbsp;&nbsp;&nbsp;&nbsp; options-&gt;use_time_recvd = cfg-&gt;use_time_recvd;<br><br><br><br>--<br>Bazsi<br><br><br><br>------------------------------
<br><br>_______________________________________________<br>syslog-ng maillist&nbsp;&nbsp;-&nbsp;&nbsp;<a href="mailto:syslog-ng@lists.balabit.hu">syslog-ng@lists.balabit.hu</a><br><a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng">
https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br><br><br>End of syslog-ng Digest, Vol 26, Issue 18<br>*****************************************<br></blockquote></div><br>