<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><font face="tahoma, sans-serif">Hi,</font></div><div dir="ltr"><font face="tahoma, sans-serif"><br></font></div><div dir="ltr"><font face="tahoma, sans-serif">We have configured the destination with reliable(yes).</font></div><div dir="ltr"><font face="tahoma, sans-serif">We observe that many times the disk buffer file has zero messages, however the buffer file is not getting truncated.</font></div><div dir="ltr"><font face="tahoma, sans-serif"><br></font></div><div><font face="tahoma, sans-serif">This syslog-ng service is running on 18.04 ubuntu VM.</font></div><div dir="ltr"><br></div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:-webkit-standard;font-size:medium">===============================================</span><br></div><div>Our destination configuration is as below:</div><div><div>destination d_msg_syslog_01a_06 {</div><div>    tcp(</div><div>        "172.XX.XX.XX"</div><div>        port(514)</div><div>        # log-fifo-size should be atleast max-connections * log-fetch-limit</div><div>        # 500 * 10 (default value of log-fetch-limit)</div><div>        log-fifo-size(50000)</div><div>        # throttle to max 5k eps</div><div>        throttle(3000)</div><div>        disk-buffer(</div><div>            # number of bytes to store in memory</div><div>            mem-buf-size(10000)</div><div>            # number of bytes to store on disk</div><div>            disk-buf-size(75161927680) # 70GB</div><div>            <span style="background-color:rgb(255,255,0)">reliable(yes)</span></div><div>            # directory location to persist messages</div><div>            dir("/datadisk/syslog-ng/disk-buffer/ne-collector-01a-06/")</div><div>        )</div><div>        persist-name(d_msg_syslog_01a_06)</div><div>    );</div><div>};</div></div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:-webkit-standard;font-size:medium">===============================================</span><br><div><div>$ find /datadisk/syslog-ng/disk-buffer/ -type f -name "*.rqf" | xargs ls -lh</div><div>-rw------- 1 root root  64G Dec 19 16:50 /datadisk/syslog-ng/disk-buffer/ne-collector-01a-02/syslog-ng-00000.rqf</div><div>-rw------- 1 root root 4.0K Dec 19 12:38 /datadisk/syslog-ng/disk-buffer/ne-collector-01a-04/syslog-ng-00000.rqf</div><div>-rw------- 1 root root 4.0K Dec 19 12:38 /datadisk/syslog-ng/disk-buffer/ne-collector-01a-05/syslog-ng-00000.rqf</div><div><span style="background-color:rgb(255,255,0)">-rw------- 1 root root  37G Dec 19 12:41 /datadisk/syslog-ng/disk-buffer/ne-collector-01a-06/syslog-ng-00000.rqf</span></div><div>-rw------- 1 root root 4.0K Dec 19 12:38 /datadisk/syslog-ng/disk-buffer/ne-collector-01a-07/syslog-ng-00000.rqf</div><div>-rw------- 1 root root 4.0K Dec 19 16:50 /datadisk/syslog-ng/disk-buffer/ne-collector-01b-01/syslog-ng-00000.rqf</div></div><div><br></div><div>Here are log snippets when we ran syslog-ng in debug mode.</div><div><span style="color:rgb(0,0,0);font-family:-webkit-standard;font-size:medium">===============================================</span><br></div><div><div>[2020-12-19T16:44:30.986904] Module loaded and initialized successfully; module='syslogformat'</div><div>[2020-12-19T16:44:30.988121] Reliable disk-buffer state loaded; filename='/datadisk/syslog-ng/disk-buffer/ne-collector-01a-02//syslog-ng-00000.rqf', queue_length='39418538', size='-1990797846'</div><div>[2020-12-19T16:44:30.988228] WARNING: window sizing for tcp sources were changed in syslog-ng 3.3, the configuration value was divided by the value of max-connections(). The result was too small, clamping to 100 entries. Ensure you have a proper log_fifo_size setting to avoid message loss.; orig_log_iw_size='2', new_log_iw_size='100', min_log_fifo_size='50000'</div><div>[2020-12-19T16:44:30.988382] Reliable disk-buffer state loaded; filename='/datadisk/syslog-ng/disk-buffer/ne-collector-01a-04//syslog-ng-00000.rqf', queue_length='0', size='0'</div><div>[2020-12-19T16:44:30.988506] WARNING: window sizing for tcp sources were changed in syslog-ng 3.3, the configuration value was divided by the value of max-connections(). The result was too small, clamping to 100 entries. Ensure you have a proper log_fifo_size setting to avoid message loss.; orig_log_iw_size='2', new_log_iw_size='100', min_log_fifo_size='50000'</div><div>[2020-12-19T16:44:30.988640] Reliable disk-buffer state loaded; filename='/datadisk/syslog-ng/disk-buffer/ne-collector-01a-05//syslog-ng-00000.rqf', queue_length='0', size='0'</div><div>[2020-12-19T16:44:30.988731] WARNING: window sizing for tcp sources were changed in syslog-ng 3.3, the configuration value was divided by the value of max-connections(). The result was too small, clamping to 100 entries. Ensure you have a proper log_fifo_size setting to avoid message loss.; orig_log_iw_size='2', new_log_iw_size='100', min_log_fifo_size='50000'</div><div><span style="background-color:rgb(255,255,0)">[2020-12-19T16:44:30.988867] Reliable disk-buffer state loaded; filename='/datadisk/syslog-ng/disk-buffer/ne-collector-01a-06//syslog-ng-00000.rqf', queue_length='0', size='0'</span></div><div>[2020-12-19T16:44:30.988958] WARNING: window sizing for tcp sources were changed in syslog-ng 3.3, the configuration value was divided by the value of max-connections(). The result was too small, clamping to 100 entries. Ensure you have a proper log_fifo_size setting to avoid message loss.; orig_log_iw_size='2', new_log_iw_size='100', min_log_fifo_size='50000'</div><div>[2020-12-19T16:44:30.989113] Reliable disk-buffer state loaded; filename='/datadisk/syslog-ng/disk-buffer/ne-collector-01a-07//syslog-ng-00000.rqf', queue_length='0', size='0'</div><div>[2020-12-19T16:44:30.989231] WARNING: window sizing for tcp sources were changed in syslog-ng 3.3, the configuration value was divided by the value of max-connections(). The result was too small, clamping to 100 entries. Ensure you have a proper log_fifo_size setting to avoid message loss.; orig_log_iw_size='2', new_log_iw_size='100', min_log_fifo_size='50000'</div></div><div><br></div><div><span style="color:rgb(0,0,0);font-family:-webkit-standard;font-size:medium">===============================================</span><br></div><div><span style="color:rgb(0,0,0);font-family:-webkit-standard;font-size:medium"><br></span></div><div><span style="caret-color: rgb(0, 0, 0);"><font face="tahoma, sans-serif" color="#000000">We are unable to figure out why the disk buffer file is not getting truncated.</font></span></div><div><span style="caret-color: rgb(0, 0, 0);"><font face="tahoma, sans-serif" color="#000000">We have restarted syslog-ng multiple times.</font></span></div><div><span style="caret-color: rgb(0, 0, 0);"><font face="tahoma, sans-serif" color="#000000">Please advise.</font></span></div><div><span style="caret-color: rgb(0, 0, 0);"><font face="tahoma, sans-serif" color="#000000"><br></font></span></div><div><span style="caret-color: rgb(0, 0, 0);"><font face="tahoma, sans-serif" color="#000000">Thanks</font></span></div><div><span style="caret-color: rgb(0, 0, 0);"><font face="tahoma, sans-serif" color="#000000">Raghu</font></span></div></div></div></div></div></div></div></div></div>