<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi, <div><br></div><div>Here is some more detail on the issue:</div><div><br></div><div>Buffer file on syslog-ng machine</div><div><br></div><div><div><font face="monospace">root@mymachine:/etc/syslog-ng/disk-buffer# ls -l</font></div><div><font face="monospace">total 61580512</font></div><div><font face="monospace">-rw------- 1 root root        4096 Jun 14 16:57 syslog-ng-00000.rqf</font></div><div><font face="monospace">-rw------- 1 root root        4096 Jun  8 13:00 syslog-ng-00001.rqf</font></div><div><font face="monospace">-rw------- 1 root root 63058421272 Jun 14 16:57 syslog-ng-00002.rqf</font></div><div><font face="monospace">-rw------- 1 root root        4096 Jun 14 16:56 syslog-ng-00003.rqf</font></div><div><br></div></div><div>When I run syslog-ng in debug mode, I see the following lines related to buffer</div><div><br></div><div><div style="color:rgb(0,0,0);box-sizing:border-box;font-variant-ligatures:normal"><font face="monospace">[2020-06-14T16:43:32.085616] Reliable disk-buffer state loaded; filename='/etc/syslog-ng/disk-buffer/syslog-ng-00000.rqf', queue_length='0', size='0'<br>[2020-06-14T16:43:32.085690] Reliable disk-buffer internal state; filename='/etc/syslog-ng/disk-buffer/syslog-ng-00000.rqf', backlog_head='4096', read_head='4096', write_head='4096', backlog_len='0'<br>[2020-06-14T16:43:32.086555] WARNING: window sizing for tcp sources were changed in syslog-ng 3.3, the configuration value was divided by the value of max-connections(). The result was too small, clamping to value of min_iw_size_per_reader. Ensure you have a proper log_fifo_size setting to avoid message loss.; orig_log_iw_size='2', new_log_iw_size='100', min_iw_size_per_reader='100', min_log_fifo_size='50000'<br>[2020-06-14T16:43:32.086677] Accepting connections; addr='AF_INET(<a href="http://0.0.0.0:514">0.0.0.0:514</a>)'<br>[2020-06-14T16:43:32.086802] Reliable disk-buffer state loaded; filename='/etc/syslog-ng/disk-buffer/syslog-ng-00002.rqf', queue_length='14255828', size='20391794080'<br><strong>[2020-06-14T16:43:32.086871] Reliable disk-buffer internal state; filename='/etc/syslog-ng/disk-buffer/syslog-ng-00002.rqf', backlog_head='42534306360', read_head='42534307736', write_head='62926101816', backlog_len='1'</strong><br>[2020-06-14T16:43:32.087359] Seeking the journal to the last cursor position; cursor='s=3f7a52af1f26424db365ccc75b2cf79d;i=192f;b=6921d51da51b41d5a26d8674232c77d9;m=75ef33f5cc;t=5a80dfded040d;x=b88b960795be54d2'<br>[2020-06-14T16:43:32.087572] Reliable disk-buffer state loaded; filename='/etc/syslog-ng/disk-buffer/syslog-ng-00003.rqf', queue_length='0', size='0'<br>[2020-06-14T16:43:32.087637] Reliable disk-buffer internal state; filename='/etc/syslog-ng/disk-buffer/syslog-ng-00003.rqf', backlog_head='4096', read_head='4096', write_head='4096', backlog_len='0'</font></div></div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-size:14px;font-variant-ligatures:normal"><br></div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-variant-ligatures:normal">I can see that logs are getting sent out to the destination server. However, the buffer is still piling up.</div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-variant-ligatures:normal">I am not sure how to get the buffer cleared.</div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-variant-ligatures:normal"><br></div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-variant-ligatures:normal">Please advise.</div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-variant-ligatures:normal"><br></div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-variant-ligatures:normal">Thanks</div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-variant-ligatures:normal">Raghu</div><div style="color:rgb(0,0,0);box-sizing:border-box;font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-size:14px;font-variant-ligatures:normal"><br></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Jun 13, 2020 at 9:09 PM Raghunath Adhyapak <<a href="mailto:funduraghu@gmail.com">funduraghu@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="auto"><div>Hi, I don't have an exact way to reproduce it. However, this is what we observe:<div dir="auto">- The buffer file keeps increasing in size.</div><div dir="auto">- We keep getting syslog messages and there doesn't seem to be any issue with the service.</div><div dir="auto">- When we check the buffer size it grows into gigabytes.</div><div dir="auto">- At this point, in one case we saw the buffer file size was around 4GB. We restarted the service and after the restart, boom, the buffer files got cleared immediately (size of buffer file was 4k)</div><div dir="auto">- Next time when this happened, we checked the contents of the buffer file and investigated whether the events were received or not. We found that we had received all the events.</div><div dir="auto"><br></div><div dir="auto">Therefore we believe that there was a file truncation issue and restart helped to clear it.</div><div dir="auto"><br></div><div dir="auto">Let me know if you need any further details and also on how to prevent this from happening</div><div dir="auto"><br></div><div dir="auto">Thanks</div><div dir="auto">Raghu</div><div dir="auto"><br></div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jun 9, 2020, 12:58 Nagy Gábor <<a href="mailto:gabor.hl@gmail.com" target="_blank">gabor.hl@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi,</div><div><br></div><div>Can you describe the issue in detail, please? Could you share the reproduction steps?</div><div></div><div><br></div><div>You say there is an issue with disk-buffer truncating after it's emptied, and that is resolved when syslog-ng restart?</div><div>How do you check if the queue is empty?<br></div><div><br></div><div>Regards,<br></div><div>Gabor<br></div><div><br><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Raghunath Adhyapak <<a href="mailto:funduraghu@gmail.com" rel="noreferrer" target="_blank">funduraghu@gmail.com</a>> ezt írta (időpont: 2020. jún. 9., K, 0:08):<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="auto">Correcting subject<div dir="auto"><br></div><div dir="auto">We did some more troubleshooting on this and we found that all logs in buffer were indeed sent out and that syslog-ng was facing issues in truncating the file.</div><div dir="auto">This issue got fixed with restart.</div><div dir="auto">However, we are observing that this issue is happening too often.</div><div dir="auto">Would anyone help me understand why this could be happening?</div><div dir="auto"><br></div><div dir="auto">Thanks</div><div dir="auto">Raghu</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 11, 2020, 19:34 Fabien Wernli <<a href="mailto:wernli@in2p3.fr" rel="noreferrer" target="_blank">wernli@in2p3.fr</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
On Mon, May 11, 2020 at 12:23:27PM +0000, László Várady (lvarady) wrote:<br>
> > 2. Why couldn't syslog-ng resume operations after partition was freed up and destination was available?<br>
> <br>
> That might be a bug. Once a destination becomes available (set time-reopen() to a lower value to check more frequently), syslog-ng should send messages out from the disk buffer.<br>
> Could you reproduce this issue and share the reproduction steps?<br>
<br>
I remember having a lot of corrupt disk buffers when disk was full.<br>
In my case, they caused a segfault on startup, maybe that got "fixed" by a<br>
deletion instead?<br>
<br>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer noreferrer noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer noreferrer noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer noreferrer noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div></div></div>
</blockquote></div>