<div dir="ltr">I was thinking more of the Elastic, sumo and splunk way where the messages are buffered compressed and sent using some standard open source compression library.  <div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 14, 2018 at 7:41 AM, Gergely Nagy <span dir="ltr"><<a href="mailto:algernon@balabit.com" target="_blank">algernon@balabit.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">>>>>> "Scot" == Scot  <<a href="mailto:scotrn@gmail.com">scotrn@gmail.com</a>> writes:<br>
<br>
    Scot> We have 2 syslog relays that send data over strait TCP right now to another<br>
    Scot> syslog-ng master.<br>
    Scot> I was looking for ways to optimize that communication as well as a network<br>
    Scot> JSON input from logstash and how other connections to the above could be<br>
    Scot> optimized.<br>
<br>
I think TLS compression is a viable, practical solution in this case.<br>
It's easy to set up, and as the compression applies to the whole stream,<br>
and isn't done on a per-message basis (which would be horribly<br>
inefficient), it has the potential of achieving compression ratios that<br>
offset the overhead of TLS.<br>
<br>
The alternatives (like using a custom program destination and source)<br>
are - in my opinion - considerably harder to set up well, because you'd<br>
need to figure out a way to get the compressed stuff from one host to<br>
another, and the tcp()/udp()/syslog() methods don't work here, because<br>
they aren't well suited for transfer of binary data, and generally<br>
operate on a per-message basis, while you'd rather send a continuous<br>
stream.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
|8]<br>
</font></span><div class="HOEnZb"><div class="h5">______________________________<wbr>______________________________<wbr>__________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer" target="_blank">https://lists.balabit.hu/<wbr>mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer" target="_blank">http://www.balabit.com/<wbr>support/documentation/?<wbr>product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer" target="_blank">http://www.balabit.com/wiki/<wbr>syslog-ng-faq</a><br>
<br>
</div></div></blockquote></div><br></div>