<div dir="ltr"><div>Thanks for the detailed response. I was thrilled while reading your email and this confirms that my ongoing efforts were worth it in the last 22 years :)</div><div><br></div><div>Thanks<br></div><div><br></div><div>Bazsi</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Nov 25, 2020 at 5:03 PM John Kristoff <<a href="mailto:jtk@dataplane.org">jtk@dataplane.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Wed, 25 Nov 2020 14:46:44 +0000<br>
"Peter Czanik (pczanik)" <<a href="mailto:Peter.Czanik@oneidentity.com" target="_blank">Peter.Czanik@oneidentity.com</a>> wrote:<br>
<br>
> Which web interface do you use to search / analyze / alert on your<br>
> logs collected by syslog-ng? Splunk? Elasticsearch? Other? Or still<br>
> grep/awk?<br>
<br>
Hi Peter,<br>
<br>
I'm been using syslog-ng since early to mid 2000's, mainly as a<br>
replacement for stock syslog and more recently rsyslog.  A few years<br>
back I started down the path of trying Elasticsearch, but never<br>
finished getting it up and running.  At the time it was too much<br>
trouble for what was just tinkering at the time.  Maybe one day I'll<br>
give it another try, but I don't have a large need right now.<br>
<br>
It isn't all just grep/awk and for me however.  Originally, one of my<br>
first uses was on Solaris where I found syslog-ng to be vastly more<br>
efficient (less CPU for the workload) than the stock daemon.  I grew to<br>
appreciate what now seem like simple things, the macros to put logs in<br>
paths and file names expanded by date for instance.  Later I used this<br>
feature to create circular logs when storage space was important and<br>
history wasn't (just use the day of the week, overwriting each day's<br>
file as you go).<br>
<br>
My appreciation and usage grew further when I used it as the key<br>
component of a security sensor network.  Comparing it to rsyslog at the<br>
time, when it was replacing syslog-ng as the default daemon in distros,<br>
I found rsyslog to buggy and the documentation very poor in comparison.<br>
Things have probably changed for rsyslog for the better now, but I've<br>
never looked back.  Back then I started making heavy use of the the<br>
pattern matching database feature, which was quite novel then, and<br>
database integration.<br>
<br>
Those two features, coupled with TLS support I was able to remotely log<br>
from dozens of systems all over the world to a central collector and<br>
build up my customer tables. Data was logged in files for archival, but<br>
the things I cared about I parsed and stuck into the database.  This<br>
project has continued today and I'm still running over 100 nodes this<br>
way providing various kinds of feeds to the security community. You can<br>
read more about this project in my article from USENIX's ;login: Fall<br>
2018 issue or visit the homepage of the domain from which I'm sending<br>
this email.<br>
<br>
In my network role at a university we have Splunk where some logs go,<br>
but I personally still to work with raw logs since I rarely need to<br>
look at them, and when I do it is often to conduct some very<br>
specific aggregate analysis or exploration that Splunk won't do with<br>
more work.  I'd just prefer to use unix tools and raw data for those<br>
rare occasions.<br>
<br>
So yes grep/awk (and perl, python, sort, cut and so on), but for my<br>
DataPlane project it is often SQL queries or custom code to create<br>
reports from the database that received data directly from syslog-ng.<br>
<br>
My standard system build is to always replace whatever syslog daemon<br>
might be installed with syslog-ng, change the default timestamp settings<br>
to ts_format(iso) then add other customizations into conf.d/ as I go.<br>
<br>
Hope that helps, sorry not much for a web interface user here.<br>
<br>
John<br>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature">Bazsi</div>