<div dir="ltr"><div>hi Fabien,</div><div><br></div><div>and thanks for the tip! I have just tried the following destination driver where the pipeline name is set by the ${HOST} macro:</div><div><br></div><div>destination d_elasticsearch_http {<br>    elasticsearch-http(<br>        index("syslog-ng")<br>        type("")<br>        url("<a href="http://localhost:9200/_bulk?pipeline=${HOST}">http://localhost:9200/_bulk?pipeline=${HOST}</a>")<br>        template("$(format-json --scope rfc5424 --scope dot-nv-pairs<br>        --rekey .* --shift 1 --scope nv-pairs<br>        --exclude DATE --key ISODATE @timestamp=${ISODATE})")<br>    );<br>};</div><div><br></div><div>It appears that the macros inside the url are not replaced with their values. Here is an example request that gets generated:</div><div><br></div><div>POST /_bulk?pipeline=${HOST} HTTP/1.1<br>Host: localhost:9200<br>User-Agent: syslog-ng 3.32.1/libcurl 7.61.1<br>Accept: */*<br>Content-Type: application/x-ndjson<br>Content-Length: 296<br></div><div>...</div><div><br></div><div>So it seems that only constant pipeline names can be used, and one can not extract the pipeline name from the incoming event.<br></div><div><br></div><div>kind regards,</div><div>risto<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Kontakt Fabien Wernli (<<a href="mailto:wernli@in2p3.fr">wernli@in2p3.fr</a>>) kirjutas kuupäeval R, 11. märts 2022 kell 23:11:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Risto,<br>
<br>
Although I didn't test this myself, I see two ways you could achieve this.<br>
<br>
1. By using the "pipeline" query parameter in the url<br>
   e.g. url("<a href="https://localhost:9200/_bulk?pipeline=mypipeline" rel="noreferrer" target="_blank">https://localhost:9200/_bulk?pipeline=mypipeline</a>")<br>
2. By setting a default pipeline in the ES index<br>
<br>
I'm not sure however if elasticsearch-http()'s url parameter is<br>
templateable. Yoy'll have to check for yourself.<br>
<br>
______________________________________________________________________________<br>
Member info: <a href="https://lists.balabit.hu/mailman/listinfo/syslog-ng" rel="noreferrer" target="_blank">https://lists.balabit.hu/mailman/listinfo/syslog-ng</a><br>
Documentation: <a href="http://www.balabit.com/support/documentation/?product=syslog-ng" rel="noreferrer" target="_blank">http://www.balabit.com/support/documentation/?product=syslog-ng</a><br>
FAQ: <a href="http://www.balabit.com/wiki/syslog-ng-faq" rel="noreferrer" target="_blank">http://www.balabit.com/wiki/syslog-ng-faq</a><br>
<br>
</blockquote></div>