Category Archives: Logging

F5 High Speed Logging Irule & Splunk Entegrasyonu

High speed logging özelliği F5 tarafından yüksek volume ve düşük yük için design edilmiştir. Açıkcası çokda başarılı olduğunu söylemeliyim.

https://devcentral.f5.com/wiki/irules.HSL.ashx

Ben F5 loglarını splunk tarafında topluyorum. Siz Splunk kullanmıyorsanız syslog-ng v.b. gibi bir çok seçenek kullanabilirsiniz. Ayrıca opensource log indexerlar olarak graylog, logstash2 de deneyebilirsiniz.

Splunk tarafı için hazırlıklarımız;

Settings -> Data -> Forwarding and receiving kısmına gidiyoruz.
Configure Receiving kısmında geçiyoruz. New seçerek yeni listener oluşturuyoruz.
Gerekli listen portunu yazıyoruz ve save diyoruz.

splunk1

Bizim örneğimizde bu port udp 515. Böylece F5 tarafından yollanan logları splunk listener olan 515 portuna gönderiyor olacağız.

splunk2Splunk tarafındaki ayarlamayı tamamladıktan sonra. Splunk indexer makinemizi F5 tarafına önce node olarak ekliyoruz.

f5_1

Ardından Bu node ile syslog poolumuzu oluşturuyoruz. Port 515 ile nodu poola ekliyoruz. Poolumuzun adı syslog

f5_2

En sonunda HSL Irule’u işleyelim.

Logu response ile yazıyoruz. Client accept ve http request tarafında değişkenleri set ediyoruz.

HSL::send $hsl "$clientip $host - \[$now\] \"$method $uri HTTP/[HTTP::version]\" [HTTP::status] $contentlength \"$referer\" \"$agent\"\n"

Bu HSL ile yer alan dizilim splunk access_combined log formatı ile birebir uyumlu olduğundan splunk indexer bunu access log olarak algılıyor ve ona göre indexliyor. Böylece useragent, uri, ident gibi tüm unsurları filtreleyerek arama konusunda hiç bir sorun yaşamıyoruz.

#HSL Loglama
when CLIENT_ACCEPTED {
   set hsl [HSL::open -proto UDP -pool syslog]
   set clientip [IP::remote_addr]
}
when HTTP_REQUEST {
   set method [HTTP::method]
   set uri [HTTP::uri]
   set host [HTTP::host]
   set referer [HTTP::header "Referer"]
   set agent  [HTTP::header "User-Agent"]
}
when HTTP_RESPONSE {
   set now [clock format [clock seconds] -format "%d/%b/%Y:%H:%M:%S %z"]
   set contentlength [HTTP::header "Content-Length"]
   HSL::send $hsl "$clientip $host - \[$now\] \"$method $uri HTTP/[HTTP::version]\" [HTTP::status] $contentlength \"$referer\" \"$agent\"\n"
}

Loglamak istediğiniz HTTP servis edilen vserver larınıza bind edebilirsiniz. Splunk bunları ident=http_host headerında yer alan domainlere göre size filtreleme imkanı veriyor.

Splunk örnek olarak bunu gösterebiliriz. 515 port udp ve access_combined olarak setli F5 tarafından HSL den gelen indexlenmiş bir satır log.

splunk3

Bir sonraki yazımızda HSL ile request ve response time larıda access log ile birlikte loglamayı sağlayan bir irule inceleyeceğiz. Böylece Farklı bir tool kullanmadan request/response time larınızı görebilir ve bunları grafiğe splunk tarafında dökebilirsiniz, en çok süren ve yavaş çalışan url yada iç servislerinizi görebilirsiniz.