ELK الستیک استک

الستیک استک محصولی از Elastic است که از سال 2000 تا به امروز فعال بوده و محصولی با همین نام جهت تحلیل داده ارایه کرده است.

شرکت فناوری راه نو سورین جهت ارتقای سطح امنیت در سازمان ها و ارائه راهکارهای SOC ، در این بخش به معرفی محصول متن باز (Open Source) به نام ELK الستیک استک می‌­پردازد که در ادامه آنرا مورد بررسی قرار می‌دهیم.

این محصول متن باز و رایگان دارای سه مولفه است شامل:

• Elasticksearch
• Logstash
• Kibana

این محصول برای ذخیره سازی Logها، از Elasticsearch استفاده می­‌کند. این مؤلفه قادر به ذخیره سازی داده­‌هایی از جنس Big Data است.

در Elasticsearch یک موتور جست و جو و تجزیه و تحلیل رایگان و متن باز (Open Source) وجود دارد. این موتور جست وجوی در مولفه مذکور توسط شرکت Apache با نام Apache Lucene طراحی و ساخته شده است و به دلیل وجود REST API در آن، قابلیت مقیاس پذیری و سرعت بالایی در این محصول به وجود آمده است.

همانگونه که ذکر شد در ELK الستیک استک مولفه دیگری به نام Logstash وجود دارد، این کامپوننت دارای یک موتور جهت جمع آوری داده‌­ها می‌­باشد. کامپوننت Logstash به صورت رایگان در دسترس عموم است.

وظیفه این کامپوننت انتقال داده­‌ها از منابع مختلف به Elasticsearch بوده که در حین انجام این فرآیند، قادر به عملیات زیر می‌باشد.

• نرمال سازی
• غنی سازی
• تجزیه داده(Parsing)

از ویژگی های Logstash می‌­توان به فیلترهای موجود درآن اشاره کرد،این ویژگی­‌ها کمک شایانی جهت بهبود در کشف و تشخیص حملات می­‌کنند.برخی از این فیلترها را می‌توان در ادامه مشاهده کرد:

Grok: فیلتر Grok ساختار Key Value در Log ها را تولید می‌کند. (همانند Regex)
Mutate: این فیلتر قادر به تغییر نام، حذف، جایگزینی و اعمال تغییرات بر روی Field های مختلف می­باشد
Drop: این فیلتر قادر به حذف برخی از رویدادها در Logهای دریافتی می­باشد (مانند Debug Event ها)
GeoIP: اضافه کردن اطلاعات مختلف در خصوص IP ها (مانند موقعیت جغرافیایی یک IP)

مولفه دیگری در ELK الستیک استک وجود دارد با نام Kibana که این مولفه در سال 2013 در شرکت Elastic توسعه یافت.همچنین قابل به ذکر است که این مؤلفه مانند سایر موارد متن باز می‌باشد.

Kibana در داده های ذخیره شده در Elasticsearch جست و جو می‌کند.

این کامپوننت به عنوان ابزاری جهت ایجاد گزارشات و نمودارهای مختلف شناخته می‌­شود، همچنین می‌تواند به عنوان رابط کاربری برای نظارت و مدیریت دیگر کامپوننت های این محصول متن باز استفاده شود.    

ELK و قابلیت‎‌های آن

به طورکلی ELK Stack مجموعه‌ای از سه راهکار متن باز  Elasticsearch، Logstash و Kibana به شرح ذیل است:

Elasticsearch: الستیک موتور تجزیه‌‌و‌تحلیل و ذخیره‌سازی متن باز داده‌ها است که مبتنی بر Apache Lucene است.

:Logstash یک تجمیع کننده لاگ یا به اصطلاح دقیق‌تر، Log Aggregator است که داده‌ها را از منابع ورودی مختلف جمع‌آوری و پس از انجام عملیات مختلف، آنها را به خروجی  های تعیین شده ارسال می‌کند.

Kibana: ابزاری جهت تولید گزارش های بصری است که در کنار Elasticsearch کار می‌کند و به کاربران امکان تجزیه، تحلیل و Visualization بر روی داده‌ها را می‌دهد.  

قابلیت‌های ELK

• رایگان بودن: یکی از دلایل محبوبیت ELK، رایگان بودن اجزای این نرم افزار است. به این معنا که نیازی به خرید اولیه نیست و هزینه ای برای صدور مجوز نرم افزار نیاز نیست.
• پشتیبانی از روش های مختلف ارسال داده: جمع آوری داده در ELK می تواند از طریق Syslog و یا حتی از طریق عامل یا Agent های خانواده Beats (نظیر FileBeat، MetricBeat و …) باشد.
• قابلیت کلاسترینگ و دسترس پذیری بالا (HA): کلاستر مجموعه ای از یک یا چند گره (Node) است که قابلت ذخیره سازی و جستجوی داده ها را فراهم می سازد. ELK همچون پلتفرم اسپلانک (Splunk) دارای قابلیت High availability است که در دسترس بودن مداوم را ممکن می‌کند تا در صورتی که گره ای از دسترس خارج شد، گره های دیگر جایگزین شوند.
• قابلیت :Rebalancing در یک پیاده سازی ELK به صورت کلاستر شده، گره اصلی (Master Node) می تواند تعیین کند که کدام داده را به کدام گره‌ اختصاص دهد و از این طریق توازن بار بین نود یا گره های زیرمجموعه خود ایجاد کند.
• مقیاس پذیری: زمانی که شما داده ها و یوزکیس های زیادی را به ELK اضافه می کنید و منابع شما به اتمام می‌رسد، Elastic Search این امکان را می‌دهد که گره دیگری را به کلاستر اضافه کنید تا ظرفیت آن افزایش یابد.
• Full Stack Monitoring: ویژگی های نظارت Elastic Stack به شما بینشی در مورد عملکرد Elastic Search، Logstash و Kibana می دهد. به این قابلیت، اصطلاحا Full Stack Monitoring اطلاق می شود.
• هشدارهای خودکار در خصوص کلاستر: با استفاده از این قابلیت، می توانید به طور خودکار از وضعیت کلاستر، تاریخ انقضای لایسنس، تغییرات در کلاستر و … مطلع شوید.

• قابلیت ILM: مدیریت چرخه ایندکس یا Index Lifecycle Management به کاربران اجازه می‌دهد تا سیاست های مد نظر را برای کنترل چرخه حیات یا مدت زمان فعالیت هر ایندکس و اقدامات قابل انجام توسط آن ایندکس را خودکار سازند.

• قابلیت پشتیبان گیری: ELK دارای قابلیت پشتیبان‌گیری از داشبوردها، Indexer ها و سایر موارد است.

• مدیریت زمان نگهداری داده ها در بخش‌های مختلف: داده ها به ترتیب بر اساس مدت زمان تعیین شده در بخش های Hot، Warm و Cold جابجا می شوند تا امکان جستجو بر روی داده ها را تسریع و نگه داری آن را هدفمند تر نماید. در Elastic Stack، کاربر می تواند مدت زمان نگهداری داده‌ها در هر باکت یا Shard را مطابق نیاز خود، کنترل و مدیریت نماید.