آموزش نصب و راه اندازی Splunk Log Analyzer روی CentOS 7

[Habili]

Splunk (اسپلانک) یک نرم افزار قدرتمند، عالی و یکپارچه برای مدیریت enterprise و real time لاگ میباشد که هر log و دیتای ایجاد شده توسط ماشین (شامل لاگ اپلیکیشن های ساختار یافته و ساختار نیافته و پیچیده) را جمع آوری، ذخیره، جستجو، بررسی و گزارش میکند.

این ابزار به شما امکان جمع آوری، ذخیره، index کردن، جستجو، مرتبط نمودن، visual سازی، آنالیز کردن و گزارش روی هر گونه دیتای log یا دیتای ایجاد شده توسط ماشین به طور سریع و به شیوه ای قابل تکرار را به شما میدهد تا بتوانید مشکلات امنیتی و عملیاتی را تشخیص و حل کنید.

علاوه بر این ابزار Splunk رنج وسیعی از use case های مدیریتی log را پشتیبانی میکند، همانند ترکیب و نگهداری log، امنیت، troubleshoot عملیات IT، ترابل شوت اپلیکیشن و گزارشات تکمیلی و موارد بیشمار دیگر ...


قابلیت های Splunk :

• It’s easily scalable and fully integrated.
• Supports both local and remote data sources.
• Allows for indexing machine data.
• Supports searching and correlating any data.
• Allows you to drill down and up and pivot across data.
• Supports monitoring and alerting.
• Also supports reports and dashboards for visualization.
• Provides flexible access to relational databases, field delimited data in comma-separated value (.CSV) files or to other enterprise data stores such as Hadoop or NoSQL.
• Supports a wide range of log management use cases and much more.

در این مقاله ما به شما نحوه نصب آخرین ورژن log آنالیزور Splunk را آموزش خواهیم داد، همچنین نحوه اضافه کردن یک لاگ فایل (data source) و جستجو کردن از طریق آن برای event ها در CentOS 7 بحث خواهیم کرد. (همچنین روی توزیع RedHat نیز کار میکند.)


تجهیزات سیستمی توصیه شده :

• یک سرور CentOS 7 یا سرور RHEL 7 با نصب Minimal
• حداقل 12GB مموری

نصب Log آنالیزور Splunk برای مانیتور کردن Log های CentOS 7

1 - به وب سایت Splunk مراجعه کنید، یک اکانت ایجاد کنید و آخرین ورژن موجود برای سیستم خود را از صفحه دانلود Splunk دریافت کنید. پکیج های RPM برای RedHat, CentOS و ورژن های مشابه لینوکس موجود هستند.

همچنین شما میتوانید آنرا مستقیما از طریق مرورگر وب یا دریافت لینک دانلود و استفاده از دستور wget آنرا دانلود کنید. همانند دستور زیر.

# wget http://up.linux-zone.org/software/os/splunk-7.1.3-51d9cac7b837-linux-2.6-x86_64.rpm 

2 - به محض اینکه پکیج دانلود شد، Splunk Enterprise RPM را در دایرکتوری پیش فرض /opt/splunk با استفاده از دستور RPM همانند زیر نصب کنید.

# rpm -i splunk-7.1.3-51d9cac7b837-linux-2.6-x86_64.rpm

warning: splunk-7.1.2-a0c72a66db66-linux-2.6-x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 653fb112: NOKEY
useradd: cannot create directory /opt/splunk
complete 

3 - سپس از اینترفیس کامندی Splunk Enterprise برای استارت کردن سرویس استفاده کنید.

# /opt/splunk/bin/./splunk start 

توافق نامه لایسنس نرم افزار Splunk را (SPLUNK SOFTWARE LICENSE AGREEMENT) با فشردن Enter بخوانید، به محض اینکه مطالعه آنرا تمام کردید از شما خواسته میشود که این لایسنس را بپذیرید. برای ادامه Y را وارد کنید.

Do you agree with this license? [y/n]: y 

سپس برای اکانت administrator پسورد بسازید، پسورد شما باید شامل حداقل 8 کاراکتر ASCII قابل پرینت باشد.

Create credentials for the administrator account.
Characters do not appear on the screen when you type the password.
Password must contain at least:
   * 8 total printable ASCII character(s).
Please enter a new password:
Please confirm new password: 

4 - اگر همه فایل های نصب شده سالم باشند و چک های اولیه پاس شوند سرویس splunkd استارت خواهد شد. یک RSA private key که 2048 بیت میباشد ایجاد خواهد شد و شما قادر خواهید بود که اینترفیس وب Splunk دسترسی داشته باشید.

All preliminary checks passed.

Starting splunk server daemon (splunkd)...  
Generating a 2048 bit RSA private key
......................+++
.....+++
writing new private key to 'privKeySecure.pem'
-----
Signature ok
subject=/CN=tecmint/O=SplunkUser
Getting CA Private Key
writing RSA key
Done
                                                           [  OK  ]

Waiting for web server at http://127.0.0.1:8000 to be available............. Done


If you get stuck, we're here to help.  
Look for answers here: http://docs.splunk.com

The Splunk web interface is at http://localhost:8000 

5 - سپس پورت 8000 را که سرور Splunk روی آن listten میکند در فایروال خود با استفاده از دستور firewall-cmd باز کنید.

# firewall-cmd --add-port=8000/tcp --permanent
# firewall-cmd --reload 

6 - یک مرورگر وب باز کنید و url زیر را برای دسترسی به اینترفیس وب Splunk تایپ کنید.

http://SERVER_IP:8000 

برای لاگین، یوزر admin و پسوردی که در طول پروسه نصب ساختید را وارد کنید.

7 - بعد از اینکه با موفقیت لاگین شدید به کنسول ادمین splunk همانطور که در زیر مشاهده میکنید وارد خواهید شد. برای مانیتور کردن یک log file به طور مثال /var/log/secure روی Add Data کلیک کنید.

8 - سپس روی Monitor برای اضافه کردن دیتا از یک فایل کلیک کنید.

9 - از اینترفیس بعدی، Files & Directories را انتخاب کنید.

10 - سپس نمونه ای از مانیتور کردن فایل ها و دایرکتوری ها برای دیتا را راه اندازی کنید. برای مانیتور کردن همه object های یک دایرکتوری، directory را انتخاب کنید. برای مانیتور کردن یک فایل مجزا آنرا انتخاب کنید. روی Browse برای انتخاب source دیتا کلیک کنید.

11 - لیستی از دایرکتوری های موجود در دایرکتوری root شما نمایش داده خواهد شد، روی لاگ فایلی که میخواهید مانیتور شود (/var/log/secure) رفته و Select را کلیک کنید.

12 - بعد از انتخاب سورس دیتا، Continuously Monitor را برای مشاهده آن log file انتخاب کنید و برای تعریف source type روی Next کلیک کنید.

13 - سپس source type را برای source data خود تعریف کنید. برای لاگ فایل تستی ما (/var/log/secure) ما باید Operating System→linux_secure را انتخاب کنیم. این مورد splunk را از اینکه فایل شامل پیغام های مرتبط امنیتی از یک سیستم لینوکس است را آگاه میکند. برای ادامه روی Next کلیک کنید.

14 - شما میتوانید به طور دلخواه پارامترهای ورودی اضافه ای را برای این ورودی دیتا تعریف کنید. از منوی App context روی Search & Reporting کلیک کنید. سپس روی Review کلیک کنید بعد از مشاهده آن روی Submit کلیک کنید.

15 - اکنون ورودی فایل شما با موفقیت ایجاد شده، برای جستجوی دیتای خود روی Start Searching کلیک کنید.

16 - برای مشاهده همه ورودی های دیتای خود، به Settings→Data→Data Inputs بروید. سپس روی type که میخواهید مشاهده کنید به طور مثال Files & Directories کلیک کنید.

17 - در زیر دستورات اضافه برای مدیریت Splunk را مشاهده میکنید.

# /opt/splunk/bin/./splunk restart
# /opt/splunk/bin/./splunk stop 

از این به بعد شما میتوانید سورس های دیتای بیشتری اضافه کنید (local یا remote با استفاده از Splunk Forwarder)، همچنین دیتای خود را به دست آورید یا اپلیکیشن های Splunk را برای بالا بردن کاربردهای پیش فرضش نصب کنید. شما میتوانید با مطالعه داکیومنت Splunk روی وب سایت رسمی آن موجود است کارهای بیشتری انجام دهید.

Splunk Homepage: https://www.splunk.com

همچنین توصیه میشود مطالعه کنید :

مانیتور log های سرور به صورت Real-Time با استفاده از ابزار Log.io در RHEL/CentOS 7/6

آموزش نصب و راه اندازی syslog server در لینوکس


Splunk یک نرم افزار مدیریت Log، بسیار قدرتمند، بی نظیر، یکپارچه و real time میباشد. در این مقاله ما به شما نحوه نصب آخرین ورژن Splunk log analyzer روی CentOS 7 را آموزش دادیم. نظرات و سوالات خود را با ما به اشتراک بگذارید.

[saranipedram]

سلام. ممنون
میشه بپرسم دلیل این حجم بالای RAM چیه؟.

[Habili]

سلام. ممنون
میشه بپرسم دلیل این حجم بالای RAM چیه؟.

سلام. من روی 2 گیگ رم هم راه اندازی کردم مشکلی نداره.