Bài viết được sự cho phép của tác giả Lê Chí Dũng
Lý do bạn áp dụng cài đặt Elasticsearch, Logstash và Kibana (ELK Stack):
- Dễ dàng kiểm soát rủi ro phát hiện bug sớm nhất khi vận hành hệ thống nhiều server.
- Dễ dàng kiểm tra và xem thông tin log mong muốn.
- Dễ dàng phân loại log của server theo ý muốn.
- Áp dụng kiểm soát sản phẩm lớn như e-commerce, services,…
1. Giới thiệu công cụ:
Logstash: Đây là một công cụ sử dụng để thu thập, xử lý log được viết bằng java. Nhiệm vụ chính của logstash là thu thập log sau đó chuyển vào Elastichsearch. Mỗi dòng log của logstash được lưu trữ đưới dạng json.
Elasticsearch: sử dụng cơ sở dữ liệu NoSQL dựa trên nền tảng của Apache Lucene engine. Dùng để lưu trữ dữ liệu và cung cấp interface cho phép truy vấn đến cơ sở dữ liệu.
Kibana: Đây là giao diện sử dụng dành cho người dùng trên môi trường web. Kibana sẽ sử dụng Elashtichsearch để tìm kiếm các dữ liệu phù hợp với yêu cầu của người dùng.
2. Chuẩn bị và cài đặt:
1. Chuẩn bị:
Logstash và Elasticsearch yêu cầu Java nên cần có một Java Virtual Machine để hoạt động. Vì vậy trước tiên bạn cần cài đặt Java, nên cài phiên bản mới nhất của java hiện nay Java8. Nếu đã cài đặt Java thì có thể bỏ qua bước này.
Tải file cài đặt Java
Cài đặt Java
Xóa file cài đặt
Tạo SSL Certificates
Vì chúng ta sẽ sử dụng Filebeat để ghi từ Server Client vào Server ELK (Elasticsearch, Logstash, Kibana) của mình, nên cần phải tạo ra SSL Certificates và cặp khóa. Các chứng chỉ được sử dụng bởi Filebeat để xác minh danh tính của Server ELK.
Nếu bạn không có thiết lập DNS cho phép các máy chủ của bạn, bạn sẽ thu thập các bản ghi từ, để giải quyết địa chỉ IP của Server ELK bằng cách thêm địa chỉ IP riêng Server đến SubjectAltName (SAN) trường của các chứng chỉ SSL. Để làm như vậy, mở tập tin cấu hình OpenSSL:
Cập nhật dòng sau:
Sau khi lưu lại chạy lệnh sau để tạo ra các chứng chỉ SSL và khóa riêng tại (/etc/PKI/TLS/):
Cài đặt Nginx để chạy giao diện web của Kibana
2. Cài đặt Logstash
2.1 Tạo hoặc cập nhật file Yum repository cho Logstash:
2.2 Lưu nội dung file Yum repository:
2.3 Cài đặt Logstash với lệnh sau:
2.4 Sau khi cài đặt xong, tiến hành cấu hình Logstash:
File cấu hình Logstash lưu tại /etc/logstash/conf.d theo định dạng JSON.
Cấu hình gồm 3 phần: inputs, filters, and outputs.
2.4.1 Trước tiên, tạo cấu hình input “filebeat” lưu tại 02-beats-input.conf:
Lưu thông tin cấu hình input không sử dụng SSL:
Lưu thông tin cấu hình input có sử dụng SSL:
2.4.2 Kế tiếp, tạo cấu hình filter “filebeat” lưu tại 10-syslog-filter.conf:
Lưu thông tin cấu hình filter
2.4.3 Cuối cùng, tạo cấu hình out put “filebeat” lưu tại 30-elasticsearch-output.conf:
Lưu thông tin cấu hình out put:
Lưu lại và thoát. Theo cấu hình output Logstash để lưu beats data trong Elasticsearch cần running localhost:9200
Nếu muốn thêm cấu hình filter thì chắc chắn tên phải nằm giữa input và output (nằm giữa 02- và 30-)
2.5 Chạy lệnh kiểm tra cấu hình service Logstash:
Kết quả thành công:
2.6 Restart và enable Logstash:
3. Cài đặt Elasticsearch
3.1 Import Elasticsearch public GPG key vào rpm:
3.2 Tạo hoặc cập nhật file Yum repository cho Elasticsearch:
3.2 Lưu nội dung file Yum repository:
3.3 Cài đặt Elasticsearch:
3.4 Cấu hình Elasticsearch:
3.5 Start service Elasticsearch và Enable server:
4. Cài đặt Kibana (Version 4.4):
4.1 Tạo hoặc cập nhật yum repository cho Kibana:
4.2 Lưu nội dung file Yum repository:
4.3 Cài đặt Kibana:
4.4 Cấu hình Kibana:
4.5 Start service Kibana và Enable server:
4.6 Tạo và cấu hình Nginx để chạy giao diện web của Kibana:
Lưu ý:
Tạo auth_basic_user_file dùng lệnh bên dưới với user name là kibanaadmin và password do bạn nhập vào.
Sau đó chạy Domain thử để xem kết quả tuy nhiên tới bước này cũng chưa thấy thông tin gì đâu nếu status là Big Green thì thành công 50% rồi đó thấy Big Red thì fix đi nhé ^_^!
3. Kibana Dashboards
3.1 Beats dashboard
Elastic cung cấp một số Kibana dashboards và Beats là pattern có thể giúp bạn bắt đầu làm quen với Kibana. Bài này sẽ không hướng dẫn sử dụng các kiểu dashboard mà chỉ một số thành phần cần thiết để sử dụng Filebeat.
1. Đầu tiên download beats dashboard về server:
2. Giải nén và load mẫu dashboards:
Install the unzip
package with this command, visualizations và Beats index patterns trong Elasticsearch:
3. Load được các patterns sau:
- [packetbeat-]YYYY.MM.DD
- [topbeat-]YYYY.MM.DD
- [filebeat-]YYYY.MM.DD
- [winlogbeat-]YYYY.MM.DD
Khi vào giao diện Kibana, bạn sẽ chọn patter Filebeat làm mặc định.
3.2 Load Filebeat Index Template trong Elasticsearch
Kế hoạch là sử dụng Filebeat để chuyển logs đến Elasticsearch, nên nạp template Filebeat. Template sẽ cấu hình Elasticsearch để phân tích các dữ liệu Filebeat một cách thông minh.
1. Đầu tiên, download Filebeat vào folder home:
2. Sau đó, load template:
Output:
Bây giờ Server ELK đã có thể nhận data Filebeat, Bắt đầu thiết lập Filebeat lên các client server để thu thập dữ liệu.
3.3 Cài đặt Filebeat vào Client Servers
Lưu ý: nếu bạn muốn sử dụng server local thì cài đặt Filebeat này lên server local luôn nhé
1. Copy SSL Certificate
Copy SSL từ Server ELK sang Server Client bằng lệnh sau:
Trên Server Client, copy vào folder certs (/etc/pki/tls/certs):
2. Cài đặt Filebeat Package
Trên server Client chạy các lệnh sau:
3. Cấu hình Filebeat
Cấu hình ở 5 phần sau:
#1 Path:
#2
#3
#4
#5
Cuối cùng, start và enable Filebeat:
4. Test Filebeat
Thực hiện trên Server ELK, chạy lệnh sau:
3.4 Kết nối với Kibana
Chứng thực vào giao diện web của Kibana chọn Index pattern làm mặc định.
Sau đó trở về Discover để khám phá cách sử dụng filter logs các kiểu nhé!
Tham khảo từ nguồn Digitalocean, Stackoverflow, Viblo.asia
Bài viết gốc được đăng tải tại lcdung.top
Có thể bạn quan tâm:
Xem thêm Việc làm Developer hấp dẫn trên TopDev