Ở bài trước bản thân đã reviews về filebeat một agent được sử dụng phổ cập cho việc tích lũy các phiên bản tin nhật ký từ những máy trạm, lúc này mình sẽ trình làng về Logstash, biện pháp sẽ trực mừng đón các bản tin được đẩy về từ filebeat sau đó xử lý cùng đẩy vào Elasticsearch.
1. Logstash là gì?
Logstash là một trong công vắt mã mối cung cấp mở thu thập dữ liệu có tác dụng liên hợp theo thời hạn thực. Logstash hoàn toàn có thể hợp nhất tài liệu từ các nguồn khác biệt và chuẩn hóa dữ liệu ở đoạn xử lý tiếp theo. Vứt bỏ và đồng điệu tất cả dữ liệu đó trong một vài use case cần phân tích và trình bày trên biểu đồ.
Logstash bao gồm 3 thành phần thiết yếu cũng đó là 3 cách xử lý chính của logstash đó là:
INPUT: Nó rất có thể lấy nguồn vào từ TCP/UDP, những file, trường đoản cú syslog, Microsoft Windows EventLogs, STDIN và từ không ít nguồn khác. Bạn có thể lấy log từ những ứng dụng trên môi trường của bọn họ rồi đẩy bọn chúng tới Logstash. FILTER: Khi mọi log này tới vps Logstash, có một số lượng lớn những bộ lọc mà cho phép ta hoàn toàn có thể chỉnh sửa và chuyển đổi những sự kiện này. Ta hoàn toàn có thể lấy ra những thông tin mà ta đề nghị từ những event log. OUTPUT: khi xuất tài liệu ra, Logstash cung ứng rất nhiều những đích tới bao hàm TCP/UDP, email, các file, HTTP, Nagios và con số lớn các dịch vụ mạng. Ta có thể tích vừa lòng Logstash với những công cụ tính toán số liệu (metric), các công nắm cảnh báo, những dạng biểu đồ, các công nghệ lưu trữ tốt ta rất có thể xây dựng một pháp luật trong môi trường thao tác của bọn chúng ta.
2. Logstash vận động như cố nào.
Đường ống xử lý sự khiếu nại của Logstash có cha giai đoạn: input đầu vào → filter → output. Các đầu vào tạo thành các sự kiện, cỗ lọc sửa đổi chúng và các đầu ra đang chuyển chúng tới khu vực khác. Đầu vào với đầu ra cung cấp codec được cho phép bạn mã hóa hoặc lời giải dữ liệu khi nó vào hoặc ra khỏi đường dẫn mà không hẳn sử dụng bộ lọc riêng rẽ biệt.
chúng ta sử dụng Input để đưa dữ liệu vào Logstash. Một trong những đầu vào hay được thực hiện là : file : đọc từ một tệp bên trên hệ thống, y hệt như lệnh UNIX tail -0F Syslog : nghe bên trên cổng 514 khét tiếng cho các thông báo nhật ký khối hệ thống và đối chiếu cú pháp theo định hình RFC3164. Redis : gọi từ sever redis, thực hiện cả kênh redis và list redis. Redis thường được sử dụng như một “broker” trong một quy mô Logstash tập trung, có hàng đợi những sự kiện Logstash từ những “shippers” từ xa. Beats : xử lý những sự kiện vị beats gửi.
Filter là thiết bị cách xử lý trung gian trong đường truyền Logstash. Chúng ta cũng có thể kết hợp những bộ lọc với các điều khiếu nại để triển khai một hành vi trên một sự kiện nếu như nó thỏa mãn nhu cầu các tiêu chuẩn nhất định. Một trong những bộ lọc hữu ích bao gồm : Grok : so với cú pháp và cấu tạo văn bạn dạng tùy ý - sửa đổi định dạng log từ client gửi về. Grok hiện tại là cách rất tốt trong Logstash nhằm phân tích cú pháp tài liệu nhật cam kết không được cấu trúc thành một thiết bị có cấu tạo và có thể truy vấn được. Cùng với 120 mẫu mã được tích vừa lòng sẵn vào Logstash, nhiều khả năng họ sẽ search thấy một mẫu đáp ứng nhu mong của mình. Mutate : tiến hành các phép biến đổi chung trên những trường sự kiện. Bạn cũng có thể đổi tên, xóa, sửa chữa thay thế và sửa đổi các trường vào sự khiếu nại của mình. Drop : xóa trọn vẹn sự kiện, ví dụ: debug events. Clone : tạo bạn dạng sao của sự kiện, rất có thể thêm hoặc xóa các trường. Geoip : thêm tin tức về vị trí địa lý của địa chỉ IP (cũng hiển thị biểu đồ hoàn hảo và tuyệt vời nhất trong Kibana).
những đầu ra là pha cuối cùng của đường ống Logstash. Một sự kiện có thể đi qua không ít đầu ra, tuy vậy một khi tất cả xử lý cổng đầu ra đã hoàn tất, sự kiện đang hoàn tất việc xúc tiến của nó. Một số trong những đầu ra thường xuyên được sử dụng bao gồm : Elasticsearch : gửi tài liệu sự kiện tới Elasticsearch. Nếu chúng ta đang đầu tư để lưu tài liệu trong một format hiệu quả, thuận tiện, và thuận tiện truy vấn … Elasticsearch là tuyến đường để đi. Tệp tin : ghi dữ liệu sự khiếu nại vào tệp tin trên bộ nhớ. Graphite : gửi dữ liệu sự kiện tới graphite, một nguyên tắc nguồn mở phổ biến để tàng trữ và vẽ vật thị số liệu. Statsd : gửi dữ liệu sự kiện mang lại statsd, một dịch vụ lắng nghe với thống kê.
