使用ELK结合LogBack搭建日志中心

一. 安装elasticsearch-7.5.1

elasticsearch官网: https://www.elastic.co/cn/downloads/elasticsearch

1. 下载elasticsearch

wget  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz

2. 解压elasticsearch

tar -zxvf elasticsearch-7.5.1-linux-x86_64.tar.gz 

3. 查询主机名

hostname

4. 修改config配置在elasticsearch-7.5.1/config目录下

vim ./elasticsearch-7.5.1/config/elasticsearch.yml
# 在这个文件添加如下内容
cluster.initial_master_nodes: ["主机名"]
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"

5. 修改centos7 本机相关文件描述

vi /etc/sysctl.conf
# 添加或修改如下内容
vm.max_map_count=262144
# 查询是否生效
sysctl -p

6. 修改limits.conf 相关配置

vim /etc/security/limits.conf 
# 添加如下内容
*                soft    nofile          65536
*                hard    nofile          65536
# 查询是否生效
ulimit -Hn
ulimit -Sn

7. es不允许root⽤户启动，需要添加新⽤户身份

groupadd elk
useradd elk -g elk -p 12345678
#更改elasticsearch⽂件夹及内部⽂件的所属⽤户及组为elk:elk
chown -R elk:elk elasticsearch-7.5.1/elasticsearch
#切换到elk⽤户再启动
su elk
#守护进程运⾏
./elasticsearch-7.5.1/bin/elasticsearch -d

8 .启动报错,修改config/jvm.options

将-XX:+UseConcMarkSweepGC 改为 -XX:+UseG1GC
# 修改完后重新启动

9. 验证是否正常运行

ps aux | grep elasticsearch
netstat -ntlp  | grep 9200

**注意：**如果无法访问centos7 中的elasticsearch，请检查防火墙。

二. logstash的安装

0. 简介
   Logstash诞⽣于2009年8有2⽇，其作者是世界著名的虚拟主机托管商DreamHost的运维⼯程师Jordan
   Sissel。在2013年，被ElasticSearch公司收购，作为⽇志收集⼯具，成为elk的⼀员。
   logstash官网地址 : https://www.elastic.co/cn/downloads/logstash
1. 下载

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.5.1.tar.gz

2. 解压

tar -zxvf logstash-7.5.1.tar.gz 

3. 创建logstash启动的配置文件

# 在conf⽬录下新建⼀个config.conf⽂件
cd ./logstash-7.5.1/
vim ./config/config.conf
input {
 file {
 path => "/usr/local/logs/*.log"
 start_position => beginning
 add_field => {"from" => "localfile"}
 }
}
filter {
}
output {
 elasticsearch {
 hosts => "localhost:9200"
 index => "testlog"
 }
 stdout {
 }
}

4. 启动logstash

nohup ./bin/logstash -f ./config/config.conf --config.reload.automatic >> log.log 2>&1 &

三.kibana的安装

0. kibana简介
   Kibana是⼀个开源的分析与可视化平台，主要⽤于和Elasticsearch⼀起使⽤。使⽤kibana进⾏简单的配置，就可以搜索、查看存放在Elasticsearch中的数据。Kibana具有各种不同的图表、表格、地图等，借助这些直观的视图，可以达到⾼级的数据分析与可视化的⽬的。
   kibana官网地址 : https://www.elastic.co/cn/downloads/kibana
1. 下载

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gz

2. 解压

tar -zxvf kibana-7.5.1-linux-x86_64.tar.gz

4. 修改配置

cd kibana-7.5.1-linux-x86_64
vim config/kibana.yml
# 添加如下内容
server.port: 9102
server.host: "0.0.0.0"
elasticsearch.hosts: "http://localhost:9200"
kibana.index: ".kibana"

5. 启动

nohup ./bin/kibana --allow-root >> log.log 2>&1 &

完成安装