1、ELK部署(filebeat、logstash、elasticsearch、kibana)
1、 概述
性能测试为了分析日志,统计性能指标需要安装ELK作为性能分析。
filebeat :轻量级日志采集器;
logstash:收集日志、解析过滤日志(logstash 也可以收集日志但是其使用jvm资源消耗比较大)
elasticsearch:存贮数据
kibana:开源的分析与可视化平(kibana搜索、查看、分析存放在Elasticsearch中的数据)
为了学习 filebeat、logstash、elasticsearch、kibana 部署到了一台服务器。(租了一台腾讯云的轻量级服务器)
2、部署
2.1 java环境
jdk8下载地址:jdk8下载地址:jdk8下载地址:Java Archive Downloads - Java SE 8
https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.htmljdk8:
也可以用Oracle下载:
Oracle账户:342155538@qq.com
密码:It789123!
网址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
安装jdk:
(1)解压:tar zxvf jdk-8u301-linux-aarch64.tar.gz
(2)创建文件夹:mkdir /usr/local/java
把我们解压后的JDK版本复制到java文件夹cp jdk1.8.0_301 /usr/local/java -r
(3)当前环境添加JAVA的bin目录
[root@localhost java]# vim /etc/profile 在文档下方添加下面的语句
#set java enviroment
JAVA_HOME=/usr/local/java/jdk1.8.0_301
JRE_HOME=/usr/local/java/jdk1.8.0_301/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
(4)设置配置文件立即生效
[root@localhost java]# source /etc/profile
(5)Java安装验证
java -version
如果报错:又能是安装的版本不对jdk下载的不对,或者是64位的系统32的jdk 不符合之类的。
2.2安装elasticsearch
下载地址: Elastic 产品 | Elastic
https://www.elastic.co/cn/downloads/
(1)解压:tar zxvf 压缩包名
(2)修改配置:/root/tool/elasticsearch-7.15.0/config elasticsearch.yml
[chen@VM-4-10-centos config]$ grep -v ^# elasticsearch.yml (显示非注释内容)
network.host: 127.0.0.1
http.port: 9200
node.name: node-1
cluster.initial_master_nodes: ["node-1"]
xpack.security.enabled: false
(3)运行 ./bin/elasticsearch
(后台运行:./bin/elasticsearch -d 可以查看运行的日志logs/elasticsearch.log
默认情况下root 用户不能启动es 只能新建用户 并执行)
(4)问题:如果存在端口占用情况,或者启动了es 后面修改了配置需要重新启动 需要杀死进程
netstat -anp | grep 端口 查出进程号 kill -9 pid
ps -ef|grep elasticsearch kill -9 pid
如果没有出错可以忽略:
问题一: [1] bootstrap checks failed
[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
解决:
1.找到elasticsearch.yml文件
find / -name elasticsearch.yml
2.往yml文件中添加下面的配置
node.name: node-1
cluster.initial_master_nodes: [“node-1”]
问题二
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决方案:
1.切换到root用户执行命令:sysctl -w vm.max_map_count=262144
2.查看结果:sysctl -a|grep vm.max_map_count
显示:vm.max_map_count = 262144
上述方法修改之后,如果重启虚拟机将失效,解决办法:
在 /etc/sysctl.conf文件最后添加一行 vm.max_map_count=262144 即可永久修改
2.3安装 kibana
(1)解压:tar zxvf 压缩包名
(2)修改配置:kibana-7.15.0-linux-x86_64/config/kibana.yml

(3)启动:前台启动:./bin/kibana 前台停止Ctrl+C
后台启动:nohup ./kibana & 或者nohup ./kibana >/dev/null &
- 查看进程号 jps 或者 ps -ef|grep kibana 或者 ps -ef|grep 5601
- 杀死进程 kill -9 进程号
(4)汉化: 配置文件 kibana.yml
#i18n.locale: "en" 默认英文
i18n.locale: "zh-CN" 改为中文
(5)问题:如果输入地址不可以访问:http://101.34.213.63:5601/
确保端口是否开放 如果没有则需要放开,修改防火墙:
从上到下的命令是防火墙的 查,加,查,重启,查

2.4.安装logstash
(1)解压
(2)修改配置/logstash-7.15.0/config/logstash-beat.conf 这个是自己复制的一个文件

第一使用 也可以用标准输入和标注输出验证一下logstash 是否好用

(3)启动logstash:bin目录输入命令 ./logstash -f ../config/logstash-beat.conf
后台启动logstash: ./bin/logstash -f ./config/logstash-beat.conf > logstash.log &
2.5、安装filebeat
(1)解压
(2)修改配置 filebeat-7.15.0-linux-x86_64/filebeat.yml


(3)前台启动./filebeat -e -c filebeat.yml
后台启动filebeat:nohup ./filebeat -e -c filebeat.yml > filebeat.log &
3、kibana验证
分别启动,es,kibana,logstash,filebeat
然后输入kibana的网址,并在stack Management-kibana-索引模式 新建索引



在out.log中新增一条数据
kibana 中会增加一条数据 
以上只适合初学者的学习研究
更多推荐


所有评论(0)