1、 概述

性能测试为了分析日志,统计性能指标需要安装ELK作为性能分析。

filebeat :轻量级日志采集器;

logstash:收集日志、解析过滤日志(logstash 也可以收集日志但是其使用jvm资源消耗比较大)

elasticsearch:存贮数据

kibana:开源的分析与可视化平(kibana搜索、查看、分析存放在Elasticsearch中的数据)

为了学习 filebeat、logstash、elasticsearch、kibana 部署到了一台服务器。(租了一台腾讯云的轻量级服务器)

2、部署

2.1 java环境

jdk8下载地址:jdk8下载地址:jdk8下载地址:Java Archive Downloads - Java SE 8https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.htmljdk8:

也可以用Oracle下载:

Oracle账户:342155538@qq.com

密码:It789123!

网址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  安装jdk:

(1)解压:tar zxvf jdk-8u301-linux-aarch64.tar.gz

(2)创建文件夹:mkdir /usr/local/java

          把我们解压后的JDK版本复制到java文件夹cp jdk1.8.0_301 /usr/local/java -r

(3)当前环境添加JAVA的bin目录

[root@localhost java]# vim /etc/profile  在文档下方添加下面的语句

#set java enviroment

JAVA_HOME=/usr/local/java/jdk1.8.0_301

JRE_HOME=/usr/local/java/jdk1.8.0_301/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

(4)设置配置文件立即生效

[root@localhost java]# source /etc/profile

(5)Java安装验证

java -version

如果报错:又能是安装的版本不对jdk下载的不对,或者是64位的系统32的jdk 不符合之类的。

2.2安装elasticsearch

下载地址: Elastic 产品 | Elastichttps://www.elastic.co/cn/downloads/

(1)解压:tar zxvf 压缩包名

(2)修改配置:/root/tool/elasticsearch-7.15.0/config elasticsearch.yml 

        [chen@VM-4-10-centos config]$ grep -v ^# elasticsearch.yml  (显示非注释内容)
        network.host: 127.0.0.1
        http.port: 9200

        node.name: node-1
        cluster.initial_master_nodes: ["node-1"]
        xpack.security.enabled: false

 (3)运行  ./bin/elasticsearch     

        (后台运行:./bin/elasticsearch -d  可以查看运行的日志logs/elasticsearch.log

                默认情况下root 用户不能启动es 只能新建用户 并执行)

(4)问题:如果存在端口占用情况,或者启动了es 后面修改了配置需要重新启动 需要杀死进程

              netstat -anp | grep 端口    查出进程号 kill -9 pid

               ps -ef|grep  elasticsearch      kill -9 pid

        如果没有出错可以忽略:    

问题一: [1] bootstrap checks failed

[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

解决:

1.找到elasticsearch.yml文件

find / -name elasticsearch.yml

2.往yml文件中添加下面的配置

node.name: node-1

cluster.initial_master_nodes: [“node-1”]

问题二

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决方案:

1.切换到root用户执行命令:sysctl -w vm.max_map_count=262144

2.查看结果:sysctl -a|grep vm.max_map_count

显示:vm.max_map_count = 262144

上述方法修改之后,如果重启虚拟机将失效,解决办法:

在 /etc/sysctl.conf文件最后添加一行 vm.max_map_count=262144  即可永久修改

2.3安装 kibana

(1)解压:tar zxvf 压缩包名

(2)修改配置:kibana-7.15.0-linux-x86_64/config/kibana.yml

(3)启动:前台启动:./bin/kibana 前台停止Ctrl+C

后台启动:nohup ./kibana & 或者nohup ./kibana >/dev/null &

- 查看进程号 jps 或者 ps -ef|grep kibana  或者 ps -ef|grep 5601

- 杀死进程 kill -9 进程号

(4)汉化: 配置文件 kibana.yml

#i18n.locale: "en" 默认英文

i18n.locale: "zh-CN"  改为中文

(5)问题:如果输入地址不可以访问:http://101.34.213.63:5601/

确保端口是否开放 如果没有则需要放开,修改防火墙:

从上到下的命令是防火墙的 查,加,查,重启,查

 2.4.安装logstash

(1)解压

(2)修改配置/logstash-7.15.0/config/logstash-beat.conf  这个是自己复制的一个文件

第一使用 也可以用标准输入和标注输出验证一下logstash 是否好用

(3)启动logstash:bin目录输入命令      ./logstash -f ../config/logstash-beat.conf

后台启动logstash: ./bin/logstash -f ./config/logstash-beat.conf > logstash.log &

 2.5、安装filebeat

(1)解压

(2)修改配置 filebeat-7.15.0-linux-x86_64/filebeat.yml

 

 (3)前台启动./filebeat -e -c filebeat.yml

后台启动filebeatnohup ./filebeat -e -c filebeat.yml > filebeat.log &

3、kibana验证

分别启动,es,kibana,logstash,filebeat

然后输入kibana的网址,并在stack Management-kibana-索引模式  新建索引

 

 

 在out.log中新增一条数据 

 kibana 中会增加一条数据 

以上只适合初学者的学习研究 

        

更多推荐