ELK-filbeate收集tomcat日志_elk收集多台tomcat日志,从入门到深入
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新软件测试全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。





既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上软件测试知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注软件测试)

正文
splooer程序 --> 转发 es | logstash | kafka | redis

filebeat.inputs:
- type: stdin #标准输入
enabled: true #启用
output.console: #标准输出
pretty: true
enable: true
将文件最新发生变化的内容,存入ES
[root@web01 ~]# cat /etc/filebeat/file.yml
filebeat.inputs: - type: log
paths: /var/log/nginx/access.log
enabled: true
output.elasticsearch:
hosts:[“10.0.0.161:9200”,“10.0.0.162:9200”,“10.0.0.163:9200”]
收集系统日志
特别分散–> syslog --> file.txt
1.减少无用的数据
2.调整索引名称
3.测试调整模板,设定分片
[root@web01 filebeat]# cat filebeat_system.yml
filebeat.inputs:
- type: log
enabled: true
paths: - /var/log/oldxu.log
include_lines: [‘ERR’,'WARN’,‘sshd’] #只看指定的日志
output.elasticsearch:
hosts: [“10.0.0.161:9200”,“10.0.0.162:9200”,“10.0.0.163:9200”]
index: “system-%{[agent.version]}-%{+yyyy.MM.dd}”
setup.ilm.enabled: false
setup.template.name: “system”
setup.template.pattern: “system-*”
setup.template.settings: #定义索引分片数和副本
index.number_of_shards: 3
index.number_of_replicas: 1
1.修改system模板 —> 添加 shards 分片数数量,replicas的数量
2.删除模板关联的索引
3.删除filebeat自行指定的分片数和副本数
4.重启filebeat
5.产生新的日志
收集Nginx日志
配置filebeat
[root@web01 filebeat]# cat filebeat_nginx.yml
filebeat.inputs:
- type: log
enabled: true
paths: - /var/log/nginx/access.log
json.keys_under_root: true #默认Flase,还会将json解析的日志存储至messages字段
json.overwrite_keys: true #覆盖默认的key,使用自定义json格式的key
output.elasticsearch:
hosts: [“10.0.0.161:9200”,“10.0.0.162:9200”,“10.0.0.163:9200”]
index: “nginx-%{[agent.version]}-%{+yyyy.MM.dd}”
setup.ilm.enabled: false
setup.template.name: nginx #索引关联的模板名称
setup.template.pattern: nginx-*
收集nginx访问日志和错误日志
[root@web01 filebeat]# cat filebeat_access.yml
filebeat.inputs:
-
type: log
enabled: true
paths: -
/var/log/nginx/access.log
json.keys_under_root: true #默认Flase,还会将json解析的日志存储至messages字段
json.overwrite_keys: true #覆盖默认的key,使用自定义json格式的key
tags: [“access”] -
type: log
enabled: true
paths: -
/var/log/nginx/error.log
tags: [“error”]
output.elasticsearch:
hosts: [“10.0.0.161:9200”,“10.0.0.162:9200”,“10.0.0.163:9200”]
indices:
-
index: “nginx-access-%{[agent.version]}-%{+yyyy.MM.dd}”
when.contains:
tags: “access” -
index: “nginx-error-%{[agent.version]}-%{+yyyy.MM.dd}”
when.contains:
tags: “error”
setup.ilm.enabled: false
setup.template.name: nginx #索引关联的模板名称
setup.template.pattern: nginx-*
收集nginx多个虚拟主机的日志

1.虚拟主机
[root@web01 conf.d]# cat elk.oldxu.com.conf
server {
listen 80;
server_name elk.oldxu.com;
root /code/elk;
access_log /var/log/nginx/elk.oldxu.com.log json;
location / {
index index.html;
}
}
[root@web01 conf.d]# cat bk.oldxu.com.conf
server {
listen 80;
server_name bk.oldxu.com;
root /code/bk;
access_log /var/log/nginx/bk.oldxu.com.log json;
location / {
index index.html;
}
}
[root@web01 conf.d]# cat bs.oldxu.com.conf
server {
listen 80;
server_name bs.oldxu.com;
root /code/bs;
access_log /var/log/nginx/bs.oldxu.com.log json;
location / {
index index.html;
}
}
2.测试,模拟产生日志
[root@web01 conf.d]# curl -H Host:elk.oldxu.com http://10.0.0.7
elk.oldux.com
[root@web01 conf.d]# curl -H Host:bs.oldxu.com http://10.0.0.7
bs.oldux.com
[root@web01 conf.d]# curl -H Host:bk.oldxu.com http://10.0.0.7
bk.oldux.com
3.配置filebeat
[root@web01 filebeat]# cat filebeat-vhosts.yml
filebeat.inputs:
- type: log
enabled: true
paths: - /var/log/nginx/elk.oldxu.com.log
json.keys_under_root: true
json.overwrite_keys: true
tags: [“nginx-elk-host”]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)
[外链图片转存中…(img-UbAcBvj4-1713125298475)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
更多推荐

所有评论(0)