ELK搭建社工库_elk需要多大空间
### 前置准备
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.7.0-x86_64.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.7.0-x86_64.rpm
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.7.0.rpm
wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.rpm
systemctl stop firewalld.service
### 开始安装
### Elasticsearch
#### 安装Elasticsearch
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
rpm --install elasticsearch-7.7.0-x86_64.rpm
#### 设置开机自启
systemctl daemon-reload
systemctl enable elasticsearch
#### 启动Elasticsearch
systemctl start elasticsearch
#### 修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
#集群名称
cluster.name: test-el
#节点名称
node.name: node-1
#监听IP
network.host: 0.0.0.0
#初始化设置
cluster.initial_master_nodes: [“node-1”, “node-2”]
#### 重启Elasticsearch
systemctl restart elasticsearch
### Kibana
#### 安装Kibana
rpm -ivh kibana-7.7.0-x86_64.rpm
#### 设置开机自启
systemctl daemon-reload
systemctl enable kibana
#### 修改配置文件
vim /etc/kibana/kibana.yml
#服务端口
server.port: 5601
#监听地址
server.host: “0.0.0.0”
#elasticsearch 的地址+端口
elasticsearch.hosts: [“http://192.168.110.135:9200”]
#语言
i18n.locale: “zh-CN”
#### 启动Kibana
systemctl start kibana
### Logstash
#### 安装java
rpm -ivh jdk-8u201-linux-x64.rpm
#### 安装Logstash
rpm -ivh logstash-7.7.0.rpm
#### 设置开机自启
systemctl daemon-reload
systemctl enable logstash
#### 启动Logstash
systemctl start logstash
### 导入社工库
#### 创建配置文件
vim /usr/share/logstash/bin/1.conf
input {
file {
path => [“/root/data.csv”]
# 设置多长时间检测文件是否修改(单位：秒)
stat_interval => 1
# 监听文件的起始位置，默认是end
start_position => beginning
# 监听文件读取信息记录的位置(名称随便填一个)
sincedb_path => “/root/data_db.txt”
# 设置多长时间会写入读取的位置信息(单位：秒)
sincedb_write_interval => 5
codec => plain{
charset=>“GBK”
}
}
}
filter {
#去除每行记录中需要过滤的\N，替换为空字符串
mutate{
gsub => [ “message”, “\r”, “” ]
}
csv {
# 每行记录的字段之间以|分隔
separator => “,”
columns => [“name”,“phone”,“sfz”]
# 过滤掉默认加上的字段
remove_field => [“host”, “tags”, “path”, “message”,“@timestamp”,“@version”]
}
}
output {
elasticsearch {
hosts => [“127.0.0.1:9200”]
index => “social”
}
#建议吧stdout这段删除，会影响到导入数据，这个是显示导入数据过程的
stdout {
codec => rubydebug
}
}
#### 生成数据
/usr/share/logstash/bin/logstash -f 1.conf
### 社工库部署
上线！
### Tips
#### 修改elasticsearch文件存储路径
##### 停止需要迁移的节点，禁用分片（IP换成你自己的）
curl -XPUT ‘http://127.0.0.1:9200/_cluster/settings?pretty’ -H ‘Content-Type:application/json’ -d ‘{“transient”:{“cluster.routing.allocation.enable”: “none”}}’
##### 查看分片是否禁用 （IP换成你自己的）：
**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**
**深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**
**因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点，真正体系化！**
**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注网络安全获取）**
## 写在最后
**在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。**
需要完整版PDF学习资源私我
**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。**
需要完整版PDF学习资源私我
**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
[外链图片转存中...(img-Qt4QIsNs-1712831810932)]
更多推荐
23
0- 0
已为社区贡献5条内容
所有评论(0)