Filebeat是一个收集多个领域网站的日志并存储在不同的es索引库中的过程。-主机频道

1.为什么要为不同的应用系统创建不同的索引？在生产环境中，一台机器必须运行多个域名应用程序，并且web应用程序是集群的。如果filebeat收集的日志都是分散存储的，在es上建立的索引也是分散的，这就不利于日志的聚合和汇总。因此，需要将同一应用的不同机器的所有日志收集起来存储在一个索引数据库中，并根据各种条件在kibana中进行匹配。

2.构建web集群环境

2.1.环境准备IP服务应用192 . 168 . 81 . 210 ngix 01 BBS，blog，www 192 . 168 . 81 . 220 ngix 02 BBS，blog，www

2.2.web集群部署的所有节点配置如下

1.安装nginxyum -y安装nginx2。配置站点配置文件catwww.conf server {服务器名www.jiangxl.com；听80；位置~/{ root/web/www；索引index.html；} } cat BBS . conf server { server _ name bbs.jiangxl.com；听80；位置~/{ root/web/BBS；索引index.html；} } cat blog . conf server { server _ name blog.jiangxl.com；听80；位置~/{ root/web/blog；索引index.html；}}3.创建站点路径mkdir/web/{www，BBS，blog } -pchown -r nginx.nginx/web/echo " www index " & gt；/web/www/index . html echo " BBS index " & amp；gt；/web/BBS/index . html博客索引& ampgt；/web /web/blog/index.html4重载nginx nginx -t nginx:configuration file/etc/nginx/nginx . conf语法正常nginx:configuration file/etc/nginx/ngx . conf测试成功systemctl重新加载nginx5 .访问网站curl www.jiangxl.com bbs.jiangxl.com blog.jiangxl.com www index BBS index blog index

2.3.配置应用程序支持json格式的日志输出。所有节点都以这种方式配置。

cat www . conf server { server _ name www.jiangxl.com；听80；位置~/{ root/web/www；索引index.html；} access _ log/var/log/nginx/www _ access . log main；} cat BBS . conf server { server _ name bbs.jiangxl.com；听80；位置~/{ root/web/BBS；索引index.html；} access _ log/var/log/nginx/BBS _ access . log main；} cat blog . conf server { server _ name blog.jiangxl.com；听80；位置~/{ root/web/blog；索引index.html；} access _ log/var/log/nginx/blog _ access . log main；}

3.配置filebeat，实现不同日志对应不同索引。

3.1.实现思路* *日志索引思路:* *如何才能让filebeat根据不同的日志路径创建不同的索引？其实我们可以想想ls -l命令，可以用来获取文件的详细信息，但是也可以用ll来获取。为什么？因为ll只是一个别名，所以我们也可以用它作为标签。ll对应于ls -l命令

然后日志也一样。我们可以把www_access.log当做一个标志。当标记内容为www_access.log时，我们会将他的日志存储在www_access_xxx的索引库中。

具体配置:如果一台主机上有多个不同应用的日志需要收集，我们可以定义多个类型，最后根据定义的标记进行索引匹配。

* *日志聚合思路:* *我们也可以聚合收集所有机器的tomcat和nginx日志，而不是按照应用来区分，而是把所有的tomcat日志收集在一起，方便开发者在kibana上查询日志和过滤。

如下图所示，tomcat是聚合集合。只需添加一个过滤器，检查哪个机器的日志，并写入主机名。

Filebeat标记匹配语法:

Filebeat.inputs:- type: log //启用了类型的日志:true//是否写在es路径中://log path -/var/log/nginx/www _ access . log json . keys _ under _ root:true//打开JSON格式解析json.overwrite _ keys

3.3.检查es上创建的索引数据库。由于nginx集群的相同应用都是写在同一个索引数据库中，所以我们要观察每增加一个集群所产生的数据变化。

nginx01刚配置时的样子

Www: 12个博客:11个BBS: 12个博客