• 进入"运维那点事"后,希望您第一件事就是阅读“关于”栏目,仔细阅读“关于Ctrl+c问题”,不希望误会!

ELK技术实战-安装Elk 5.x平台

ELK 彭东稳 7年前 (2017-05-18) 48276次浏览 已收录 0个评论

一、ELK简介

ELK技术实战–了解Elk各组件

ELK技术实战-部署Elk 2.x平台

ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。

其中,Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎,主要负责将日志索引并存储起来,方便业务方检索查询。

Logstash是一个日志收集、过滤、转发的中间件,主要负责将各条业务线的各类日志统一收集、过滤后,转发给 Elasticsearch 进行下一步处理。

Kibana是一个可视化工具,主要负责查询 Elasticsearch 的数据并以可视化的方式展现给业务方,比如各类饼图、直方图、区域图等。

所谓“大规模”,指的是 ELK Stack 组成的系统以一种水平扩展的方式支持每天收集、过滤、索引和存储 TB 规模以上的各类日志。

通常,各类文本形式的日志都在处理范围,包括但不限于 Web 访问日志,如 Nginx/Apache Access Log 。

基于对日志的实时分析,可以随时掌握服务的运行状况、统计 PV/UV、发现异常流量、分析用户行为、查看热门站内搜索关键词等。

版本跳跃

ELK在5.0版本以后(从2.x版本直接全部升级为5.x版本),Elastic公司将原来的ELK Stack称之为Elastic Stack,原因是引入了Beats套件。

Elastic Products全家福:

ELK技术实战-安装Elk 5.x平台

二、Elastic Stack平台搭建

对于ELK部署使用而言,下面是一个再常见不过的架构了,如下图:

ELK技术实战-安装Elk 5.x平台

上图是ELK Stack实际应用中典型的一种架构,其中:

filebeat

部署在具体的业务机器上,通过定时监控的方式获取增量的日志,并转发到Kafka消息系统暂存。

Kafka

以高吞吐量的特征,作为一个消息系统的角色,接收从filebeat收集转发过来的日志,通常以集群的形式提供服务。

logstash

然后,Logstash从Kafka中获取日志,并通过Input-Filter-Output三个阶段的处理,更改或过滤日志,最终输出我们感兴趣的数据。通常,根据Kafka集群上分区(Partition)的数量,1:1确定Logstash实例的数量,组成Consumer Group进行日志消费。

elasticsearch

最后,Elasticsearch存储并索引Logstash转发过来的数据,并通过Kibana查询和可视化展示,达到实时分析日志的目的。

Elasticsearch/Kibana还可以通过安装x-pack插件实现扩展功能,比如监控Elasticsearch集群状态、数据访问授权等。

我们一步步安装部署Elastic Stack系统的各个组件,然后以网站访问日志为例进行数据实时分析。

首先,到ELK 官网下载需要用到的Filebeat/Logstash/Elasticsearch/Kibana软件安装包。(推荐下载编译好的二进制可执行文件,直接解压执行就可以部署)

1. 系统环境

2. 软件下载

这里我下载是我所使用的软件版本(都是当前最新版),如果你想使用旧一点或者更新一点的版本可以自行下载。

3. 安装Nginx

这里我们部署ELK之前,需要一个产生日志的源,这里呢就选项Nginx服务器。

默认情况下,CentOS的官方资源是没有php-fpm和Nginx的,需要安装第三方资源库即可。(此步骤可省略)

安装启动nginx(关于nginx可以看本博客也有详细介绍)

nginx的访问日志格式定义,默认如下:

在/etc/nginx/conf.d/default.conf中添加如下一行,定义nginx日志使用的格式,以及日志文件的位置。

然后重新启动nginx

4. 安装JAVA

由于kafka/logstash/elastisearch的运行依赖于Java环境, 而Logstash 1.5以上版本依赖java版本不能低于java 1.7,因此推荐使用最新版本的Java。因为我们只需要Java的运行环境,所以可以只安装JRE,不过这里我依然使用JDK。由于我使用的是CentOS7系统,java版本是1.8,符合需求,我就使用yum直接安装了。

查看JAVA版本

如果java -version没有问题,就不需要设置环境变量。一般使用yum安装的jdk不需要设置JAVA_HOME环境变量。如果你是使用二进制版本安装的jdk,那么可能需要设置一下JAVA_HOME环境变量,具体的JAVA_HOME环境变量设置根据安装路径不同而不同。

5. 安装部署Kafka

确认已安装java运行环境,直接解压Kafka即可使用。

解压后,编辑配置文件:

kafka需要依赖zookeeper,所以需要先启动zookeeper。

启动Kafka Server:(指定 JMX_PORT 端口,可以通过 Kafka-manager 获取统计信息)

6. 安装部署Filebeat

把filebeat解压后就可以使用了,是不是很简单。

开启日志增量监控 ,添加filebeat输出源为kafka(修改filebeat.yml文件):

上述配置表示,Filebeat定期监控:/var/log/nginx/目录下所有以.log结尾的文件,并且将增量日志转发到Kafka集群。filebeat支持file、tcp、udp等输入方式,输出方式支持kafka,file,redis,elasticsearch、logstash等。

然后,后台启动Filebeat进程:

这时候,在浏览器上访问Nginx服务器并生成访问日志后,Filebeat 会及时的将日志转发到 Kafka 集群。

我们这个时候可以查一下kafka的队列信息,可以看到有elk-log的。

具体深入kafka需要单独学习了,如果嫌麻烦可以使用Redis比较简单。

7. 安装配置Logstash


把logstash解压后就可以使用了,是不是很简单。和所有的编程语言一样,我们以一个输出 “hello world” 的形式开始我们的logstash学习。

7.1 开始使用logstash

在终端中,像下面这样运行命令来启动 Logstash进程:

执行完命令,然后你会发现终端在等待你的输入。没问题,敲入hello world,然后回车,logstash会返回以下结果!

输出没有问题,就证明可以正式来使用logstash了。

解释一下命令含义

每位系统管理员都肯定写过很多类似这样的命令:cat randdata | awk ‘{print $2}’ | sort | uniq -c | tee sortdata。这个管道符|可以算是Linux世界最伟大的发明之一(另一个是“一切皆文件”)。Logstash就像管道符一样!你输入(就像命令行的 cat )数据,然后处理过滤(就像 awk 或者 uniq 之类)数据,最后输出(就像 tee )到其他地方。

Logstash会给事件添加一些额外信息。最重要的就是@timestamp,用来标记事件的发生时间。因为这个字段涉及到Logstash的内部流转,所以必须是一个job对象,如果你尝试自己给一个字符串字段重命名为@timestamp的话,Logstash会直接报错。所以,请使用filters/date插件来管理这个特殊字段。

此外,大多数时候,还可以见到另外几个:

host – 标记事件发生在哪里。

type – 标记事件的唯一类型。

tags – 标记事件的某方面属性,这是一个数组,一个事件可以有多个标签。

你可以随意给事件添加字段或者从事件里删除字段。事实上事件就是一个 Ruby对象,或者更简单的理解为就是一个哈希也行。

小贴士:每个logstash过滤插件,都会有四个方法叫add_tag, remove_tag, add_field和remove_field。它们在插件过滤匹配成功时生效。

Logstash的运行方式为主程序+配置文件。Collect,Enrich和Transport的行为在配置文件中定义。配置文件的格式有点像json。

下面来创建一个logstash_index.conf文件:

如上配置文件,input定义了从Redis中读取数据;而output我是输出到了本地的elasticsearch中存储。

Logstash传递的每条数据都带有元数据,如@version,@timestamp,host等等,有些可以修改,有些不允许修改。host记录的是当前的主机信息。Logstash可能不会去获取主机的信息或者获取的不准,这里建议替换成自己定义的主机标识,以保证最终的日志输出可以有完美的格式。

另外我这里添加了elasticsearch的用户名和密码,因为后面我使用了x-pack插件,默认用户名是elastic,密码是changeme。

启动Logstash:

8. 安装使用Elastcearch

同Logstash一样,解压完就可以使用了。但是注意使用elasticsearch不能使用root用户,所以这里我创建了一个elk用户,把elasticsearch目录及子目录的属主和属组改为elk用户了。

修改elasticsearch配置文件,添加如下几行(注意开启network.host):

指定文档和日志的存储路径以及监听的地址和端口。注意,应当保证有足够的磁盘空间来存储文档,否则ES将拒绝写入新数据。

创建elasticsearch需要的数据目录和日志目录。

启动elasticsearch

如果启动Elasticsearch出现以下错误提示:

错误1:max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

解决:打开/etc/security/limits.conf文件,添加以下两行代码并保存:

错误2:memory locking requested for elasticsearch process but memory is not locked

解决:修改elasticsearch.yml文件

错误3:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决:修改内核配置

错误4:os::commit_memory(0x00000001006cd000, 77824, 0) failed; error=’Cannot allocate memory’ (errno=12)

解决:提供内存不足,增大主机内存或减小elasticsearch的内存大小

JVM默认配置参数:

然后使用curl访问http://localhost:9200/?pretty

如果可以看到类似上面的返回,则说明ES单机运行没有问题了。

安装x-pack插件

x-pack是elasticsearch的一个扩展包,将安全,警告,监视,图形和报告功能捆绑在一个易于安装的软件包中,虽然x-pack被设计为一个无缝的工作,但是你可以轻松的启用或者关闭一些功能。

ES如果是一个集群,需要在每一个节点上安装(包括kibana)。

用户和权限管理

x-pack安装之后有一个超级用户elastic,其默认的密码是changeme,拥有对所有索引和数据的控制权,可以使用该用户创建和修改其他用户,当然这里可以通过kibana的web界面进行用户和用户组的管理。

ELK技术实战-安装Elk 5.x平台

X-pack的elk之间的数据传递保护

安装完x-pack之后,我们就可以用我们所创建的用户来保护elk之间的数据传递。

1:kibana<——>elasticsearch

在kibana.yml文件中配置:

2:logstash<——>elasticsearch

这里如果不进行相关配置的话,elk之间的数据传递就会出现问题。

安装Cerebro

Cerebro时一个第三方的Elasticsearch集群管理软件,可以方便地查看集群状态:

下载地址(下载二进制版):https://github.com/lmenezes/cerebro

启动进程:

可以在浏览器查看,需要输入elasticsearch的用户和密码(如果安装了x-pack)。

ELK技术实战-安装Elk 5.x平台

可以在管理后台修改模板,优化索引配置,例如:

ELK技术实战-安装Elk 5.x平台

安装head插件

由于elasticsearch 5.0版本变化较大,目前elasticsearch 5.0暂时不支持直接安装head插件,但是head作者提供了另一种安装方法。推荐使用docker直接安装elasticsearch-head。

Docker需要自行安装即可,另外由于elasticsearch安装了x-pack,所以elasticsearch有密码。head连接elasticsearch需要账号密码。

8. 安装kibana

Kibana安装跟logstash、elasticsearch一样不需要安装,解压就能用。

安装x-pack

调整配置文件,主要配置一下下面三个参数:

启动Kibana

然后打开浏览器输入IP加端口5601即可访问,界面如下(需要输入用户密码了):

ELK技术实战-安装Elk 5.x平台

默认账号:elastic

默认密码:changeme

x-pack安装之后有一个超级用户elastic ,其默认的密码是changeme,拥有对所有索引和数据的控制权,可以使用该用户创建和修改其他用户。

初次访问Kibana的时候,需要配置一个默认的ES索引,一般填写.monitoring*即可,这是因为在上述安装x-pack后,会自动开始监控Elasticsearch集群的状态,并将监控结果以.monitoring*命名索引文件。

ELK技术实战-安装Elk 5.x平台

ELK技术实战-安装Elk 5.x平台

添加logstash索引(Management->index Patterns->+)

ELK技术实战-安装Elk 5.x平台

看日志已经出来了。

ELK技术实战-安装Elk 5.x平台

ELK的搭建已经基本完成,接下来就是搭建elasticsearch集群,以及使用kibana了。

X-PACK使用

x-pack的监控功能

X-pack监控组件使您能够通过Kibana轻松监控Elasticsearch,您可以实时查看集群运行状况和性能,以及分析过去的集群,索引和节点指标。 此外,您可以监控Kibana本身的性能。在群集上安装X-Pack时,监视代理会在每个节点上运行,以从Elasticsearch收集索引指标。 通过在Kibana中安装X-Pack,您可以通过一组专用仪表板查看监视数据。

ELK技术实战-安装Elk 5.x平台

ELK技术实战-安装Elk 5.x平台

x-pack的Graph

https://www.elastic.co/guide/en/x-pack/current/graph-getting-started.html

三、Redis当队列配置

ELK技术实战-安装Elk 5.x平台

如果嫌使用kafka当队列太麻烦,可以把Kafka换成Redis即可,配置如下:

filebeat配置

logstash配置

查看Redis队列信息

Redis要自行安装了。

四、Nginx日志输出为JSON格式

把Nginx日志的格式输出成JSON格式展示在Kibana面板,生产环境中基本都是这么使用。

配置Nginx

主要修改nginx的访问日志格式,这里定义成json格式,以便后面logstash更好的处理,建议生产环境也这样使用。在主配置/etc/nginx/nginx.conf文件中添加如下内容(注释其他日志格式):

在/etc/nginx/conf.d/default.conf中添加如下一行,定义nginx日志使用的格式,以及日志文件的位置。

然后重新启动nginx

配置Logstash

修改Indexer角色的配置文件:logstash_indexer.conf

删除elasticsearch老的数据

然后重启logstash_indexer.conf和elastisearch即可,继续刷新Nginx日志。

打开Kibana,应该会让你重新创建索引,如果没有问题会出现JSON格式的日志。

<参考>

http://www.jianshu.com/p/f3658d267b5d


如果您觉得本站对你有帮助,那么可以支付宝扫码捐助以帮助本站更好地发展,在此谢过。
喜欢 (37)
[资助本站您就扫码 谢谢]
分享 (0)

您必须 登录 才能发表评论!