• 进入"运维那点事"后,希望您第一件事就是阅读“关于”栏目,仔细阅读“关于Ctrl+c问题”,不希望误会!

标签:ELK实战

使用Search Guard加固Elasticsearch:用户、角色和权限

使用Search Guard加固Elasticsearch:用户、角色和权限

一、内部数据库 Search Guard 附带内部用户数据库,如果你没有任何外部身份验证系统(如 LDAP 或 Active Directory),则可以使用此用户数据库。用户信息及其散列密码和角色存储在群集内部的 Search Guard 索引中。 内部用户在 sg_internal_users.yml 文件中配置,你可以找到模板在<ES insta……

使用Search Guard加固Elasticsearch:认证与授权

使用Search Guard加固Elasticsearch:认证与授权

一、介绍 Elasticsearch本身没有用户及权限认证体系。虽然官方提供了自己的权限管理系统 – Shield, 但是它——收费! 所以在这里给大家介绍一款实用的开源Elasticsearch权限管理系统——Search Guard。 Shield 现在已经被 X-pack 集成,另外 X-pack 还集成了 Watcher,Marvel,G……

Elasticsearch索引和文档操作

Elasticsearch索引和文档操作

一、索引与文档 索引(Index) 一个索引就是含有某些相似特性的文档的集合。例如,你可以有一个用户数据的索引,一个产品目录的索引,还有其他的有规则数据的索引。一个索引被一个名称(必须都是小写)唯一标识,并且这个名称被用于索引通过文档去执行索引,搜索,更新和删除操作。 在一个集群中,你可以根据自己的需求定义任意多的索引。 类型(Type)[Depreca……

ELK技术实战-安装Elk 5.x平台

ELK技术实战-安装Elk 5.x平台

一、ELK简介 ELK技术实战–了解Elk各组件 ELK技术实战-部署Elk 2.x平台 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。 其中,Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎,主要……

ELK技术实战-导致Redis队列堆积的大日志条目

ELK技术实战-导致Redis队列堆积的大日志条目

提前说明,ELK是什么?Redis队列是什么?自行了解。 在使用ELK过程中,一般都是使用Redis或kafka做队列,用来缓存。基本架构图如下: 当然,我们的Redis开了多个是实例,用来存储不同的Key,因为日志量太大。 突然报警,说6382 Redis实例队列堆积,上机器看了一下paltform这个key,堆积如下: r……

ELK技术实战–使用Supervisor管理Elk

ELK技术实战–使用Supervisor管理Elk

使用supervisor管理ELK 配置supervisor,使用supervisor启动各个进程,方便管理。同时ELK各个进程使用supervisor管理还有一个较大的优势就是可以很轻松开启多个进程。具体supervisor介绍使用可以看:使用Supervisor管理进程 1)首先各程序都是用elk用户来运行 [root@lo……

ELK技术实战-了解Elk各组件

ELK技术实战-了解Elk各组件

源起 日志是排查问题的根源 第一个问题:你公司对服务端日志你有多重视,包括web日志、应用程序日志、网络设备日志等等? 1)有日志,但基本不去控制需要输出的内容; 2)经常微调日志,只输出我们想看和有用的; 3)经常监控日志,一方面帮助日志微调,一方面及早发现程序的问题; 4)高度依赖日志,做服务可用性监控,故障排查,程序性能监控等等; 只做到第1点的,你可……

ELK技术实战-部署Elk 2.x平台

ELK技术实战-部署Elk 2.x平台

ELK Stack平台搭建 对于ELK部署使用而言,下面是一个再常见不过的架构了,如下图: 1)Redis:接收用户日志的消息队列。 2)Logstash:做日志解析,统一成JSON输出给Elasticsearch。 3)Elasticsearch:实时日志分析服务的核心技术,一个schemaless,实时的数据存储服务,通过index组织数据,兼具……