大型网站遇到性能瓶颈或发生故障时，分析日志往往是发现问题根源最有效的手段。 传统的日志分析手段不外乎以下几类:

1. 运维人员用脚本grep，分析再汇总

2. 通过流式计算引擎,storm/spark实时产生汇总 数据，供监控分析

3. 将数据堆放到HDFS，之后通过map/reduce定期做批量分析

基于ELK（Elasticsearch , Logstash, Kibana）的解决方案则提供了另外一种思路，利用搜索引擎将数据索引起来，支持实时的多维度组合查询和聚合分析。 这非常契合问题排查过程，即先通过上层统计数据发现数据异常之方向，再通过不断细化过滤条件缩小范围， 实现对日志的下钻式分析。 ELK上手成本虽低，扩展到海量数据规模场景却很不易。很多用户面临诸如集群稳定性差，写入吞吐量不理想， 查询速度慢，安全把控头痛，不知道如何监控等问题。

某旅行网从2013年开始基于ELK打造实时日志分析平台， 不到2年时间，集群结点从5个增长到30多个，日处理数据从亿级到百亿级，集群从不稳定到连续200多天没出任何故障。 

 

ELK简介

ElasticSearch是一个基于Lucene的搜索分布式服务器，便于存储和检索数据；

Logstash是一个开源的日志收集管理工具，用于往ES中写入数据；

Kibana是一个开源的分析与可视化平台，用于高级数据分析与可视化。

一、ElasticSearch学习

 悦光阴  

 

 【好文】

中文书籍（官网）：

二、FileBeat

日志采集器。用于转发和汇总日志与文件，让简单的事情不再繁杂。

Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。

（画外音：通俗地理解，就是采集数据，并上报到Logstash或Elasticsearch）

Beats可以直接（或者通过Logstash）将数据发送到Elasticsearch，在那里你可以进一步处理和增强数据，然后在Kibana中将其可视化。

logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能，能过滤分析日志。

一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中。

关于Filebeat，记住两点：

• 轻量级日志采集器
• 输送至 Elasticsearch 或 Logstash，在 Kibana 中实现可视化

开始配置使用filebeat之前，你需要安装并配置好这些依赖程序：

Elasticsearch 作为存储和索引这些数据。

Kibana 作为展示平台。

Logstash（可选）去插入数据到elasticsearch。

  【参考的基于linux的】  和   一起用。

 

三、Logstash

　　Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，我们最喜欢的是Elasticsearch）

参考：

 

四、Kibana

Kibana 是一个设计出来用于和 Elasticsearch 一起使用的开源的分析与可视化平台，可以用 kibana 搜索、查看、交互存放在Elasticsearch 索引里的数据，使用各种不同的图表、表格、地图等展示高级数据分析与可视化，基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘，让大量数据变得简单，容易理解。

 【要下载和elasticSearch一样的版本】

 【请求的时候 参考postman中保存的记录】