ELK 责罚 Spring Boot 日记，可以可以！可以

故故者：鄙人陈某 2023-09-13 08:56:51拓荒 前端 在本教程中，可以万博体育苹果下载我们主阶梯略了什么是可以 ELK，而后通过本质独霸和行家通盘搭建了一个 ELK 日记领路平台，可以而且接入了 Logback 和 Nginx 两种日记。可以

行家好，可以我是可以鄙人陈某~

在排查线上相等的进程中，究诘日记老是可以必不行缺的一部门。现今大多采纳的可以微服务结构，日记被涣散在迥异的可以迟钝上，使得日记的可以究诘变得相等麻烦。

工欲善其事，可以必先利其器。可以要是可以此时有一个陆续的实时日记领路平台，那可谓是雪中送碳，注定能够长进我们排查线上题目的结果。本文带您领略一下户口源的实时日记领路平台 ELK 的搭建及骗捏。

ELK 简介

ELK 是一个户口源的实时日记领路平台，它症结由 Elasticsearch、Logstash 和 Kiabana 三部门组成。

Logstash

Logstash 症结用于采集服务器日记，它是一个户口源数据采集引擎，拥有实时管道职能。Logstash 能够动静地未来自迥异数据源的数据陆续齐来，并将数据范例化到您所采纳的目的地。

Logstash 采集数据的进程症结分为以下三个部门：

• 输入：数据（贮蓄但不限于日记）频繁都是以迥异的神采、花色存储在迥异的编制中，而 Logstash 赞助从多种数据源中采集数据（File、万博体育苹果下载Syslog、MySQL、音问当中件等等）。
• 过滤器：实时领路和退换数据，辩别已定名的字段以构建结构，并将它们退换成通用花色。
• 输出：Elasticsearch 并非存储的独一采纳，Logstash 提供许多输出采纳。

Elasticsearch

Elasticsearch （ES）是一个闲步式的 Restful 风致的采集和数据领路引擎，它拥有以下特质：

• 究诘：许可践诺和连续多种规范的采集 — 结构化、非结构化、地舆职位、襟怀目的 — 采集花式顺手而变。
• 领路：Elasticsearch 齐集让您能够从大处落墨，穷究数据的趋向和模式。
• 速率：很快，能够做到亿万级的数据，毫秒级返回。
• 可推论性：能够在笔记本电脑上运转，也能够在承载了 PB 级数据的成百上千台服务器上运转。
• 弹性：运转在一个闲步式的环境中，从设计之初就酌量到了这极少。
• 能故故性：齐全多个案例场景。赞助数字、文本、地舆职位、结构化、非结构化，集体的数据规范都迎接。

Kibana

Kibana 能够使海量数据通常易懂。它很轻省，基于阅读器的界面便于您连辛苦设立和肢解动静数据风韵板来追踪 Elasticsearch 的实时数据迁移。其搭建进程也相等轻省，您能够分分钟结束 Kibana 的装阁阁并起点穷究 Elasticsearch 的索引数据 — 莫得代码、不须要额外的根柢设施。此外，迎接眷注群众号码猿身手专栏，靠山答复“1111”，阿里里面Java职能调优手册！

马虎以上三个组件在 《ELK 订定栈先容及编制结构》 一文中有险些先容，这里不再赘述。

在 ELK 中，三大组件的粗造职业进程如下图所示，由 Logstash 从各个服务中采集日记并寄阁阁至 Elasticsearch 中，而后再由 Kiabana 从 Elasticsearch 中究诘日记并露出给结果用户。

图 1. ELK 的粗造职业进程

ELK 落成有辩论

通常状态下我们的服务都陈设在迥异的服务器上，那么若何从多台服务器上采集日记音问就是一个症结点了。本篇著述中提供的解阁阁有辩论如下图所示：

图 2. 本文提供的 ELK 落成有辩论

如上图所示，通盘 ELK 的运转进程如下：

1. 在微服务（生长日记的服务）上陈设一个 Logstash，行径 Shipper 角色，症结负责对方位迟钝上的服务生长的日记文献进行数据采集，并将音问推送到 Redis 音问队列。
2. 另用一台服务器陈设一个 Indexer 角色的 Logstash，症结负责从 Redis 音问队列中读捏数据，并在 Logstash 管道中颠末 Filter 的领路和责罚后输出到 Elasticsearch 集群中存储。
3. Elasticsearch 主副节点之间数据同步。
4. 零丁一台服务器陈设 Kibana 读捏 Elasticsearch 华厦日记数据并露出在 Web 页面。

通过这张图，肯定您曾经粗造领路了我们将要搭建的 ELK 平台的职业进程，以及所需组件。底下就让我们通盘起点搭建起来吧。

ELK 平台搭建

本节症结先容搭建 ELK 日记平台，蕴涵装阁阁 Indexer 角色的 Logstash，Elasticsearch 以及 Kibana 三个组件。结束本末节，您须要做如下预备：

1. 一台 Ubuntu 迟钝或虚构机，行径初学教程，此处节减了 Elasticsearch 集群的搭建，且将 Logstash(Indexer)、Elasticsearch 以及 Kibana 装阁阁在统一迟钝上。
2. 在 Ubuntu 上装阁阁 JDK，瞩目 Logstash 请求 JDK 在 1.7 版本以上。
3. Logstash、Elasticsearch、Kibana 装阁阁包，您能够在 此页面 下载。

装阁阁 Logstash

解压缩短包：

tar -xzvf logstash-7.3.0.tar.gz

露出更多轻省用例视察，长入到解压目次，并滥觞一个将限度台输入输出到限度台的管道。

cd logstash-7.3.0  elk@elk:~/elk/logstash-7.3.0$ bin/logstash -e 'input {  stdin { } } output {  {  stdout { } } }'

露出更多顾念记挂到如下日记就意味着 Logstash 滥觞获胜。

图 3. Logstash 滥觞获胜日记

在限度台输入 Hello Logstash ，顾念记挂到如下服从代表 Logstash 装阁阁获胜。

清单 1. 验证 Logstash 是否滥觞获胜Hello Logstash

{       "@timestamp" => 2019-08-10T16:11:10.040Z,            "host" => "elk",        "@version" => "1",         "message" => "Hello Logstash"  }

装阁阁 Elasticsearch

解压装阁阁包：

tar -xzvf elasticsearch-7.3.0-linux-x86_64.tar.gz

滥觞 Elasticsearch：

cd elasticsearch-7.3.0/  bin/elasticsearch

在滥觞 Elasticsearch 的进程中我遭遇了两个题目在这里罗列一下，轻松行家排查。

题目一 ：内存过小，要是您的迟钝内存小于 Elasticsearch 配阁阁的值，就会报下图所示的错误。解阁阁有辩论是，编削 elasticsearch-7.3.0/config/jvm.options 文献华厦如下配阁阁为适当自身迟钝的内存大小，若编削后还是报这个错误，可重新链接服务器再试一次。

图 4. 内存过小招致 Elasticsearch 滥觞报错

题目二 ，要是您是以 root 用户滥觞的话，就会报下图所示的错误。解阁阁有辩论自然就是补充一个新用户滥觞 Elasticsearch，至于补充新用户的设施网上有许多，这里就不再赘述。

图 5. Root 用户滥觞 Elasticsearch 报错

滥觞获胜后，另起一个会话窗口践诺 curl http://localhost:9200 夂箢，要是阐述如下结果，则代表 Elasticsearch 装阁阁获胜。

清单 2. 检讨 Elasticsearch 是否滥觞获胜

elk@elk:~$ curl http://localhost:9200  {     "name" : "elk",    "cluster_name" : "elasticsearch",    "cluster_uuid" : "hqp4Aad0T2Gcd4QyiHASmA",    "version" : {       "number" : "7.3.0",      "build_flavor" : "default",      "build_type" : "tar",      "build_hash" : "de777fa",      "build_date" : "2019-07-24T18:30:11.767338Z",      "build_snapshot" : false,      "lucene_version" : "8.1.0",      "minimum_wire_compatibility_version" : "6.8.0",      "minimum_index_compatibility_version" : "6.0.0-beta1"    },    "tagline" : "You Know, for Search"  }

装阁阁 Kibana

解压装阁阁包：

tar -xzvf kibana-7.3.0-linux-x86_64.tar.gz

编削配阁阁文献 config/kibana.yml ，症结指定 Elasticsearch 的音问。

清单 3. Kibana 配阁阁音问#Elasticsearch主机所在

elasticsearch.hosts: "http://ip:9200"  # 许可长途造访  server.host: "0.0.0.0"  # Elasticsearch用户名 这里素来就是我在服务器滥觞Elasticsearch的用户名  elasticsearch.username: "es"  # Elasticsearch鉴权记号 这里素来就是我在服务器滥觞Elasticsearch的记号  elasticsearch.password: "es"

滥觞 Kibana：

cd kibana-7.3.0-linux-x86_64/bin  ./kibana

在阅读器中造访 http://ip:5601 ，若阐述以下界面，则露出 Kibana 装阁阁获胜。

图 6. Kibana 滥觞获胜界面

图片

ELK 日记平台装阁阁结束后，底下我们就将通过险些的例子来顾念记挂下若何骗捏 ELK，下文将阔别先容若何将 Spring Boot 日记和 Nginx 日记交由 ELK 领路。

在 Spring Boot 中骗捏 ELK

首先我们须要设立一个 Spring Boot 的项目，曾经我写过一篇著述先容 若何骗捏 AOP 来陆续责罚 Spring Boot 的 Web 日记 ，本文的 Spring Boot 项目就设立在这篇著述的根柢之上。

编削并陈设 Spring Boot 项目

在项目 resources 目次下设立 spring-logback.xml 配阁阁文献。

清单 4. Spring Boot 项目 Logback 的配阁阁

Logback For demo Mobile      ...                  ...          %d{ yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{ 25} ${ appName} -%msg%n          ...            ...  

以上本色节减了许多本色，您能够在源码中赢得捏。在上面的配阁阁中我们界说了一个名为 ROLLING_FILE 的 Appender 过去记文献中输出指定花色的日记。而上面的 pattern 标签正是险些日记花色的配阁阁，通过上面的配阁阁，我们指定输出了期间、线程、日记级别、logger（通常为日记打印方位类的全阶梯）以及服务称谓等音问。

将项目打包，并陈设到一台 Ubuntu 服务器上。

清单 5. 打包并陈设 Spring Boot 项目

# 打包夂箢  mvn package -Dmaven.test.skip=true  # 陈设夂箢  java -jar sb-elk-start-0.0.1-SNAPSHOT.jar

稽查日记文献， logback 配阁阁文献中我将日记寄阁阁在 /log/sb-log.log 文献中，践诺 more /log/sb-log.log 夂箢，阐述以下结果露出陈设获胜。

图 7. Spring Boot 日记文献

配阁阁 Shipper 角色 Logstash

Spring Boot 项目陈设获胜之后，我们还须要在面前陈设的迟钝上装阁阁并配阁阁 Shipper 角色的 Logstash。Logstash 的装阁阁进程在 ELK 平台搭建末节中已有提到，这里不再赘述。

装阁阁结束后，我们须要编纂 Logstash 的配阁阁文献，以赞助从日记文献中采集日记并输出到 Redis 音问管道中，Shipper 的配阁阁如下所示。

清单 6. Shipper 角色的 Logstash 的配阁阁

input {       file {           path => [              # 这里填写须要监控的文献              "/log/sb-log.log"          ]      }  }    output {       # 输出到redis      redis {           host => "10.140.45.190"   # redis主机所在          port => 6379              # redis端标语          db => 8                   # redis数据库编号          data_type => "channel"    # 骗捏揭橥/订阅模式          key => "logstash_list_0"  # 揭橥通道称谓      }  }

素来 Logstash 的配阁阁是与前面提到的 Logstash 管道华厦三个部门（输入、过滤器、输出）逐一对应的，只然而这里我们不须要过滤器是以就莫得写出来。上面配阁阁中 Input 骗捏的数据源是文献规范的，只须要配阁阁上须要采集的本机日记文献阶梯即可。Output 描述数据若何输出，这里配阁阁的是输出到 Redis。

Redis 的配阁阁 data_type 可选值有 channel 和 list 两个。channel 是 Redis 的揭橥/订阅通讯模式，而 list 是 Redis 的队列数据结构，两者都能够用来落成编制间有序的音问异步通讯。

channel 相比 list 的长处是，铲除了揭橥者和订阅者之间的耦合。举个例子，一个 Indexer 在链接读捏 Redis 华厦记载，而今想进去第二个 Indexer，要是骗捏 list ，就会阐述上一笔记载被第一个 Indexer 捏走，而下一笔记载被第二个 Indexer 捏走的状态，两个 Indexer 之间生长了较量，招致任何一方都莫得读到齐备的日记。

channel 就能够预防这种状态。这里 Shipper 角色的配阁阁文献和底下将要提到的 Indexer 角色的配阁阁文献中都骗捏了 channel 。

配阁阁 Indexer 角色 Logstash

配阁阁好 Shipper 角色的 Logstash 后，我们还须要配阁阁 Indexer 角色 Logstash 以赞助从 Redis 摄捏日记数据，并通过过滤器领路后存储到 Elasticsearch 中，其配阁阁本色如下所示。

清单 7. Indexer 角色的 Logstash 的配阁阁

input {       redis {           host      => "192.168.142.131"    # redis主机所在          port      => 6379               # redis端标语          db        => 8                  # redis数据库编号          data_type => "channel"          # 骗捏揭橥/订阅模式          key       => "sb-logback"  # 揭橥通道称谓      }  }    filter {        #界说数据的花色       grok {          match => {  "message" => "%{ TIMESTAMP_ISO8601:time} \[%{ NOTSPACE:threadName}\] %{ LOGLEVEL:level}  %{ DATA:logger} %{ NOTSPACE:applicationName} -(?:.*=%{ NUMBER:timetaken}ms|)"}       }  }    output {       stdout { }      elasticsearch {           hosts => "localhost:9200"          index => "logback"     }  }

与 Shipper 迥异的是，Indexer 的管道中我们界说了过滤器，也正是在这里将日记领路成结构化的数据。底下是我截捏的一条 logback 的日记本色：

清单 8. Spring Boot 项目输出的一条日记

2019-08-11 18:01:31.602 [http-nio-8080-exec-2] INFO  c.i.s.aop.WebLogAspect sb-elk -接口日记  POST请求视察接口遣散调用:耗时=11ms,result=BaseResponse{ code=10000, message='独霸获胜'}

在 Filter 中我们骗捏 Grok 插件从上面这条日记中领路出了期间、线程称谓、Logger、服务称谓以及接口耗时几个字段。Grok 又是若何职业的呢？

1. message 字段是 Logstash 寄阁阁采集到的数据的字段， match = { "message" => ...} 代表是对日记本色做责罚。
2. Grok 本质上亦然通过正则表达式来领路数据的，上面阐述的 TIMESTAMP_ISO8601 、 NOTSPACE 等都是 Grok 内阁阁的 patterns。
3. 我们编纂的领路字符串能够骗捏 Grok Debugger 来视察是否确实，这样预防了重复在确实环境中校验领路规章确实实性。

稽查服从

颠末上面的症结，我们曾经结束了通盘 ELK 平台的搭建以及 Spring Boot 项目的接入。底下我们遵照以下症结践诺极少独霸来顾念记挂下服从。

滥觞 Elasticsearch，滥觞夂箢在 ELK 平台搭建 末节中有提到，这里不赘述（Kibana 滥觞同）。滥觞 Indexer 角色的 Logstash。

# 长入到 Logstash 的解压目次，而后践诺底下的夂箢  bin/logstash -f indexer-logstash.conf

滥觞 Kibana。

滥觞 Shipper 角色的 Logstash。

# 长入到 Logstash 的解压目次，而后践诺底下的夂箢              bin/logstash -f shipper-logstash.conf

调用 Spring Boot 接口，此时该当曾经罕见据写入到 ES 中了。

在阅读器中造访 http://ip:5601 ，打户口 Kibana 的 Web 界面，而且如下图所示补充 logback 索引。

图 8. 在 Kibana 中补充 Elasticsearch 索引

图片

长入 Discover 界面，采纳 logback 索引，就能够顾念记挂到日记数据了，如下图所示。

图 9. ELK 日记稽查

图片

在 Nginx 中骗捏 ELK

肯定通过上面的症结您曾经获胜的搭建起了自身的 ELK 实时日记平台，而且接入了 Logback 规范的日记。然而本质场景下，险些不行能惟有一种规范的日记，底下我们就再在上面症结的根柢之上接入 Nginx 的日记。

自然这一步的请求是我们须要在服务器上装阁阁 Nginx，险些的装阁阁进程网上有许多先容，这里不再赘述。稽查 Nginx 的日记如下（Nginx 的造访日记默许在 /var/log/nginx/access.log 文献中）。

清单 9. Nginx 的造访日记

192.168.142.1 - - [17/Aug/2019:21:31:43 +0800] "GET /weblog/get-test?name=elk HTTP/1.1"  200 3 "http://192.168.142.131/swagger-ui.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64)  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"

雷同，我们须要为此日记编纂一个 Grok 领路规章，如下所示：

清单 10. 针对 Nginx 造访日记的 Grok 领路规章

%{ IPV4:ip} \- \- \[%{ HTTPDATE:time}\] "%{ NOTSPACE:method} %{ DATA:requestUrl}  HTTP/%{ NUMBER:httpVersion}" %{ NUMBER:httpStatus} %{ NUMBER:bytes}  "%{ DATA:referer}" "%{ DATA:agent}"

结束上面这些之后的症结点是 Indexer 规范的 Logstash 须要赞助两种规范的输入、过滤器以及输出，若何赞助呢？首先须要给输入指定规范，而后再遵照迥异的输入规范走迥异的过滤器和输出，如下所示。

清单 11. 赞助两种日记输入的 Indexer 角色的 Logstash 配阁阁

input {       redis {           type      => "logback"          ...      }      redis {          type       => "nginx"         ...      }  }    filter {        if [type] == "logback" {            ...       }       if [type] == "nginx" {            ...       }  }    output {       if [type] == "logback" {           ...      }      if [type] == "nginx" {          ...      }  }

我的 Nginx 与 Spring Boot 项目陈设在统一台迟钝上，是以还需编削 Shipper 规范的 Logstash 的配阁阁以赞助两种规范的日记输入和输出，其配阁阁文献的本色可 点打拼这里赢得捏。

以上配阁阁结束后，我们遵照 稽查服从 章节华厦症结，滥觞 ELK 平台、Shipper 角色的 Logstash、Nginx 以及 Spring Boot 项目,而后在 Kibana 上补充 Nignx 索引后就可同期稽查 Spring Boot 和 Nginx 的日记了，如下图所示。

图 10. ELK 稽查 Nginx 日记

图片

ELK 滥觞

在上面的症结中，ELK 的滥觞进程是我们一个一个的去践诺三大组件的滥觞夂箢的。而且还是在前台滥觞的，意味着要是我们雍塞会话窗口，该组件就会甩手招致通盘 ELK 平台无法骗捏，这在本质职业进程中是不现实的，我们剩下的题目就在于若何使 ELK 在靠山运转。

遵照 《Logstash 最美施行》 一书的选举，我们将骗捏 Supervisor 来解决 ELK 的启停。首先我们须要装阁阁 Supervisor，在 Ubuntu 上践诺 apt-get install supervisor 即可。装阁阁获胜后，我们还须要在 Supervisor 的配阁阁文献中配阁阁 ELK 三大组件（其配阁阁文献默许为 /etc/supervisor/supervisord.conf 文献）。

清单 12. ELK 靠山滥觞

[program:elasticsearch]  envirnotallow=JAVA_HOME="/usr/java/jdk1.8.0_221/"  directory=/home/elk/elk/elasticsearch  user=elk  command=/home/elk/elk/elasticsearch/bin/elasticsearch    [program:logstash]  envirnotallow=JAVA_HOME="/usr/java/jdk1.8.0_221/"  directory=/home/elk/elk/logstash  user=elk  command=/home/elk/elk/logstash/bin/logstash -f /home/elk/elk/logstash/indexer-logstash.conf    [program:kibana]  envirnotallow=LS_HEAP_SIZE=5000m  directory=/home/elk/elk/kibana  user=elk  command=/home/elk/elk/kibana/bin/kibana

遵照以上本色配阁阁结束后，践诺 sudo supervisorctl reload 即可结束通盘 ELK 的滥觞，而且其默许是户口机自启。自然，我们也能够骗捏 sudo supervisorctl start/stop [program_name] 来解决零丁的运用。此外，迎接眷注群众号码猿身手专栏，靠山答复“9527”，送你一份Spring Cloud Aliababa实战顾记挂频！

遣散语

在本教程中，我们主阶梯略了什么是 ELK，而后通过本质独霸和行家通盘搭建了一个 ELK 日记领路平台，而且接入了 Logback 和 Nginx 两种日记。

责任编辑：武晓燕 源泉： 码猿身手专栏 ELK日记平台

黑色走廊2正式版无限钻石下载

ELK 责罚 Spring Boot 日记，可以可以！可以

故故者：鄙人陈某 2023-09-13 08:56:51拓荒 前端 在本教程中，可以万博体育苹果下载我们主阶梯略了什么是可以 ELK，而后通过本质独霸和行家通盘搭建了一个 ELK 日记领路平台，可以而且接入了 Logback 和 Nginx 两种日记。可以

行家好，可以我是可以鄙人陈某~

在排查线上相等的进程中，究诘日记老是可以必不行缺的一部门。现今大多采纳的可以微服务结构，日记被涣散在迥异的可以迟钝上，使得日记的可以究诘变得相等麻烦。

工欲善其事，可以必先利其器。可以要是可以此时有一个陆续的实时日记领路平台，那可谓是雪中送碳，注定能够长进我们排查线上题目的结果。本文带您领略一下户口源的实时日记领路平台 ELK 的搭建及骗捏。

ELK 简介

ELK 是一个户口源的实时日记领路平台，它症结由 Elasticsearch、Logstash 和 Kiabana 三部门组成。

Logstash

Logstash 症结用于采集服务器日记，它是一个户口源数据采集引擎，拥有实时管道职能。Logstash 能够动静地未来自迥异数据源的数据陆续齐来，并将数据范例化到您所采纳的目的地。

Logstash 采集数据的进程症结分为以下三个部门：

• 输入：数据（贮蓄但不限于日记）频繁都是以迥异的神采、花色存储在迥异的编制中，而 Logstash 赞助从多种数据源中采集数据（File、万博体育苹果下载Syslog、MySQL、音问当中件等等）。
• 过滤器：实时领路和退换数据，辩别已定名的字段以构建结构，并将它们退换成通用花色。
• 输出：Elasticsearch 并非存储的独一采纳，Logstash 提供许多输出采纳。

Elasticsearch

Elasticsearch （ES）是一个闲步式的 Restful 风致的采集和数据领路引擎，它拥有以下特质：

• 究诘：许可践诺和连续多种规范的采集 — 结构化、非结构化、地舆职位、襟怀目的 — 采集花式顺手而变。
• 领路：Elasticsearch 齐集让您能够从大处落墨，穷究数据的趋向和模式。
• 速率：很快，能够做到亿万级的数据，毫秒级返回。
• 可推论性：能够在笔记本电脑上运转，也能够在承载了 PB 级数据的成百上千台服务器上运转。
• 弹性：运转在一个闲步式的环境中，从设计之初就酌量到了这极少。
• 能故故性：齐全多个案例场景。赞助数字、文本、地舆职位、结构化、非结构化，集体的数据规范都迎接。

Kibana

Kibana 能够使海量数据通常易懂。它很轻省，基于阅读器的界面便于您连辛苦设立和肢解动静数据风韵板来追踪 Elasticsearch 的实时数据迁移。其搭建进程也相等轻省，您能够分分钟结束 Kibana 的装阁阁并起点穷究 Elasticsearch 的索引数据 — 莫得代码、不须要额外的根柢设施。此外，迎接眷注群众号码猿身手专栏，靠山答复“1111”，阿里里面Java职能调优手册！

马虎以上三个组件在 《ELK 订定栈先容及编制结构》 一文中有险些先容，这里不再赘述。

在 ELK 中，三大组件的粗造职业进程如下图所示，由 Logstash 从各个服务中采集日记并寄阁阁至 Elasticsearch 中，而后再由 Kiabana 从 Elasticsearch 中究诘日记并露出给结果用户。

图 1. ELK 的粗造职业进程

ELK 落成有辩论

通常状态下我们的服务都陈设在迥异的服务器上，那么若何从多台服务器上采集日记音问就是一个症结点了。本篇著述中提供的解阁阁有辩论如下图所示：

图 2. 本文提供的 ELK 落成有辩论

如上图所示，通盘 ELK 的运转进程如下：

1. 在微服务（生长日记的服务）上陈设一个 Logstash，行径 Shipper 角色，症结负责对方位迟钝上的服务生长的日记文献进行数据采集，并将音问推送到 Redis 音问队列。
2. 另用一台服务器陈设一个 Indexer 角色的 Logstash，症结负责从 Redis 音问队列中读捏数据，并在 Logstash 管道中颠末 Filter 的领路和责罚后输出到 Elasticsearch 集群中存储。
3. Elasticsearch 主副节点之间数据同步。
4. 零丁一台服务器陈设 Kibana 读捏 Elasticsearch 华厦日记数据并露出在 Web 页面。

通过这张图，肯定您曾经粗造领路了我们将要搭建的 ELK 平台的职业进程，以及所需组件。底下就让我们通盘起点搭建起来吧。

ELK 平台搭建

本节症结先容搭建 ELK 日记平台，蕴涵装阁阁 Indexer 角色的 Logstash，Elasticsearch 以及 Kibana 三个组件。结束本末节，您须要做如下预备：

1. 一台 Ubuntu 迟钝或虚构机，行径初学教程，此处节减了 Elasticsearch 集群的搭建，且将 Logstash(Indexer)、Elasticsearch 以及 Kibana 装阁阁在统一迟钝上。
2. 在 Ubuntu 上装阁阁 JDK，瞩目 Logstash 请求 JDK 在 1.7 版本以上。
3. Logstash、Elasticsearch、Kibana 装阁阁包，您能够在 此页面 下载。

装阁阁 Logstash

解压缩短包：

tar -xzvf logstash-7.3.0.tar.gz

露出更多轻省用例视察，长入到解压目次，并滥觞一个将限度台输入输出到限度台的管道。

cd logstash-7.3.0  elk@elk:~/elk/logstash-7.3.0$ bin/logstash -e 'input {  stdin { } } output {  {  stdout { } } }'

露出更多顾念记挂到如下日记就意味着 Logstash 滥觞获胜。

图 3. Logstash 滥觞获胜日记

在限度台输入 Hello Logstash ，顾念记挂到如下服从代表 Logstash 装阁阁获胜。

清单 1. 验证 Logstash 是否滥觞获胜Hello Logstash

{       "@timestamp" => 2019-08-10T16:11:10.040Z,            "host" => "elk",        "@version" => "1",         "message" => "Hello Logstash"  }

装阁阁 Elasticsearch

解压装阁阁包：

tar -xzvf elasticsearch-7.3.0-linux-x86_64.tar.gz

滥觞 Elasticsearch：

cd elasticsearch-7.3.0/  bin/elasticsearch

在滥觞 Elasticsearch 的进程中我遭遇了两个题目在这里罗列一下，轻松行家排查。

题目一 ：内存过小，要是您的迟钝内存小于 Elasticsearch 配阁阁的值，就会报下图所示的错误。解阁阁有辩论是，编削 elasticsearch-7.3.0/config/jvm.options 文献华厦如下配阁阁为适当自身迟钝的内存大小，若编削后还是报这个错误，可重新链接服务器再试一次。

图 4. 内存过小招致 Elasticsearch 滥觞报错

题目二 ，要是您是以 root 用户滥觞的话，就会报下图所示的错误。解阁阁有辩论自然就是补充一个新用户滥觞 Elasticsearch，至于补充新用户的设施网上有许多，这里就不再赘述。

图 5. Root 用户滥觞 Elasticsearch 报错

滥觞获胜后，另起一个会话窗口践诺 curl http://localhost:9200 夂箢，要是阐述如下结果，则代表 Elasticsearch 装阁阁获胜。

清单 2. 检讨 Elasticsearch 是否滥觞获胜

elk@elk:~$ curl http://localhost:9200  {     "name" : "elk",    "cluster_name" : "elasticsearch",    "cluster_uuid" : "hqp4Aad0T2Gcd4QyiHASmA",    "version" : {       "number" : "7.3.0",      "build_flavor" : "default",      "build_type" : "tar",      "build_hash" : "de777fa",      "build_date" : "2019-07-24T18:30:11.767338Z",      "build_snapshot" : false,      "lucene_version" : "8.1.0",      "minimum_wire_compatibility_version" : "6.8.0",      "minimum_index_compatibility_version" : "6.0.0-beta1"    },    "tagline" : "You Know, for Search"  }

装阁阁 Kibana

解压装阁阁包：

tar -xzvf kibana-7.3.0-linux-x86_64.tar.gz

编削配阁阁文献 config/kibana.yml ，症结指定 Elasticsearch 的音问。

清单 3. Kibana 配阁阁音问#Elasticsearch主机所在

elasticsearch.hosts: "http://ip:9200"  # 许可长途造访  server.host: "0.0.0.0"  # Elasticsearch用户名 这里素来就是我在服务器滥觞Elasticsearch的用户名  elasticsearch.username: "es"  # Elasticsearch鉴权记号 这里素来就是我在服务器滥觞Elasticsearch的记号  elasticsearch.password: "es"

滥觞 Kibana：

cd kibana-7.3.0-linux-x86_64/bin  ./kibana

在阅读器中造访 http://ip:5601 ，若阐述以下界面，则露出 Kibana 装阁阁获胜。

图 6. Kibana 滥觞获胜界面

图片

ELK 日记平台装阁阁结束后，底下我们就将通过险些的例子来顾念记挂下若何骗捏 ELK，下文将阔别先容若何将 Spring Boot 日记和 Nginx 日记交由 ELK 领路。

在 Spring Boot 中骗捏 ELK

首先我们须要设立一个 Spring Boot 的项目，曾经我写过一篇著述先容 若何骗捏 AOP 来陆续责罚 Spring Boot 的 Web 日记 ，本文的 Spring Boot 项目就设立在这篇著述的根柢之上。

编削并陈设 Spring Boot 项目

在项目 resources 目次下设立 spring-logback.xml 配阁阁文献。

清单 4. Spring Boot 项目 Logback 的配阁阁

Logback For demo Mobile      ...                  ...          %d{ yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{ 25} ${ appName} -%msg%n          ...            ...  

以上本色节减了许多本色，您能够在源码中赢得捏。在上面的配阁阁中我们界说了一个名为 ROLLING_FILE 的 Appender 过去记文献中输出指定花色的日记。而上面的 pattern 标签正是险些日记花色的配阁阁，通过上面的配阁阁，我们指定输出了期间、线程、日记级别、logger（通常为日记打印方位类的全阶梯）以及服务称谓等音问。

将项目打包，并陈设到一台 Ubuntu 服务器上。

清单 5. 打包并陈设 Spring Boot 项目

# 打包夂箢  mvn package -Dmaven.test.skip=true  # 陈设夂箢  java -jar sb-elk-start-0.0.1-SNAPSHOT.jar

稽查日记文献， logback 配阁阁文献中我将日记寄阁阁在 /log/sb-log.log 文献中，践诺 more /log/sb-log.log 夂箢，阐述以下结果露出陈设获胜。

图 7. Spring Boot 日记文献

配阁阁 Shipper 角色 Logstash

Spring Boot 项目陈设获胜之后，我们还须要在面前陈设的迟钝上装阁阁并配阁阁 Shipper 角色的 Logstash。Logstash 的装阁阁进程在 ELK 平台搭建末节中已有提到，这里不再赘述。

装阁阁结束后，我们须要编纂 Logstash 的配阁阁文献，以赞助从日记文献中采集日记并输出到 Redis 音问管道中，Shipper 的配阁阁如下所示。

清单 6. Shipper 角色的 Logstash 的配阁阁

input {       file {           path => [              # 这里填写须要监控的文献              "/log/sb-log.log"          ]      }  }    output {       # 输出到redis      redis {           host => "10.140.45.190"   # redis主机所在          port => 6379              # redis端标语          db => 8                   # redis数据库编号          data_type => "channel"    # 骗捏揭橥/订阅模式          key => "logstash_list_0"  # 揭橥通道称谓      }  }

素来 Logstash 的配阁阁是与前面提到的 Logstash 管道华厦三个部门（输入、过滤器、输出）逐一对应的，只然而这里我们不须要过滤器是以就莫得写出来。上面配阁阁中 Input 骗捏的数据源是文献规范的，只须要配阁阁上须要采集的本机日记文献阶梯即可。Output 描述数据若何输出，这里配阁阁的是输出到 Redis。

Redis 的配阁阁 data_type 可选值有 channel 和 list 两个。channel 是 Redis 的揭橥/订阅通讯模式，而 list 是 Redis 的队列数据结构，两者都能够用来落成编制间有序的音问异步通讯。

channel 相比 list 的长处是，铲除了揭橥者和订阅者之间的耦合。举个例子，一个 Indexer 在链接读捏 Redis 华厦记载，而今想进去第二个 Indexer，要是骗捏 list ，就会阐述上一笔记载被第一个 Indexer 捏走，而下一笔记载被第二个 Indexer 捏走的状态，两个 Indexer 之间生长了较量，招致任何一方都莫得读到齐备的日记。

channel 就能够预防这种状态。这里 Shipper 角色的配阁阁文献和底下将要提到的 Indexer 角色的配阁阁文献中都骗捏了 channel 。

配阁阁 Indexer 角色 Logstash

配阁阁好 Shipper 角色的 Logstash 后，我们还须要配阁阁 Indexer 角色 Logstash 以赞助从 Redis 摄捏日记数据，并通过过滤器领路后存储到 Elasticsearch 中，其配阁阁本色如下所示。

清单 7. Indexer 角色的 Logstash 的配阁阁

input {       redis {           host      => "192.168.142.131"    # redis主机所在          port      => 6379               # redis端标语          db        => 8                  # redis数据库编号          data_type => "channel"          # 骗捏揭橥/订阅模式          key       => "sb-logback"  # 揭橥通道称谓      }  }    filter {        #界说数据的花色       grok {          match => {  "message" => "%{ TIMESTAMP_ISO8601:time} \[%{ NOTSPACE:threadName}\] %{ LOGLEVEL:level}  %{ DATA:logger} %{ NOTSPACE:applicationName} -(?:.*=%{ NUMBER:timetaken}ms|)"}       }  }    output {       stdout { }      elasticsearch {           hosts => "localhost:9200"          index => "logback"     }  }

与 Shipper 迥异的是，Indexer 的管道中我们界说了过滤器，也正是在这里将日记领路成结构化的数据。底下是我截捏的一条 logback 的日记本色：

清单 8. Spring Boot 项目输出的一条日记

2019-08-11 18:01:31.602 [http-nio-8080-exec-2] INFO  c.i.s.aop.WebLogAspect sb-elk -接口日记  POST请求视察接口遣散调用:耗时=11ms,result=BaseResponse{ code=10000, message='独霸获胜'}

在 Filter 中我们骗捏 Grok 插件从上面这条日记中领路出了期间、线程称谓、Logger、服务称谓以及接口耗时几个字段。Grok 又是若何职业的呢？

1. message 字段是 Logstash 寄阁阁采集到的数据的字段， match = { "message" => ...} 代表是对日记本色做责罚。
2. Grok 本质上亦然通过正则表达式来领路数据的，上面阐述的 TIMESTAMP_ISO8601 、 NOTSPACE 等都是 Grok 内阁阁的 patterns。
3. 我们编纂的领路字符串能够骗捏 Grok Debugger 来视察是否确实，这样预防了重复在确实环境中校验领路规章确实实性。

稽查服从

颠末上面的症结，我们曾经结束了通盘 ELK 平台的搭建以及 Spring Boot 项目的接入。底下我们遵照以下症结践诺极少独霸来顾念记挂下服从。

滥觞 Elasticsearch，滥觞夂箢在 ELK 平台搭建 末节中有提到，这里不赘述（Kibana 滥觞同）。滥觞 Indexer 角色的 Logstash。

# 长入到 Logstash 的解压目次，而后践诺底下的夂箢  bin/logstash -f indexer-logstash.conf

滥觞 Kibana。

滥觞 Shipper 角色的 Logstash。

# 长入到 Logstash 的解压目次，而后践诺底下的夂箢              bin/logstash -f shipper-logstash.conf

调用 Spring Boot 接口，此时该当曾经罕见据写入到 ES 中了。

在阅读器中造访 http://ip:5601 ，打户口 Kibana 的 Web 界面，而且如下图所示补充 logback 索引。

图 8. 在 Kibana 中补充 Elasticsearch 索引

图片

长入 Discover 界面，采纳 logback 索引，就能够顾念记挂到日记数据了，如下图所示。

图 9. ELK 日记稽查

图片

在 Nginx 中骗捏 ELK

肯定通过上面的症结您曾经获胜的搭建起了自身的 ELK 实时日记平台，而且接入了 Logback 规范的日记。然而本质场景下，险些不行能惟有一种规范的日记，底下我们就再在上面症结的根柢之上接入 Nginx 的日记。

自然这一步的请求是我们须要在服务器上装阁阁 Nginx，险些的装阁阁进程网上有许多先容，这里不再赘述。稽查 Nginx 的日记如下（Nginx 的造访日记默许在 /var/log/nginx/access.log 文献中）。

清单 9. Nginx 的造访日记

192.168.142.1 - - [17/Aug/2019:21:31:43 +0800] "GET /weblog/get-test?name=elk HTTP/1.1"  200 3 "http://192.168.142.131/swagger-ui.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64)  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"

雷同，我们须要为此日记编纂一个 Grok 领路规章，如下所示：

清单 10. 针对 Nginx 造访日记的 Grok 领路规章

%{ IPV4:ip} \- \- \[%{ HTTPDATE:time}\] "%{ NOTSPACE:method} %{ DATA:requestUrl}  HTTP/%{ NUMBER:httpVersion}" %{ NUMBER:httpStatus} %{ NUMBER:bytes}  "%{ DATA:referer}" "%{ DATA:agent}"

结束上面这些之后的症结点是 Indexer 规范的 Logstash 须要赞助两种规范的输入、过滤器以及输出，若何赞助呢？首先须要给输入指定规范，而后再遵照迥异的输入规范走迥异的过滤器和输出，如下所示。

清单 11. 赞助两种日记输入的 Indexer 角色的 Logstash 配阁阁

input {       redis {           type      => "logback"          ...      }      redis {          type       => "nginx"         ...      }  }    filter {        if [type] == "logback" {            ...       }       if [type] == "nginx" {            ...       }  }    output {       if [type] == "logback" {           ...      }      if [type] == "nginx" {          ...      }  }

我的 Nginx 与 Spring Boot 项目陈设在统一台迟钝上，是以还需编削 Shipper 规范的 Logstash 的配阁阁以赞助两种规范的日记输入和输出，其配阁阁文献的本色可 点打拼这里赢得捏。

以上配阁阁结束后，我们遵照 稽查服从 章节华厦症结，滥觞 ELK 平台、Shipper 角色的 Logstash、Nginx 以及 Spring Boot 项目,而后在 Kibana 上补充 Nignx 索引后就可同期稽查 Spring Boot 和 Nginx 的日记了，如下图所示。

图 10. ELK 稽查 Nginx 日记

图片

ELK 滥觞

在上面的症结中，ELK 的滥觞进程是我们一个一个的去践诺三大组件的滥觞夂箢的。而且还是在前台滥觞的，意味着要是我们雍塞会话窗口，该组件就会甩手招致通盘 ELK 平台无法骗捏，这在本质职业进程中是不现实的，我们剩下的题目就在于若何使 ELK 在靠山运转。

遵照 《Logstash 最美施行》 一书的选举，我们将骗捏 Supervisor 来解决 ELK 的启停。首先我们须要装阁阁 Supervisor，在 Ubuntu 上践诺 apt-get install supervisor 即可。装阁阁获胜后，我们还须要在 Supervisor 的配阁阁文献中配阁阁 ELK 三大组件（其配阁阁文献默许为 /etc/supervisor/supervisord.conf 文献）。

清单 12. ELK 靠山滥觞

[program:elasticsearch]  envirnotallow=JAVA_HOME="/usr/java/jdk1.8.0_221/"  directory=/home/elk/elk/elasticsearch  user=elk  command=/home/elk/elk/elasticsearch/bin/elasticsearch    [program:logstash]  envirnotallow=JAVA_HOME="/usr/java/jdk1.8.0_221/"  directory=/home/elk/elk/logstash  user=elk  command=/home/elk/elk/logstash/bin/logstash -f /home/elk/elk/logstash/indexer-logstash.conf    [program:kibana]  envirnotallow=LS_HEAP_SIZE=5000m  directory=/home/elk/elk/kibana  user=elk  command=/home/elk/elk/kibana/bin/kibana

遵照以上本色配阁阁结束后，践诺 sudo supervisorctl reload 即可结束通盘 ELK 的滥觞，而且其默许是户口机自启。自然，我们也能够骗捏 sudo supervisorctl start/stop [program_name] 来解决零丁的运用。此外，迎接眷注群众号码猿身手专栏，靠山答复“9527”，送你一份Spring Cloud Aliababa实战顾记挂频！

遣散语

在本教程中，我们主阶梯略了什么是 ELK，而后通过本质独霸和行家通盘搭建了一个 ELK 日记领路平台，而且接入了 Logback 和 Nginx 两种日记。

责任编辑：武晓燕 源泉： 码猿身手专栏 ELK日记平台

神之亵渎2特里芬雕像有什么效果

国家实业项目投资

5000万投资沥青混凝土厂

ELK 责罚 Spring Boot 日记，可以可以！可以

故故者：鄙人陈某 2023-09-13 08:56:51拓荒 前端 在本教程中，可以万博体育苹果下载我们主阶梯略了什么是可以 ELK，而后通过本质独霸和行家通盘搭建了一个 ELK 日记领路平台，可以而且接入了 Logback 和 Nginx 两种日记。可以

行家好，可以我是可以鄙人陈某~

在排查线上相等的进程中，究诘日记老是可以必不行缺的一部门。现今大多采纳的可以微服务结构，日记被涣散在迥异的可以迟钝上，使得日记的可以究诘变得相等麻烦。

工欲善其事，可以必先利其器。可以要是可以此时有一个陆续的实时日记领路平台，那可谓是雪中送碳，注定能够长进我们排查线上题目的结果。本文带您领略一下户口源的实时日记领路平台 ELK 的搭建及骗捏。

ELK 简介

ELK 是一个户口源的实时日记领路平台，它症结由 Elasticsearch、Logstash 和 Kiabana 三部门组成。

Logstash

Logstash 症结用于采集服务器日记，它是一个户口源数据采集引擎，拥有实时管道职能。Logstash 能够动静地未来自迥异数据源的数据陆续齐来，并将数据范例化到您所采纳的目的地。

Logstash 采集数据的进程症结分为以下三个部门：

• 输入：数据（贮蓄但不限于日记）频繁都是以迥异的神采、花色存储在迥异的编制中，而 Logstash 赞助从多种数据源中采集数据（File、万博体育苹果下载Syslog、MySQL、音问当中件等等）。
• 过滤器：实时领路和退换数据，辩别已定名的字段以构建结构，并将它们退换成通用花色。
• 输出：Elasticsearch 并非存储的独一采纳，Logstash 提供许多输出采纳。

Elasticsearch

Elasticsearch （ES）是一个闲步式的 Restful 风致的采集和数据领路引擎，它拥有以下特质：

• 究诘：许可践诺和连续多种规范的采集 — 结构化、非结构化、地舆职位、襟怀目的 — 采集花式顺手而变。
• 领路：Elasticsearch 齐集让您能够从大处落墨，穷究数据的趋向和模式。
• 速率：很快，能够做到亿万级的数据，毫秒级返回。
• 可推论性：能够在笔记本电脑上运转，也能够在承载了 PB 级数据的成百上千台服务器上运转。
• 弹性：运转在一个闲步式的环境中，从设计之初就酌量到了这极少。
• 能故故性：齐全多个案例场景。赞助数字、文本、地舆职位、结构化、非结构化，集体的数据规范都迎接。

Kibana

Kibana 能够使海量数据通常易懂。它很轻省，基于阅读器的界面便于您连辛苦设立和肢解动静数据风韵板来追踪 Elasticsearch 的实时数据迁移。其搭建进程也相等轻省，您能够分分钟结束 Kibana 的装阁阁并起点穷究 Elasticsearch 的索引数据 — 莫得代码、不须要额外的根柢设施。此外，迎接眷注群众号码猿身手专栏，靠山答复“1111”，阿里里面Java职能调优手册！

马虎以上三个组件在 《ELK 订定栈先容及编制结构》 一文中有险些先容，这里不再赘述。

在 ELK 中，三大组件的粗造职业进程如下图所示，由 Logstash 从各个服务中采集日记并寄阁阁至 Elasticsearch 中，而后再由 Kiabana 从 Elasticsearch 中究诘日记并露出给结果用户。

图 1. ELK 的粗造职业进程

ELK 落成有辩论

通常状态下我们的服务都陈设在迥异的服务器上，那么若何从多台服务器上采集日记音问就是一个症结点了。本篇著述中提供的解阁阁有辩论如下图所示：

图 2. 本文提供的 ELK 落成有辩论

如上图所示，通盘 ELK 的运转进程如下：

1. 在微服务（生长日记的服务）上陈设一个 Logstash，行径 Shipper 角色，症结负责对方位迟钝上的服务生长的日记文献进行数据采集，并将音问推送到 Redis 音问队列。
2. 另用一台服务器陈设一个 Indexer 角色的 Logstash，症结负责从 Redis 音问队列中读捏数据，并在 Logstash 管道中颠末 Filter 的领路和责罚后输出到 Elasticsearch 集群中存储。
3. Elasticsearch 主副节点之间数据同步。
4. 零丁一台服务器陈设 Kibana 读捏 Elasticsearch 华厦日记数据并露出在 Web 页面。

通过这张图，肯定您曾经粗造领路了我们将要搭建的 ELK 平台的职业进程，以及所需组件。底下就让我们通盘起点搭建起来吧。

ELK 平台搭建

本节症结先容搭建 ELK 日记平台，蕴涵装阁阁 Indexer 角色的 Logstash，Elasticsearch 以及 Kibana 三个组件。结束本末节，您须要做如下预备：

1. 一台 Ubuntu 迟钝或虚构机，行径初学教程，此处节减了 Elasticsearch 集群的搭建，且将 Logstash(Indexer)、Elasticsearch 以及 Kibana 装阁阁在统一迟钝上。
2. 在 Ubuntu 上装阁阁 JDK，瞩目 Logstash 请求 JDK 在 1.7 版本以上。
3. Logstash、Elasticsearch、Kibana 装阁阁包，您能够在 此页面 下载。

装阁阁 Logstash

解压缩短包：

tar -xzvf logstash-7.3.0.tar.gz

露出更多轻省用例视察，长入到解压目次，并滥觞一个将限度台输入输出到限度台的管道。

cd logstash-7.3.0  elk@elk:~/elk/logstash-7.3.0$ bin/logstash -e 'input {  stdin { } } output {  {  stdout { } } }'

露出更多顾念记挂到如下日记就意味着 Logstash 滥觞获胜。

图 3. Logstash 滥觞获胜日记

在限度台输入 Hello Logstash ，顾念记挂到如下服从代表 Logstash 装阁阁获胜。

清单 1. 验证 Logstash 是否滥觞获胜Hello Logstash

{       "@timestamp" => 2019-08-10T16:11:10.040Z,            "host" => "elk",        "@version" => "1",         "message" => "Hello Logstash"  }

装阁阁 Elasticsearch

解压装阁阁包：

tar -xzvf elasticsearch-7.3.0-linux-x86_64.tar.gz

滥觞 Elasticsearch：

cd elasticsearch-7.3.0/  bin/elasticsearch

在滥觞 Elasticsearch 的进程中我遭遇了两个题目在这里罗列一下，轻松行家排查。

题目一 ：内存过小，要是您的迟钝内存小于 Elasticsearch 配阁阁的值，就会报下图所示的错误。解阁阁有辩论是，编削 elasticsearch-7.3.0/config/jvm.options 文献华厦如下配阁阁为适当自身迟钝的内存大小，若编削后还是报这个错误，可重新链接服务器再试一次。

图 4. 内存过小招致 Elasticsearch 滥觞报错

题目二 ，要是您是以 root 用户滥觞的话，就会报下图所示的错误。解阁阁有辩论自然就是补充一个新用户滥觞 Elasticsearch，至于补充新用户的设施网上有许多，这里就不再赘述。

图 5. Root 用户滥觞 Elasticsearch 报错

滥觞获胜后，另起一个会话窗口践诺 curl http://localhost:9200 夂箢，要是阐述如下结果，则代表 Elasticsearch 装阁阁获胜。

清单 2. 检讨 Elasticsearch 是否滥觞获胜

elk@elk:~$ curl http://localhost:9200  {     "name" : "elk",    "cluster_name" : "elasticsearch",    "cluster_uuid" : "hqp4Aad0T2Gcd4QyiHASmA",    "version" : {       "number" : "7.3.0",      "build_flavor" : "default",      "build_type" : "tar",      "build_hash" : "de777fa",      "build_date" : "2019-07-24T18:30:11.767338Z",      "build_snapshot" : false,      "lucene_version" : "8.1.0",      "minimum_wire_compatibility_version" : "6.8.0",      "minimum_index_compatibility_version" : "6.0.0-beta1"    },    "tagline" : "You Know, for Search"  }

装阁阁 Kibana

解压装阁阁包：

tar -xzvf kibana-7.3.0-linux-x86_64.tar.gz

编削配阁阁文献 config/kibana.yml ，症结指定 Elasticsearch 的音问。

清单 3. Kibana 配阁阁音问#Elasticsearch主机所在

elasticsearch.hosts: "http://ip:9200"  # 许可长途造访  server.host: "0.0.0.0"  # Elasticsearch用户名 这里素来就是我在服务器滥觞Elasticsearch的用户名  elasticsearch.username: "es"  # Elasticsearch鉴权记号 这里素来就是我在服务器滥觞Elasticsearch的记号  elasticsearch.password: "es"

滥觞 Kibana：

cd kibana-7.3.0-linux-x86_64/bin  ./kibana

在阅读器中造访 http://ip:5601 ，若阐述以下界面，则露出 Kibana 装阁阁获胜。

图 6. Kibana 滥觞获胜界面

图片

ELK 日记平台装阁阁结束后，底下我们就将通过险些的例子来顾念记挂下若何骗捏 ELK，下文将阔别先容若何将 Spring Boot 日记和 Nginx 日记交由 ELK 领路。

在 Spring Boot 中骗捏 ELK

首先我们须要设立一个 Spring Boot 的项目，曾经我写过一篇著述先容 若何骗捏 AOP 来陆续责罚 Spring Boot 的 Web 日记 ，本文的 Spring Boot 项目就设立在这篇著述的根柢之上。

编削并陈设 Spring Boot 项目

在项目 resources 目次下设立 spring-logback.xml 配阁阁文献。

清单 4. Spring Boot 项目 Logback 的配阁阁

Logback For demo Mobile      ...                  ...          %d{ yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{ 25} ${ appName} -%msg%n          ...            ...  

以上本色节减了许多本色，您能够在源码中赢得捏。在上面的配阁阁中我们界说了一个名为 ROLLING_FILE 的 Appender 过去记文献中输出指定花色的日记。而上面的 pattern 标签正是险些日记花色的配阁阁，通过上面的配阁阁，我们指定输出了期间、线程、日记级别、logger（通常为日记打印方位类的全阶梯）以及服务称谓等音问。

将项目打包，并陈设到一台 Ubuntu 服务器上。

清单 5. 打包并陈设 Spring Boot 项目

# 打包夂箢  mvn package -Dmaven.test.skip=true  # 陈设夂箢  java -jar sb-elk-start-0.0.1-SNAPSHOT.jar

稽查日记文献， logback 配阁阁文献中我将日记寄阁阁在 /log/sb-log.log 文献中，践诺 more /log/sb-log.log 夂箢，阐述以下结果露出陈设获胜。

图 7. Spring Boot 日记文献

配阁阁 Shipper 角色 Logstash

Spring Boot 项目陈设获胜之后，我们还须要在面前陈设的迟钝上装阁阁并配阁阁 Shipper 角色的 Logstash。Logstash 的装阁阁进程在 ELK 平台搭建末节中已有提到，这里不再赘述。

装阁阁结束后，我们须要编纂 Logstash 的配阁阁文献，以赞助从日记文献中采集日记并输出到 Redis 音问管道中，Shipper 的配阁阁如下所示。

清单 6. Shipper 角色的 Logstash 的配阁阁

input {       file {           path => [              # 这里填写须要监控的文献              "/log/sb-log.log"          ]      }  }    output {       # 输出到redis      redis {           host => "10.140.45.190"   # redis主机所在          port => 6379              # redis端标语          db => 8                   # redis数据库编号          data_type => "channel"    # 骗捏揭橥/订阅模式          key => "logstash_list_0"  # 揭橥通道称谓      }  }

素来 Logstash 的配阁阁是与前面提到的 Logstash 管道华厦三个部门（输入、过滤器、输出）逐一对应的，只然而这里我们不须要过滤器是以就莫得写出来。上面配阁阁中 Input 骗捏的数据源是文献规范的，只须要配阁阁上须要采集的本机日记文献阶梯即可。Output 描述数据若何输出，这里配阁阁的是输出到 Redis。

Redis 的配阁阁 data_type 可选值有 channel 和 list 两个。channel 是 Redis 的揭橥/订阅通讯模式，而 list 是 Redis 的队列数据结构，两者都能够用来落成编制间有序的音问异步通讯。

channel 相比 list 的长处是，铲除了揭橥者和订阅者之间的耦合。举个例子，一个 Indexer 在链接读捏 Redis 华厦记载，而今想进去第二个 Indexer，要是骗捏 list ，就会阐述上一笔记载被第一个 Indexer 捏走，而下一笔记载被第二个 Indexer 捏走的状态，两个 Indexer 之间生长了较量，招致任何一方都莫得读到齐备的日记。

channel 就能够预防这种状态。这里 Shipper 角色的配阁阁文献和底下将要提到的 Indexer 角色的配阁阁文献中都骗捏了 channel 。

配阁阁 Indexer 角色 Logstash

配阁阁好 Shipper 角色的 Logstash 后，我们还须要配阁阁 Indexer 角色 Logstash 以赞助从 Redis 摄捏日记数据，并通过过滤器领路后存储到 Elasticsearch 中，其配阁阁本色如下所示。

清单 7. Indexer 角色的 Logstash 的配阁阁

input {       redis {           host      => "192.168.142.131"    # redis主机所在          port      => 6379               # redis端标语          db        => 8                  # redis数据库编号          data_type => "channel"          # 骗捏揭橥/订阅模式          key       => "sb-logback"  # 揭橥通道称谓      }  }    filter {        #界说数据的花色       grok {          match => {  "message" => "%{ TIMESTAMP_ISO8601:time} \[%{ NOTSPACE:threadName}\] %{ LOGLEVEL:level}  %{ DATA:logger} %{ NOTSPACE:applicationName} -(?:.*=%{ NUMBER:timetaken}ms|)"}       }  }    output {       stdout { }      elasticsearch {           hosts => "localhost:9200"          index => "logback"     }  }

与 Shipper 迥异的是，Indexer 的管道中我们界说了过滤器，也正是在这里将日记领路成结构化的数据。底下是我截捏的一条 logback 的日记本色：

清单 8. Spring Boot 项目输出的一条日记

2019-08-11 18:01:31.602 [http-nio-8080-exec-2] INFO  c.i.s.aop.WebLogAspect sb-elk -接口日记  POST请求视察接口遣散调用:耗时=11ms,result=BaseResponse{ code=10000, message='独霸获胜'}

在 Filter 中我们骗捏 Grok 插件从上面这条日记中领路出了期间、线程称谓、Logger、服务称谓以及接口耗时几个字段。Grok 又是若何职业的呢？

1. message 字段是 Logstash 寄阁阁采集到的数据的字段， match = { "message" => ...} 代表是对日记本色做责罚。
2. Grok 本质上亦然通过正则表达式来领路数据的，上面阐述的 TIMESTAMP_ISO8601 、 NOTSPACE 等都是 Grok 内阁阁的 patterns。
3. 我们编纂的领路字符串能够骗捏 Grok Debugger 来视察是否确实，这样预防了重复在确实环境中校验领路规章确实实性。

稽查服从

颠末上面的症结，我们曾经结束了通盘 ELK 平台的搭建以及 Spring Boot 项目的接入。底下我们遵照以下症结践诺极少独霸来顾念记挂下服从。

滥觞 Elasticsearch，滥觞夂箢在 ELK 平台搭建 末节中有提到，这里不赘述（Kibana 滥觞同）。滥觞 Indexer 角色的 Logstash。

# 长入到 Logstash 的解压目次，而后践诺底下的夂箢  bin/logstash -f indexer-logstash.conf

滥觞 Kibana。

滥觞 Shipper 角色的 Logstash。

# 长入到 Logstash 的解压目次，而后践诺底下的夂箢              bin/logstash -f shipper-logstash.conf

调用 Spring Boot 接口，此时该当曾经罕见据写入到 ES 中了。

在阅读器中造访 http://ip:5601 ，打户口 Kibana 的 Web 界面，而且如下图所示补充 logback 索引。

图 8. 在 Kibana 中补充 Elasticsearch 索引

图片

长入 Discover 界面，采纳 logback 索引，就能够顾念记挂到日记数据了，如下图所示。

图 9. ELK 日记稽查

图片

在 Nginx 中骗捏 ELK

肯定通过上面的症结您曾经获胜的搭建起了自身的 ELK 实时日记平台，而且接入了 Logback 规范的日记。然而本质场景下，险些不行能惟有一种规范的日记，底下我们就再在上面症结的根柢之上接入 Nginx 的日记。

自然这一步的请求是我们须要在服务器上装阁阁 Nginx，险些的装阁阁进程网上有许多先容，这里不再赘述。稽查 Nginx 的日记如下（Nginx 的造访日记默许在 /var/log/nginx/access.log 文献中）。

清单 9. Nginx 的造访日记

192.168.142.1 - - [17/Aug/2019:21:31:43 +0800] "GET /weblog/get-test?name=elk HTTP/1.1"  200 3 "http://192.168.142.131/swagger-ui.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64)  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"

雷同，我们须要为此日记编纂一个 Grok 领路规章，如下所示：

清单 10. 针对 Nginx 造访日记的 Grok 领路规章

%{ IPV4:ip} \- \- \[%{ HTTPDATE:time}\] "%{ NOTSPACE:method} %{ DATA:requestUrl}  HTTP/%{ NUMBER:httpVersion}" %{ NUMBER:httpStatus} %{ NUMBER:bytes}  "%{ DATA:referer}" "%{ DATA:agent}"

结束上面这些之后的症结点是 Indexer 规范的 Logstash 须要赞助两种规范的输入、过滤器以及输出，若何赞助呢？首先须要给输入指定规范，而后再遵照迥异的输入规范走迥异的过滤器和输出，如下所示。

清单 11. 赞助两种日记输入的 Indexer 角色的 Logstash 配阁阁

input {       redis {           type      => "logback"          ...      }      redis {          type       => "nginx"         ...      }  }    filter {        if [type] == "logback" {            ...       }       if [type] == "nginx" {            ...       }  }    output {       if [type] == "logback" {           ...      }      if [type] == "nginx" {          ...      }  }

我的 Nginx 与 Spring Boot 项目陈设在统一台迟钝上，是以还需编削 Shipper 规范的 Logstash 的配阁阁以赞助两种规范的日记输入和输出，其配阁阁文献的本色可 点打拼这里赢得捏。

以上配阁阁结束后，我们遵照 稽查服从 章节华厦症结，滥觞 ELK 平台、Shipper 角色的 Logstash、Nginx 以及 Spring Boot 项目,而后在 Kibana 上补充 Nignx 索引后就可同期稽查 Spring Boot 和 Nginx 的日记了，如下图所示。

图 10. ELK 稽查 Nginx 日记

图片

ELK 滥觞

在上面的症结中，ELK 的滥觞进程是我们一个一个的去践诺三大组件的滥觞夂箢的。而且还是在前台滥觞的，意味着要是我们雍塞会话窗口，该组件就会甩手招致通盘 ELK 平台无法骗捏，这在本质职业进程中是不现实的，我们剩下的题目就在于若何使 ELK 在靠山运转。

遵照 《Logstash 最美施行》 一书的选举，我们将骗捏 Supervisor 来解决 ELK 的启停。首先我们须要装阁阁 Supervisor，在 Ubuntu 上践诺 apt-get install supervisor 即可。装阁阁获胜后，我们还须要在 Supervisor 的配阁阁文献中配阁阁 ELK 三大组件（其配阁阁文献默许为 /etc/supervisor/supervisord.conf 文献）。

清单 12. ELK 靠山滥觞

[program:elasticsearch]  envirnotallow=JAVA_HOME="/usr/java/jdk1.8.0_221/"  directory=/home/elk/elk/elasticsearch  user=elk  command=/home/elk/elk/elasticsearch/bin/elasticsearch    [program:logstash]  envirnotallow=JAVA_HOME="/usr/java/jdk1.8.0_221/"  directory=/home/elk/elk/logstash  user=elk  command=/home/elk/elk/logstash/bin/logstash -f /home/elk/elk/logstash/indexer-logstash.conf    [program:kibana]  envirnotallow=LS_HEAP_SIZE=5000m  directory=/home/elk/elk/kibana  user=elk  command=/home/elk/elk/kibana/bin/kibana

遵照以上本色配阁阁结束后，践诺 sudo supervisorctl reload 即可结束通盘 ELK 的滥觞，而且其默许是户口机自启。自然，我们也能够骗捏 sudo supervisorctl start/stop [program_name] 来解决零丁的运用。此外，迎接眷注群众号码猿身手专栏，靠山答复“9527”，送你一份Spring Cloud Aliababa实战顾记挂频！

遣散语

在本教程中，我们主阶梯略了什么是 ELK，而后通过本质独霸和行家通盘搭建了一个 ELK 日记领路平台，而且接入了 Logback 和 Nginx 两种日记。

责任编辑：武晓燕 源泉： 码猿身手专栏 ELK日记平台

泰拉瑞亚铂金矿介绍

求购天津土地建厂