聊一聊几款流行监控系统，你知道几个？

由于业务的多样性，平台和系统也变得异常的复杂。如何对其进行监控和维护是我们 IT 人需要面对的重要问题。就在这样一个纷繁复杂的环境下，监控系统粉墨登场了。

今天，我们会对 IT 监控系统进行介绍，包括其功能，分类，分层;同时也会介绍几款流行的监控平台。

监控系统的功能

在 IT 运维过程中，常遇到这样的情况：

• 某个业务模块出现问题，运维人员并不知道，发现的时候问题已经很严重了。
• 系统出现瓶颈了，CPU 占用持续升高，内存不足，磁盘被写满;网络请求突增，超出网关承受的压力。

以上这些问题一旦发生，会对我们的业务产生巨大的影响。因此，每个公司或者 IT 团队都会针对此类情况建立自己的 IT 监控系统。

监控系统工作流程图

其功能包括：

• 对服务，系统，平台的运行状态实时监控。
• 收集服务，系统，平台的运行信息。
• 通过收集信息的分析结果，预知存在的故障风险，并采取行动。
• 根据对风险的评估，进行故障预警。
• 一旦发生故障，第一时间发出告警信息。
• 通过监控数据，定位故障，协助生成解决方案。
• 最终保证系统持续、稳定、安全运行。
• 监控数据可视化，便于统计，按照一定周期导出、归档，用于数据分析和问题复盘。

监控系统的分类

既然监控系统对我们意义重大，针对不同场景把监控系统分为三类，分别是：

• 日志类
• 调用链类
• 度量类

日志类

通常我们在系统和业务级别上加入一些日志代码，记录一些日志信息，方便我们在发现问题的时候查找。

这些信息会与事件做相关，例如：用户登录，下订单，用户浏览某件商品，一小时以内的网关流量，用户平均响应时间等等。

这类以日志的记录和查询的解决方案比较多。比如 ELK 方案(Elasticsearch+Logstash+Kibana)，使用ELK(Elasticsearch、Logstash、Kibana)+Kafka/Redis/RabbitMQ 来搭建一个日志系统。

ELK 结合 Redis/Kafka/RabbitMQ 实现日志类监控

程序内部通过 Spring AOP 记录日志，Beats 收集日志文件，然后用 Kafka/Redis/RabbitMQ 将其发送给 Logstash，Logstash 再将日志写入 Elasticsearch。

最后，使用 Kibana 将存放在 Elasticsearch 中的日志数据显示出来，形式可以是实时数据图表。

调用链类

对于服务较多的系统，特别是微服务系统。一次服务的调用有可能涉及到多个服务。A 调用 B，B 又要调用 C，好像一个链条一样，形成了服务调用链。

调用链就是记录一个请求经过所有服务的过程。请求从开始进入服务，经过不同的服务节点后，再返回给客户端，通过调用链参数来追踪全链路行为。从而知道请求在哪个环节出了故障，系统的瓶颈在哪儿。

调用链监控的实现原理如下：

①Java 探针，字节码增强

Java 代码运行原理图

在介绍这种方式之前，我们先来复习一下 Java 代码运行的原理。通常我们会把 Java 源代码，通过“Java 编译器”编译成 Class 文件。再把这个 Class 的字节码文件装载到“类装载器”中进行字节码的验证。

最后，把验证过后的字节码发送到“Java 解释器”和“及时编译器”交给“Java 运行系统”运行。

Java 探针，字节码增强的方式就是利用 Java 代理，这个代理是运行方法之前的拦截器。

在 JVM 加载 Class 二进制文件的时候，利用 ASM 动态的修改加载的 Class 文件，在监控的方法前后添加需要监控的内容。

例如：添加计时语句，用于记录方法耗时。将方法耗时存入处理器，利用栈先特性(先进后出)处理方法调用顺序。

每当请求处理结束后，将耗时方法和入参 map 输出到文件中，然后根据 map 中相应参数，区分出耗时业务。

最后将相应耗时文件取下来，转化为 xml 格式并进行解析，通过浏览器将代码分层结构展示出来。

Java 探针工具原理图

备注：ASM 是一个 Java 字节码操纵框架，它可以动态生成类或者增强既有类的功能。

ASM 可以直接产生二进制 Class 文件，可以在类被载入 Java 虚拟机之前改变类行为。

Java Class 被存储在 .class文件里，文件拥有元数据来解析类中的元素：类名称、方法、属性以及 Java 字节码(指令)。

ASM 从类文件中读入信息后，能够改变类行为，分析类信息，甚至能够生成新类。

②拦截请求

获取每次请求服务中的信息来实现跟踪的。这里以 Zipkin+Slueth 为例说明其原理。

Sleuth 提供链路追踪。由于一个请求会涉及到多个服务的互相调用，而这种调用往往成链式结构，经过多次层层调用以后请求才会返回。常常使用 Sleuth 追踪整个调用过程，方便理清服务间的调用关系。

Sleuth 服务调用追踪图例

每次请求都会生成一个 Trace ID，如上图所示这个 Trace ID 在整个 Request 和 Response 过程中都会保持一致，不论经过了多少个服务。这是为了方便记录一次调用的整个生命周期。

再看每次请求的时候都会有一个 Span ID，这里的 Span 是 Sleuth 服务跟踪的最小单元，每经过一个服务，每次 Request 和 Response 这个值都会有所不同，这是为了区分不同的调用动作。

针对每个调用的动作，Sleuth 都做了标示如下：

• Server Received 是服务器接受，也就是服务端接受到请求的意思。
• Client Sent 是客户端发送，也就是这个服务本身不提供响应，需要调用其他的服务提供该响应，所以这个时候是作为客户端发起请求的。
• Server Sent 是服务端发送，看上图SERVICE 3 收到请求后，由于他是最终的服务提供者，所以作为服务端，他需要把请求发送给调用者。
• Client Received 是客户端接收，作为发起调用的客户端接受到服务端返回的请求。

实际上 Sleuth 就是通过上述方式把每次请求记录一个统一的 Trace ID，每个请求的详细步骤记作 Span ID。

每次发起请求或者接受请求的状态分别记录成 Server Received，Client Sent，Server Sent，Client Received 四种状态来完成这个服务调用链路的跟踪的。

Sleuth 服务调用追踪图例

在调用服务的链路上每个被调用的服务节点都会通过 Parent ID 来记录发起调用服务的 Span ID，由于 Span ID 是唯一确认最小服务单元的，所以知道了 Parent 的 Span ID 也就知道了谁调用自己了。

度量类

实现了时序数据库(TimeSeriesData，TSD)的监控方案。实际上就是记录一串以时间为维度的数据，然后再通过聚合运算，查看指标数据和指标趋势。说白了，就是描述某个被测主体在一段时间内的测量值变化(度量)。

由于 IT 基础设施，运维监控和互联网监控的特性，这种方式被广泛应用。一般对时序数据进行建模分为三个部分，分别是：主体，时间点和测量值。

通过这个例子来看一下，时序数据库的数学模型，例如：需要监控服务器的 In/Out 平均流量：

• 整个监控的数据库称为“Metric”，它包含了所有监控的数据。类似关系型数据库中的 Table。
• 每条监控数据，称为“Point”，类似于关系型数据库中的 Row 的概念。
• 每个“Point”都会定义一个时间戳“Timestamp”，将其作为索引，表明数据采集的时间。
• “Tag”作为维度列，表示监控数据的属性。
• “Field”作为指标列，作为测量值，也就是测量的结果。

时序数据库数据模型图例

时序数据库的存储原理，关系型数据库存储采用的是 B tree，虽然降低了数据查询的磁盘寻道时间，但是无法解决大量数据写入时的磁盘效率。

由于监控系统的应用场景，经常会遇到大批量的数据写入，所以我们会选择 LSMtree(Log Structured Merge Tree)存储时序数据库。

LSMtree(Log Structured Merge Tree)，从字面意义上理解，记录的数据按照日志结构(Log Structured)追加到系统中，然后通过合并树(Merge Tree)的方式将其合并。

来看一个 LevelDB 的例子，方便我们理解，LSM-tree 被分成三种文件：

• 接收写入请求的 memtable 文件(内存中)
• 不可修改的 immutable memtable 文件(内存中)
• 磁盘上的 SStable文件(Sorted String Table)，有序字符串表，这个有序的字符串就是数据的key。SStable 一共有七层(L0 到 L6)。下一层的总大小限制是上一层的 10 倍。

LSMtree LevelDB 存储示意图

LSMtree 写入流程：

• 将数据追加到日志 WAL(Write Ahead Log)中，写入日志的目的是为了防止内存数据丢失，可以及时恢复。
• 把数据写到 memtable 中。
• 当 memtable 满了(超过一定阀值)，就将这个 memtable 转入 immutable memtable 中，用新的 memtable 接收新的数据请求。
• immutablememtable 一旦写满了， 就写入磁盘。并且先存储 L0 层的 SSTable 磁盘文件，此时还不需要做文件的合并。

每层的所有文件总大小是有限制的(8MB，10MB，100MB… 1TB)。从 L1 层往后，每下一层容量增大十倍。

• 某一层的数据文件总量超过阈值，就在这一层中选择一个文件和下一层的文件进行合并。

如此这般上层的数据都是较新的数据，查询可以从上层开始查找，依次往下，并且这些数据都是按照时间序列存放的。

监控系统的分层

谈完了监控系统的分类，再来聊聊监控系统的分层。用户请求到数据返回，经历系统中的层层关卡。

监控系统分层示意图

一般我们将监控系统分为五层来考虑，当然也有人分成三层，大致的意思都差不多，仅供