摘 要

近年来，随着物联网和移动互联网等新兴事物的迅速兴起，人们在日常生活中产生的数据呈现爆炸性地增长，很多大型IT企业都建立了庞大的数据中心以处理海量的数据。在数据中心的大量普及的同时，企业为了有效的控制成本，提高自身竞争力，因而对传统的监控措施提出了严峻的挑战。

监控存活系统是整个监控系统中重要的组成部分。在实际生产环境中，我们需要对单一数据中心部署的服务从外部进行存活监控，而过去的监控措施存在以下几个问题：

1）从单一节点发起应用层监控，会因为网络的抖动而存在大量的误报，影响监控质量。

2）使用shell脚本来部署监控服务，但是shell在比较复杂的数据处理面前显得能力不足。

3）没有图形化界面直观的展示监控结果。

针对以上问题，本文结合当前流行的分布式概念，以及开源社区提供的相关工具，提出了对应的解决方案，如下：

1）通过分布式的架构，从多个监测点同时向监测目标采样，然后集中判断采样结果的方法来解决误报率高的问题。

2）使用应用广泛且善于处理数据的高级程序设计语言Python来处理数据，不仅可以进行复杂的数据处理，还提高了系统的效率和可靠性。

3）使用开源软件Grafana来实时展示数据，Grafana是业内广泛采用的数据展示软件，它不仅界面非常美观，功能也十分强大。

本文使用虚拟机软件来模拟的真实的应用场景，通过创建多个虚拟机来模拟监测目标、监测点，然后将采样信息汇集到监控中心。监控中心接收到多个监测点的信息后，通过分析判断监测目标失效还是监测点到监测目标的通讯出现问题。

关键词：存活监控；分布式；Python；可视化

Abstract

In recent years, with the Internet of Things and mobile Internet and other emerging things the rapid rise of people in their daily life data presented explosive growth, many large IT companies have established a huge data center to deal with massive data. In the large number of popularization of the data center at the same time, enterprises in order to effectively control costs and improve their competitiveness, and thus the traditional monitoring measures raised a serious challenge.

Monitoring the surviving system is an important part of the overall monitoring system. In the actual production environment, we need to deploy a single data center services from outside the survival monitoring, and the past monitoring measures there are several issues:

1. Starting from a single node application layer monitoring, because of the network jitter

and there are a lot of false positives, affecting the quality of monitoring.

1. Use shell scripts to deploy monitoring services, but the shell in the more complex data

processing in front of the lack of capacity.

1. There is no graphical interface to visualize the monitoring results.

In view of the above problems, this paper puts forward the corresponding solutions according to the popular distributed concepts and the related tools provided by the open source community, as follows:

1. Through the distributed architecture, from a number of monitoring points at the same

time to monitor the target sampling, and then focus on the sampling results to determine the method to solve the problem of high false positives.

1. Using high-level programming language Python, which is widely used and well versed

in data processing, can not only process complex data, but also improve the efficiency and reliability of the system.

1. Using the open source software Grafana to display data in real time, Grafana is widely

used in the industry data display software, it is not only very beautiful interface, the function is also very strong.

This article uses virtual machine software to simulate the real application scenarios, by creating multiple virtual machines to simulate monitoring targets, monitoring points, and then pooling the sampling information to the monitoring center. After receiving the information of multiple monitoring points, the monitoring center has the problem of judging whether the monitoring target fails or the communication point of the monitoring point to the monitoring target.

Key Words: survival monitoring; distributed; python; visualization

目 录

第1章 绪论 1

1.1 研究背景和意义 1

1.2 国内外现状 1

1.3 本文研究内容 2

1.4 论文组织结构 3

第2章 分布式外部监控存活系统模型的分析与设计 4

2.1 传统监控存活系统分析 4

2.2 分布式外部监控存活系统模型设计 5

2.3 分布式外部监控存活系统结构 6

第3章 监测点程序的设计和实现 8

3.1 监测点程序的分析 8

3.2 监测点程序的实现 8

3.2.1 测试监测目标状态 8

3.2.2 时间同步 9

3.2.3 数据传输 10

第4章 Collectd插件及时序分析的设计和实现 13

4.1 Collectd的分析 13

4.2 Collectd 插件和时序分析的实现 14

4.2.1 数据收集 14

4.2.2 时序分析 16

第5章 监控中心的设计和实现 18

5.1 监控中心总体分析 18

5.2 Collectd的应用 18

5.3 Influxdb的分析和应用 19

5.4 Grafana的分析和应用 22

第6章 监控存活系统的测试与分析 25

6.1 系统测试和数据收集 25

6.2 数据分析 28

第7章 总结和展望 30

7.1 总结 30

7.2 展望 30

参考文献 32

致谢 33

第1章 绪论

研究背景和意义

根据CNNIC在2017年1月发布的《中国互联网络发展状况统计报告》^[1]显示，中国的网民数量已经达到了惊人的7.31亿，而手机网民则达到了6.95亿，人均周上网时间达到了26.4小时。这一切都说明移动互联网已经深入人们的日常生活，人们通过手机可以便捷地做各种各样的事情，比如购物、支付、通信、娱乐等。

在人们使用移动互联网带来便利的同时，随之产生了非常庞大的数据^[2]。在这个数据爆炸的时代，数据已经成为了企业正常产生产中媲美物质资源、人力资源的基础生产要素，大数据技术的应用能极大的提高企业的核心竞争力^[3]。由于传统的大型机、小型机价格昂贵，导致企业通过廉价PC构建集群系统来达到超级计算机的计算能力^[4]，于是各个大型IT企业纷纷建立起了很多由普通PC构建的大型数据中心，用以存储、分析、处理数据，从中挖掘出有价值的信息。随着众多数据中心的建立，对现代数据中心的监控成了必须要解决的重要问题之一^[5]，而监控存活则是整个监控系统中极为重要的一个指标。

监控存活系统是由一系列软件构成的一个监控平台，包括后端数据的采集、存储，前端数据的展示。他的目的是为了监测服务的可用性，当数据中心出现故障时可以及时的通知工作人员处理故障，保障服务稳定有效地运行。中国数据中心工作组在《数据中心监控系统技术白皮书》^[6]中对监控系统的发展趋势分析时指出，为了用尽可能少的运营成本获得尽可能高的信息系统可用性，监控系统正朝着可用性、信息化、一体化发展。而传统的监控系统存在效率低下、系统复杂、需要专业人员进行管理等问题，极大地提高了数据中心的运营成本。监控存活系统作为整个监控系统中重要的一环，也存在着相同的趋势和问题。