时间序列聚类方法的研究

HULK一线技术杂谈 · 公众号 · · 2018-07-05 18:00

正文

女主宣言

为了保证系统、服务的可靠性和稳定性，监控系统日渐成为每个公司、企业的一个必不可少的系统。随着服务、机器等数量越来越多，如何分析海量时间序列KPI成为我们在智能运维领域首先需要解决的问题。

在众多的时间序列中，有一些序列存在相关性，如果我们能将时序数据进行快速准确地聚类，只对不同类别的数据进行分析，这样就能大大降低后续数据分析与挖掘工作的开销。

PS：丰富的一线技术、多元化的表现形式，尽在“ HULK一线技术杂谈 ”，点关注哦！

背景

由于时间序列的维度一般都比较高，高则上千维、上万维，所以在聚类之前，我们需要使用合理的方法去降低时间序列的维度。时间序列的随机扰动和噪声比较多，如何分析序列的相似度变得相当困难。许多聚类算法，如k-means的效果和参数的选取有密切关系。面对大规模的时序数据，难以人工选取合适的参数，因此我们需要设计更智能的参数选择方法。

本文提出一种基于PCA降维的聚类方法，能够很好地解决上面的问题。

方法研究

该章节一共分为两部分：降维和聚类，接下来我们将详细介绍。

降维

大规模的时序数据集中通常含有数以万计的时序数据实例，每个实例上含有大量的数据点，直接对整个数据集进行聚类将带来巨大的计算开销。因此，本文通过随机采样和维度缩减的手段降低需要考察的实例数目和维度，将采样后的数据集作为聚类模块的输入，降低计算开销。

下面介绍降维的方法。PCA是选择特征，降低特征维度比较常用的方法。python中有现成的算法包，可以将维度降低到自己指定的维度上来。

from sklearn.decomposition import PCA

#维度

d=**

pca=PCA(n_components=d)

newdata = pca.fit_transform(data)

PCA原理就不说明，百度上有一大堆。通过上面的方法就可以将维度降低到自己想要的维度上来。

除了PCA可以实现降维，微软提出了随机分段平均也可以实现时间序列降维的方法，具体详见参考文章一。

聚类

时序数据中的数据曲线模式多种多样，每个类别中含有的曲线数量也有较大差异。面对这种情况，基于密度的聚类方法是一种很好的选择。基于密度的聚类算法正是根据这一思想将相似曲线逐步加入同一聚类簇中，从而能够找出任意形状的聚类簇。特别地，真实的时序数据模式较为复杂，在一个数据集中可能存在多种密度的聚类簇。因此本文中将基于密度的DBSCAN算法改提升聚类准确性。

y_pred = DBSCAN().fit_predict(data)

效果展示

我们对一个机器的五个监控项进行分析，这五个监控项分别为：'cpu.idle', 'load.1min', 'mem.memused.percent', 'df.statistics.used.percent', 'agent.alive'，他们的时序图如下：

时间序列聚类方法的研究

正文

请到「今天看啥」查看全文