因为kmeans算法是根据距离求得相似性,故要消除源数据的量纲,这里用scale()将源数据进行Z变化,得到一系列均值为0,方差为1的正态分布。再对每一列数据求和,验证是否变化完毕。如果源数据有取值仅为一值或者严重偏态的数据,验证便不会通过。
这种结果表示验证通过,列求和的数据位于0左右。如果出现下面的情况,则表明前面数据处理有仅有一值的数据,需要处理这样的数据。
距离的计算公式有很多,这里给出常见的几种连续性和离散型计算方式。本文全篇的计算方式均为欧式距离。
聚类的思想较为简单,难点在于要确定初始聚类中心和类别数。如果想自定义初始聚类中心,可先通过采样,用层次法对样本聚类,可以预估k-means的k值和簇中心,以这些k值和簇中心,作为大样本的初始点。对于K值的选取,R中有一个很棒的包,叫NbClust,提供了三十种评价评价指标,用于选择K值,包括聚合优度、轮廓系数以及CCC检验。执行代码如下。
通过结果可以看出,在评价指标中有6个选择分为2类,有5个选择分为3类,有6个选择分为5类。由于奥卡姆剃刀原理存在,系统推荐是分为2类,而基于业务角度思考,分为5类最为可靠。故后续我们将聚类类别分为5类。
由分类分布可知,2类和5类是一样多的票数。
再由kmeans()进行聚类。给定聚类中心为5个,最大迭代20次。算得聚类优度为0.39,给定聚类中心为2个时算得聚类优度为0.13,再次证明选择5类效果更好。