R中的聚类分析:确定最优聚类数量

作为R领域的新手，我不太确定如何选择进行k-均值分析的最佳聚类数量。在绘制以下数据的子集后，多少个簇是合适的?如何进行聚类树突分析?

n = 1000
kk = 10
x1 = runif(kk)
y1 = runif(kk)
z1 = runif(kk)
x4 = sample(x1,length(x1))
y4 = sample(y1,length(y1))
randObs <- function()
{
ix = sample( 1:length(x4), 1 )
iy = sample( 1:length(y4), 1 )
rx = rnorm( 1, x4[ix], runif(1)/8 )
ry = rnorm( 1, y4[ix], runif(1)/8 )
return( c(rx,ry) )
}
x = c()
y = c()
for ( k in 1:n )
{
rPair  =  randObs()
x  =  c( x, rPair[1] )
y  =  c( y, rPair[2] )
}
z <- rnorm(n)
d <- data.frame( x, y, z )
276911 次浏览
小开

如果你的问题是“__abc0”，那么这里有一些选项。关于确定集群数量的维基百科的文章对其中一些方法有很好的回顾。

首先，一些可重复的数据(Q中的数据是…我不清楚):

n = 100
g = 6
set.seed(g)
d <- data.frame(x = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))),
y = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))))
plot(d)

enter image description here

一个。在平方和误差(SSE)碎石图中寻找弯曲或弯头。参见http://www.statmethods.net/advstats/cluster.html &http://www.mattpeeples.net/kmeans.html获取更多信息。肘部在结果图中的位置为kmeans提供了一个合适的簇数:

mydata <- d
wss <- (nrow(mydata)-1)*sum(apply(mydata,2,var))
for (i in 2:15) wss[i] <- sum(kmeans(mydata,
centers=i)$withinss)
plot(1:15, wss, type="b", xlab="Number of Clusters",
ylab="Within groups sum of squares")

我们可以通过这种方法得出4个聚类: enter image description here

两个。你可以使用fpc包中的pamk函数对中位数进行分区来估计集群的数量。

library(fpc)
pamk.best <- pamk(d)
cat("number of clusters estimated by optimum average silhouette width:", pamk.best$nc, "\n")
plot(pam(d, pamk.best$nc))

enter image description here enter image description here

# we could also do:
library(fpc)
asw <- numeric(20)
for (k in 2:20)
asw[[k]] <- pam(d, k) $ silinfo $ avg.width
k.best <- which.max(asw)
cat("silhouette-optimal number of clusters:", k.best, "\n")
# still 4

三个。Calinsky标准:另一种诊断有多少簇适合数据的方法。在本例中，我们尝试1到10组。

require(vegan)
fit <- cascadeKM(scale(d, center = TRUE,  scale = TRUE), 1, 10, iter = 1000)
plot(fit, sortg = TRUE, grpmts.plot = TRUE)
calinski.best <- as.numeric(which.max(fit$results[2,]))
cat("Calinski criterion optimal number of clusters:", calinski.best, "\n")
# 5 clusters!

enter image description here

四个。参数化高斯混合模型通过分层聚类初始化，根据期望最大化的贝叶斯信息准则确定最优模型和簇数

# See http://www.jstatsoft.org/v18/i06/paper
# http://www.stat.washington.edu/research/reports/2006/tr504.pdf
#
library(mclust)
# Run the function to see how many clusters
# it finds to be optimal, set it to search for
# at least 1 model and up 20.
d_clust <- Mclust(as.matrix(d), G=1:20)
m.best <- dim(d_clust$z)[2]
cat("model-based optimal number of clusters:", m.best, "\n")
# 4 clusters
plot(d_clust)

enter image description here enter image description here enter image description here

五个。亲和传播(AP)集群，参见http://dx.doi.org/10.1126/science.1136800

library(apcluster)
d.apclus <- apcluster(negDistMat(r=2), d)
cat("affinity propogation optimal number of clusters:", length(d.apclus@clusters), "\n")
# 4
heatmap(d.apclus)
plot(d.apclus, d)

enter image description here enter image description here

六个。估计聚类数量的差距统计量。另见一些漂亮的图形输出代码。尝试2-10个集群:

library(cluster)
clusGap(d, kmeans, 10, B = 100, verbose = interactive())


Clustering k = 1,2,..., K.max (= 10): .. done
Bootstrapping, b = 1,2,..., B (= 100)  [one "." per sample]:
.................................................. 50
.................................................. 100
Clustering Gap statistic ["clusGap"].
B=100 simulated reference sets, k = 1..10
--> Number of clusters (method 'firstSEmax', SE.factor=1): 4
logW   E.logW        gap     SE.sim
[1,] 5.991701 5.970454 -0.0212471 0.04388506
[2,] 5.152666 5.367256  0.2145907 0.04057451
[3,] 4.557779 5.069601  0.5118225 0.03215540
[4,] 3.928959 4.880453  0.9514943 0.04630399
[5,] 3.789319 4.766903  0.9775842 0.04826191
[6,] 3.747539 4.670100  0.9225607 0.03898850
[7,] 3.582373 4.590136  1.0077628 0.04892236
[8,] 3.528791 4.509247  0.9804556 0.04701930
[9,] 3.442481 4.433200  0.9907197 0.04935647
[10,] 3.445291 4.369232  0.9239414 0.05055486
以下是Edwin Chen实现差距统计的输出: enter image description here

七个。你可能也会发现用clustergrams来探索你的数据来可视化集群分配是很有用的，更多细节请参见http://www.r-statistics.com/2010/06/clustergram-visualization-and-diagnostics-for-cluster-analysis-r-code/。

八个。NbClust包提供了30个索引来确定数据集中簇的数量。

library(NbClust)
nb <- NbClust(d, diss=NULL, distance = "euclidean",
method = "kmeans", min.nc=2, max.nc=15,
index = "alllong", alphaBeale = 0.1)
hist(nb$Best.nc[1,], breaks = max(na.omit(nb$Best.nc[1,])))
# Looks like 3 is the most frequently determined number of clusters
# and curiously, four clusters is not in the output at all!

enter image description here

如果你的问题是“我如何生成一个树状图来可视化我的聚类分析的结果?"”，那么你应该从这些开始:

http://www.statmethods.net/advstats/cluster.html

http://www.r-tutor.com/gpu-computing/clustering/hierarchical-cluster-analysis

http://gastonsanchez.wordpress.com/2012/10/03/7-ways-to-plot-dendrograms-in-r/和更多奇异的方法:http://cran.r-project.org/web/views/Cluster.html

下面是一些例子:

d_dist <- dist(as.matrix(d))   # find distance matrix
plot(hclust(d_dist))           # apply hirarchical clustering and plot

enter image description here

# a Bayesian clustering method, good for high-dimension data, more details:
# http://vahid.probstat.ca/paper/2012-bclust.pdf
install.packages("bclust")
library(bclust)
x <- as.matrix(d)
d.bclus <- bclust(x, transformed.par = c(0, -50, log(16), 0, 0, 0))
viplot(imp(d.bclus)$var); plot(d.bclus); ditplot(d.bclus)
dptplot(d.bclus, scale = 20, horizbar.plot = TRUE,varimp = imp(d.bclus)$var, horizbar.distance = 0, dendrogram.lwd = 2)
# I just include the dendrogram here

enter image description here

同样适用于高维数据的还有pvclust库，它通过多尺度自举重采样计算分层聚类的p值。下面是文档中的例子(不会像我的例子那样对低维数据起作用):

library(pvclust)
library(MASS)
data(Boston)
boston.pv <- pvclust(Boston)
plot(boston.pv)

enter image description here

小开

很难再加上一个如此详尽的答案。虽然我觉得我们应该在这里提到identify，特别是因为@Ben展示了很多树状图的例子。

d_dist <- dist(as.matrix(d))   # find distance matrix
plot(hclust(d_dist))
clusters <- identify(hclust(d_dist))

identify让你从树状图中交互式地选择集群，并将你的选择存储到一个列表中。按Esc退出交互模式并返回R控制台。注意，列表包含索引，而不是行名(与cutree相反)。

小开

在聚类方法中确定最优k-聚类。我通常使用Elbow方法伴随并行处理，以避免时间消耗。这段代码可以像这样进行采样:

弯头的方法

elbow.k <- function(mydata){
dist.obj <- dist(mydata)
hclust.obj <- hclust(dist.obj)
css.obj <- css.hclust(dist.obj,hclust.obj)
elbow.obj <- elbow.batch(css.obj)
k <- elbow.obj$k
return(k)
}

平行运行弯头

no_cores <- detectCores()
cl<-makeCluster(no_cores)
clusterEvalQ(cl, library(GMD))
clusterExport(cl, list("data.clustering", "data.convert", "elbow.k", "clustering.kmeans"))
start.time <- Sys.time()
elbow.k.handle(data.clustering))
k.clusters <- parSapply(cl, 1, function(x) elbow.k(data.clustering))
end.time <- Sys.time()
cat('Time to find k using Elbow method is',(end.time - start.time),'seconds with k value:', k.clusters)

它工作得很好。

小开

本的回答很精彩。然而，我感到惊讶的是，这里建议使用亲和传播(AP)方法来为k-means方法找到聚类的数量，而在一般情况下，AP在数据聚类方面做得更好。请在《科学》杂志上看到支持这种方法的科学论文:

弗雷，布兰登·J，和德尔伯特·迪埃克。《科学》315.5814(2007):972-976。

所以如果你不倾向于k-means，我建议直接使用AP，它将在不需要知道集群数量的情况下对数据进行聚类:

library(apcluster)
apclus = apcluster(negDistMat(r=2), data)
show(apclus)

如果负欧几里得距离不合适，那么您可以使用同一包中提供的另一种相似度度量。例如，对于基于斯皮尔曼相关性的相似性，这是你需要的:

sim = corSimMat(data, method="spearman")
apclus = apcluster(s=sim)

请注意，提供AP包中的相似性函数只是为了简单起见。事实上，R中的apcluster()函数将接受任何关联矩阵。之前用corSimMat()也可以这样做:

sim = cor(data, method="spearman")

或

sim = cor(t(data), method="spearman")

这取决于你想在你的矩阵上聚类什么(行或cols)。

小开

答案很好。如果您希望使用另一种聚类方法，您可以使用层次聚类并查看数据是如何分割的。

> set.seed(2)
> x=matrix(rnorm(50*2), ncol=2)
> hc.complete = hclust(dist(x), method="complete")
> plot(hc.complete)

enter image description here

根据你需要多少类，你可以把你的树状图切割成;

> cutree(hc.complete,k = 2)
[1] 1 1 1 2 1 1 1 1 1 1 1 1 1 2 1 2 1 1 1 1 1 2 1 1 1
[26] 2 1 1 1 1 1 1 1 1 1 1 2 2 1 1 1 2 1 1 1 1 1 1 1 2

如果你输入?cutree，你会看到定义。如果你的数据集有三个类，它就是cutree(hc.complete, k = 3)。cutree(hc.complete,k = 2)的等价物是cutree(hc.complete,h = 4.9)。

小开

这些方法很棒，但是当试图为更大的数据集找到k时，这些方法在R中可能会非常慢。

我发现的一个很好的解决方案是“RWeka”包，它具有X-Means算法的有效实现——K-Means的扩展版本，可以更好地扩展，并为您确定最佳的集群数量。

首先，您需要确保在您的系统上安装了Weka，并通过Weka的包管理器工具安装了XMeans。

library(RWeka)


# Print a list of available options for the X-Means algorithm
WOW("XMeans")


# Create a Weka_control object which will specify our parameters
weka_ctrl <- Weka_control(
I = 1000,                          # max no. of overall iterations
M = 1000,                          # max no. of iterations in the kMeans loop
L = 20,                            # min no. of clusters
H = 150,                           # max no. of clusters
D = "weka.core.EuclideanDistance", # distance metric Euclidean
C = 0.4,                           # cutoff factor ???
S = 12                             # random number seed (for reproducibility)
)


# Run the algorithm on your data, d
x_means <- XMeans(d, control = weka_ctrl)


# Assign cluster IDs to original data set
d$xmeans.cluster <- x_means$class_ids
小开

一个简单的解决方案是factoextra库。您可以更改聚类方法和计算最佳组数的方法。例如，如果你想知道一个k的最佳簇数-意味着:

数据:mtcars

library(factoextra)
fviz_nbclust(mtcars, kmeans, method = "wss") +
geom_vline(xintercept = 3, linetype = 2)+
labs(subtitle = "Elbow method")

最后，我们得到如下图:

enter image description here

小开

浏览这么多函数而不考虑性能因素是非常令人困惑的。我知道，在可用的包中，除了查找最优的集群数量之外，很少有函数能做很多事情。以下是这些函数的基准测试结果，供任何考虑将这些函数用于他/她的项目的人使用

n = 100
g = 6
set.seed(g)
d <- data.frame(x = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))),
y = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))))




mydata <- d
require(cluster)
require(vegan)
require(mclust)
require(apcluster)
require(NbClust)
require(fpc)


microbenchmark::microbenchmark(
wss = {
wss <- (nrow(mydata)-1)*sum(apply(mydata,2,var))
for (i in 2:15) wss[i] <- sum(kmeans(mydata, centers=i)$withinss)
},
  

fpc = {
asw <- numeric(20)
for (k in 2:20)
asw[[k]] <- pam(d, k) $ silinfo $ avg.width
k.best <- which.max(asw)
},
fpc_1 = fpc::pamk(d),
  

vegan = {
fit <- cascadeKM(scale(d, center = TRUE,  scale = TRUE), 1, 10, iter = 1000)
plot(fit, sortg = TRUE, grpmts.plot = TRUE)
calinski.best <- as.numeric(which.max(fit$results[2,]))
},
  

mclust = {
d_clust <- Mclust(as.matrix(d), G=1:20)
m.best <- dim(d_clust$z)[2]
},
d.apclus = apcluster(negDistMat(r=2), d),
clusGap = clusGap(d, kmeans, 10, B = 100, verbose = interactive()),
NbClust = NbClust(d, diss=NULL, distance = "euclidean",
method = "kmeans", min.nc=2, max.nc=15,
index = "alllong", alphaBeale = 0.1),
  

  

times = 1)

Unit: milliseconds
expr         min          lq        mean      median          uq         max neval
wss    16.83938    16.83938    16.83938    16.83938    16.83938    16.83938     1
fpc   221.99490   221.99490   221.99490   221.99490   221.99490   221.99490     1
fpc_1    43.10493    43.10493    43.10493    43.10493    43.10493    43.10493     1
vegan  1096.08568  1096.08568  1096.08568  1096.08568  1096.08568  1096.08568     1
mclust  1531.69475  1531.69475  1531.69475  1531.69475  1531.69475  1531.69475     1
d.apclus    28.56100    28.56100    28.56100    28.56100    28.56100    28.56100     1
clusGap  1096.50680  1096.50680  1096.50680  1096.50680  1096.50680  1096.50680     1
NbClust 10940.98807 10940.98807 10940.98807 10940.98807 10940.98807 10940.98807     1

我发现fpc包中的pamk函数对我的需求最有用。


提交答案