R中的聚类分析：确定最佳聚类数

作为R的新手，我不太确定如何选择最佳数量的聚类来进行k均值分析。绘制以下数据的子集后，合适的簇数是多少？如何执行群集树分析

n = 1000
kk = 10    
x1 = runif(kk)
y1 = runif(kk)
z1 = runif(kk)    
x4 = sample(x1,length(x1))
y4 = sample(y1,length(y1)) 
randObs <- function()
{
  ix = sample( 1:length(x4), 1 )
  iy = sample( 1:length(y4), 1 )
  rx = rnorm( 1, x4[ix], runif(1)/8 )
  ry = rnorm( 1, y4[ix], runif(1)/8 )
  return( c(rx,ry) )
}  
x = c()
y = c()
for ( k in 1:n )
{
  rPair  =  randObs()
  x  =  c( x, rPair[1] )
  y  =  c( y, rPair[2] )
}
z <- rnorm(n)
d <- data.frame( x, y, z )

n=1000
kk=10
x1=runif（kk）
y1=runif（kk）
z1=runif（kk）
x4=样品（x1，长度（x1））
y4=样品（y1，长度（y1））
randObs如果您的问题是
我如何确定有多少个集群适合对我的数据进行kmeans分析？
，那么这里有一些选项。《关于确定集群数量的研究》对其中一些方法进行了很好的回顾

首先，一些可复制的数据（Q中的数据……我不清楚）：



以下是Edwin Chen实施差距统计的结果：

七个。您可能还发现，使用clustergrams查看数据以可视化集群分配非常有用，有关更多详细信息，请参阅

八个。提供30个索引来确定数据集中的群集数

library(NbClust)
nb <- NbClust(d, diss=NULL, distance = "euclidean",
        method = "kmeans", min.nc=2, max.nc=15, 
        index = "alllong", alphaBeale = 0.1)
hist(nb$Best.nc[1,], breaks = max(na.omit(nb$Best.nc[1,])))
# Looks like 3 is the most frequently determined number of clusters
# and curiously, four clusters is not in the output at all!



这些有什么帮助吗？
很难再加上如此详尽的答案。虽然我觉得我们应该在这里提到
identify
，特别是因为@Ben展示了很多树状图示例

d_dist <- dist(as.matrix(d))   # find distance matrix 
plot(hclust(d_dist)) 
clusters <- identify(hclust(d_dist))

d_dist以确定聚类方法中的最优k-聚类。我通常使用
弯头
方法进行并行处理，以避免耗时。此代码的示例如下所示：

肘部法

elbow.k <- function(mydata){
dist.obj <- dist(mydata)
hclust.obj <- hclust(dist.obj)
css.obj <- css.hclust(dist.obj,hclust.obj)
elbow.obj <- elbow.batch(css.obj)
k <- elbow.obj$k
return(k)
}

肘部.k本的精彩回答。然而，我感到惊讶的是，这里提出的亲和传播（AP）方法只是为了找到k-means方法的聚类数，通常AP在聚类数据方面做得更好。请参见《科学》中支持该方法的科学论文：

弗雷、布伦丹J.和德尔伯特·杜克。“通过在数据点之间传递消息进行聚类”，《科学》315.5814（2007）：972-976.

因此，如果您不偏向k-means，我建议直接使用AP，它将对数据进行聚类，而无需知道聚类的数量：

library(apcluster)
apclus = apcluster(negDistMat(r=2), data)
show(apclus)

如果负欧几里德距离不合适，则可以使用同一软件包中提供的其他相似性度量。例如，对于基于斯皮尔曼相关性的相似性，您需要：

sim = corSimMat(data, method="spearman")
apclus = apcluster(s=sim)

请注意，AP软件包中的相似功能只是为了简单起见提供的。事实上，R中的apcluster（）函数将接受任何关联矩阵。与之前的corSimMat（）相同，可以通过以下方法完成：

sim = cor(data, method="spearman")

或

根据您想要在矩阵上聚集的内容（行或列）。
答案非常好。如果你想给另一种聚类方法一个机会，你可以使用分层聚类，看看数据是如何被分割的

> set.seed(2)
> x=matrix(rnorm(50*2), ncol=2)
> hc.complete = hclust(dist(x), method="complete")
> plot(hc.complete)


根据您需要的类的数量，您可以将树状图切割为

> cutree(hc.complete,k = 2)
 [1] 1 1 1 2 1 1 1 1 1 1 1 1 1 2 1 2 1 1 1 1 1 2 1 1 1
[26] 2 1 1 1 1 1 1 1 1 1 1 2 2 1 1 1 2 1 1 1 1 1 1 1 2

如果键入
？cutree
，您将看到定义。如果您的数据集有三个类，那么它将是简单的
cutree（hc.complete，k=3）
。
cutree（hc.complete，k=2）
的等价物是
cutree（hc.complete，h=4.9）
这些方法非常好，但是当试图为更大的数据集找到k时，这些方法在R中可能非常慢

我找到的一个很好的解决方案是“RWeka”包，它有效地实现了X-Means算法，这是K-Means的一个扩展版本，可以更好地扩展，并将为您确定最佳的集群数量

首先，您需要确保系统上安装了Weka，并通过Weka的包管理器工具安装了XMeans

library(RWeka)

# Print a list of available options for the X-Means algorithm
WOW("XMeans")

# Create a Weka_control object which will specify our parameters
weka_ctrl <- Weka_control(
    I = 1000,                          # max no. of overall iterations
    M = 1000,                          # max no. of iterations in the kMeans loop
    L = 20,                            # min no. of clusters
    H = 150,                           # max no. of clusters
    D = "weka.core.EuclideanDistance", # distance metric Euclidean
    C = 0.4,                           # cutoff factor ???
    S = 12                             # random number seed (for reproducibility)
)

# Run the algorithm on your data, d
x_means <- XMeans(d, control = weka_ctrl)

# Assign cluster IDs to original data set
d$xmeans.cluster <- x_means$class_ids

库（RWeka）
#打印X-Means算法的可用选项列表
哇（“XMeans”）
#创建一个Weka_控制对象，该对象将指定我们的参数
weka_ctrl一个简单的解决方案是库
factoextra
。您可以更改聚类方法和计算最佳组数的方法。例如，如果您想知道k-表示的最佳簇数：

数据：mtcars
最后，我们得到一个图，如：

你应该看看。它实现了三十多种方法来确定集群的最佳数量，
对于最后一个密度图（带AU/BP的集群密度图），有时在具有相对较高p值的组周围绘制矩形是很方便的：pvrect（fit，alpha=0.95）这正是我想要的。我是R的新手，我会花很长时间找到这个。谢谢@Ben如此详细的回答。你能告诉我在哪里可以找到每种方法背后的逻辑吗，比如他们用什么度量或标准来确定最佳集群数量，或者每种方法之间有什么不同。我的老板想让我告诉他，这样我们就可以决定使用哪种方法了。提前谢谢。@Aleksandr Blekh您也可以尝试将任何图形方法转换为分析方法。例如，我使用“肘部”方法（首先在答案中提到），但尝试分析性地找到它。弯头点可以是曲率最大的点。对于离散数据，它是具有最大二阶中心差的点（类似于连续数据的最大二阶导数）。见和。我猜其他图形方法也可以转换成分析。“AndreySapegin：我可以，但是：1）坦白地说，我不认为它是一个优雅的解决方案（IMHO，在大多数情况下，视觉方法应该保持视觉化，而分析方法应该保持分析）；2） 我已经用一个或多个
R
软件包（在我的GitHub上-欢迎您查看）找到了这个问题的分析解决方案；3） 我的解决方案似乎工作得很好，另外，已经有一段时间了，我已经完成了我的论文软件，论文报告（论文），目前我正在准备答辩：-）。不管怎样，我
d_dist <- dist(as.matrix(d))   # find distance matrix 
plot(hclust(d_dist))           # apply hirarchical clustering and plot

# a Bayesian clustering method, good for high-dimension data, more details:
# http://vahid.probstat.ca/paper/2012-bclust.pdf
install.packages("bclust")
library(bclust)
x <- as.matrix(d)
d.bclus <- bclust(x, transformed.par = c(0, -50, log(16), 0, 0, 0))
viplot(imp(d.bclus)$var); plot(d.bclus); ditplot(d.bclus)
dptplot(d.bclus, scale = 20, horizbar.plot = TRUE,varimp = imp(d.bclus)$var, horizbar.distance = 0, dendrogram.lwd = 2)
# I just include the dendrogram here

library(pvclust)
library(MASS)
data(Boston)
boston.pv <- pvclust(Boston)
plot(boston.pv)

d_dist <- dist(as.matrix(d))   # find distance matrix 
plot(hclust(d_dist)) 
clusters <- identify(hclust(d_dist))

elbow.k <- function(mydata){
dist.obj <- dist(mydata)
hclust.obj <- hclust(dist.obj)
css.obj <- css.hclust(dist.obj,hclust.obj)
elbow.obj <- elbow.batch(css.obj)
k <- elbow.obj$k
return(k)
}

no_cores <- detectCores()
    cl<-makeCluster(no_cores)
    clusterEvalQ(cl, library(GMD))
    clusterExport(cl, list("data.clustering", "data.convert", "elbow.k", "clustering.kmeans"))
 start.time <- Sys.time()
 elbow.k.handle(data.clustering))
 k.clusters <- parSapply(cl, 1, function(x) elbow.k(data.clustering))
    end.time <- Sys.time()
    cat('Time to find k using Elbow method is',(end.time - start.time),'seconds with k value:', k.clusters)

library(apcluster)
apclus = apcluster(negDistMat(r=2), data)
show(apclus)

sim = corSimMat(data, method="spearman")
apclus = apcluster(s=sim)

sim = cor(data, method="spearman")

sim = cor(t(data), method="spearman")

> set.seed(2)
> x=matrix(rnorm(50*2), ncol=2)
> hc.complete = hclust(dist(x), method="complete")
> plot(hc.complete)

> cutree(hc.complete,k = 2)
 [1] 1 1 1 2 1 1 1 1 1 1 1 1 1 2 1 2 1 1 1 1 1 2 1 1 1
[26] 2 1 1 1 1 1 1 1 1 1 1 2 2 1 1 1 2 1 1 1 1 1 1 1 2

library(RWeka)

# Print a list of available options for the X-Means algorithm
WOW("XMeans")

# Create a Weka_control object which will specify our parameters
weka_ctrl <- Weka_control(
    I = 1000,                          # max no. of overall iterations
    M = 1000,                          # max no. of iterations in the kMeans loop
    L = 20,                            # min no. of clusters
    H = 150,                           # max no. of clusters
    D = "weka.core.EuclideanDistance", # distance metric Euclidean
    C = 0.4,                           # cutoff factor ???
    S = 12                             # random number seed (for reproducibility)
)

# Run the algorithm on your data, d
x_means <- XMeans(d, control = weka_ctrl)

# Assign cluster IDs to original data set
d$xmeans.cluster <- x_means$class_ids

library(factoextra)   
fviz_nbclust(mtcars, kmeans, method = "wss") +
      geom_vline(xintercept = 3, linetype = 2)+
      labs(subtitle = "Elbow method")