Python 如何获取每个集群中的样本?
我正在使用sklearn.cluster KMeans包。一旦我完成了聚类,如果我需要知道哪些值被分组在一起,我该怎么做 假设我有100个数据点,KMeans给了我5个集群现在我想知道哪些数据点在集群5中。我该怎么做。Python 如何获取每个集群中的样本?,python,scikit-learn,cluster-analysis,k-means,Python,Scikit Learn,Cluster Analysis,K Means,我正在使用sklearn.cluster KMeans包。一旦我完成了聚类,如果我需要知道哪些值被分组在一起,我该怎么做 假设我有100个数据点,KMeans给了我5个集群现在我想知道哪些数据点在集群5中。我该怎么做。 是否有一个函数提供集群id并列出该集群中的所有数据点?您可以查看属性标签 比如说 km = KMeans(2) km.fit([[1,2,3],[2,3,4],[5,6,7]]) print km.labels_ output: array([1, 1, 0], dtype=in
是否有一个函数提供集群id并列出该集群中的所有数据点?您可以查看属性
标签
比如说
km = KMeans(2)
km.fit([[1,2,3],[2,3,4],[5,6,7]])
print km.labels_
output: array([1, 1, 0], dtype=int32)
正如您所看到的,第一点和第二点是集群
1
,集群0
中的最后一点可以查看属性标签
比如说
km = KMeans(2)
km.fit([[1,2,3],[2,3,4],[5,6,7]])
print km.labels_
output: array([1, 1, 0], dtype=int32)
正如您所看到的,第一点和第二点是集群1
,集群0
中的最后一点,如果您有一个大型数据集,并且需要按需提取集群,那么您将看到使用。以下是iris数据集的一个示例:
from sklearn.cluster import KMeans
from sklearn import datasets
import numpy as np
centers = [[1, 1], [-1, -1], [1, -1]]
iris = datasets.load_iris()
X = iris.data
y = iris.target
km = KMeans(n_clusters=3)
km.fit(X)
定义一个函数来提取您提供的集群id的索引。(这里有两个函数,对于基准测试,它们都返回相同的值):
假设您想要群集中的所有样本2
:
ClusterIndicesNumpy(2, km.labels_)
array([ 52, 77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])
Numpy赢得了基准:
%timeit ClusterIndicesNumpy(2,km.labels_)
100000 loops, best of 3: 4 µs per loop
%timeit ClusterIndicesComp(2,km.labels_)
1000 loops, best of 3: 479 µs per loop
现在,您可以提取所有群集2数据点,如下所示:
X[ClusterIndicesNumpy(2,km.labels_)]
array([[ 6.9, 3.1, 4.9, 1.5],
[ 6.7, 3. , 5. , 1.7],
[ 6.3, 3.3, 6. , 2.5],
... #truncated
仔细检查上面截断数组中的前三个索引:
print X[52], km.labels_[52]
print X[77], km.labels_[77]
print X[100], km.labels_[100]
[ 6.9 3.1 4.9 1.5] 2
[ 6.7 3. 5. 1.7] 2
[ 6.3 3.3 6. 2.5] 2
如果您有一个大的数据集,并且需要按需提取集群,那么您将看到使用。以下是iris数据集的一个示例:
from sklearn.cluster import KMeans
from sklearn import datasets
import numpy as np
centers = [[1, 1], [-1, -1], [1, -1]]
iris = datasets.load_iris()
X = iris.data
y = iris.target
km = KMeans(n_clusters=3)
km.fit(X)
定义一个函数来提取您提供的集群id的索引。(这里有两个函数,对于基准测试,它们都返回相同的值):
假设您想要群集中的所有样本2
:
ClusterIndicesNumpy(2, km.labels_)
array([ 52, 77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])
Numpy赢得了基准:
%timeit ClusterIndicesNumpy(2,km.labels_)
100000 loops, best of 3: 4 µs per loop
%timeit ClusterIndicesComp(2,km.labels_)
1000 loops, best of 3: 479 µs per loop
现在,您可以提取所有群集2数据点,如下所示:
X[ClusterIndicesNumpy(2,km.labels_)]
array([[ 6.9, 3.1, 4.9, 1.5],
[ 6.7, 3. , 5. , 1.7],
[ 6.3, 3.3, 6. , 2.5],
... #truncated
仔细检查上面截断数组中的前三个索引:
print X[52], km.labels_[52]
print X[77], km.labels_[77]
print X[100], km.labels_[100]
[ 6.9 3.1 4.9 1.5] 2
[ 6.7 3. 5. 1.7] 2
[ 6.3 3.3 6. 2.5] 2
我有一个类似的需求,我正在使用pandas创建一个新的数据框架,其中数据集的索引和标签作为列
data = pd.read_csv('filename')
km = KMeans(n_clusters=5).fit(data)
cluster_map = pd.DataFrame()
cluster_map['data_index'] = data.index.values
cluster_map['cluster'] = km.labels_
一旦数据帧可用,就很容易过滤,
例如,要筛选群集3中的所有数据点
cluster_map[cluster_map.cluster == 3]
我有一个类似的需求,我正在使用pandas创建一个新的数据框架,其中数据集的索引和标签作为列
data = pd.read_csv('filename')
km = KMeans(n_clusters=5).fit(data)
cluster_map = pd.DataFrame()
cluster_map['data_index'] = data.index.values
cluster_map['cluster'] = km.labels_
一旦数据帧可用,就很容易过滤,
例如,要筛选群集3中的所有数据点
cluster_map[cluster_map.cluster == 3]
您可以简单地将标签存储在一个数组中。将数组转换为数据帧。然后将用于创建K means的数据与带有集群的新数据框合并
显示数据帧。现在您应该看到具有相应集群的行。如果您想列出具有特定群集的所有数据,请使用data.loc[data['cluster\u label\u name']==2]之类的方法,假设2现在是您的群集。您只需将标签存储在数组中即可。将数组转换为数据帧。然后将用于创建K means的数据与带有集群的新数据框合并
显示数据帧。现在您应该看到具有相应集群的行。如果要列出具有特定群集的所有数据,请使用data.loc[data['cluster\u label\u name']==2]之类的方法,假设2现在是您的群集。要获取每个群集内的点/样本/观测值的ID,请执行以下操作:
Python 2
使用虹膜数据和良好的pythonic方式的示例:
import numpy as np
from sklearn.cluster import KMeans
from sklearn import datasets
np.random.seed(0)
# Use Iris data
iris = datasets.load_iris()
X = iris.data
y = iris.target
# KMeans with 3 clusters
clf = KMeans(n_clusters=3)
clf.fit(X,y)
#Coordinates of cluster centers with shape [n_clusters, n_features]
clf.cluster_centers_
#Labels of each point
clf.labels_
# Nice Pythonic way to get the indices of the points for each corresponding cluster
mydict = {i: np.where(clf.labels_ == i)[0] for i in range(clf.n_clusters)}
# Transform this dictionary into list (if you need a list as result)
dictlist = []
for key, value in mydict.iteritems():
temp = [key,value]
dictlist.append(temp)
结果
#dict format
{0: array([ 50, 51, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63,
64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76,
78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90,
91, 92, 93, 94, 95, 96, 97, 98, 99, 101, 106, 113, 114,
119, 121, 123, 126, 127, 133, 138, 142, 146, 149]),
1: array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16,
17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,
34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49]),
2: array([ 52, 77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])}
# list format
[[0, array([ 50, 51, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63,
64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76,
78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90,
91, 92, 93, 94, 95, 96, 97, 98, 99, 101, 106, 113, 114,
119, 121, 123, 126, 127, 133, 138, 142, 146, 149])],
[1, array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16,
17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,
34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49])],
[2, array([ 52, 77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])]]
Python 3
只要改变就行了
for key, value in mydict.iteritems():
至
for key, value in mydict.items():
要获取每个簇内的点/样本/观测的ID,请执行以下操作:
Python 2
使用虹膜数据和良好的pythonic方式的示例:
import numpy as np
from sklearn.cluster import KMeans
from sklearn import datasets
np.random.seed(0)
# Use Iris data
iris = datasets.load_iris()
X = iris.data
y = iris.target
# KMeans with 3 clusters
clf = KMeans(n_clusters=3)
clf.fit(X,y)
#Coordinates of cluster centers with shape [n_clusters, n_features]
clf.cluster_centers_
#Labels of each point
clf.labels_
# Nice Pythonic way to get the indices of the points for each corresponding cluster
mydict = {i: np.where(clf.labels_ == i)[0] for i in range(clf.n_clusters)}
# Transform this dictionary into list (if you need a list as result)
dictlist = []
for key, value in mydict.iteritems():
temp = [key,value]
dictlist.append(temp)
结果
#dict format
{0: array([ 50, 51, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63,
64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76,
78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90,
91, 92, 93, 94, 95, 96, 97, 98, 99, 101, 106, 113, 114,
119, 121, 123, 126, 127, 133, 138, 142, 146, 149]),
1: array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16,
17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,
34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49]),
2: array([ 52, 77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])}
# list format
[[0, array([ 50, 51, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63,
64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76,
78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90,
91, 92, 93, 94, 95, 96, 97, 98, 99, 101, 106, 113, 114,
119, 121, 123, 126, 127, 133, 138, 142, 146, 149])],
[1, array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16,
17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,
34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49])],
[2, array([ 52, 77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])]]
Python 3
只要改变就行了
for key, value in mydict.iteritems():
至
for key, value in mydict.items():
实际上,一个非常简单的方法是:
clusters=KMeans(n_clusters=5)
df[clusters.labels_==0]
第二行返回属于0
th集群的df
的所有元素。类似地,您可以找到其他集群元素。实际上,一个非常简单的方法是:
clusters=KMeans(n_clusters=5)
df[clusters.labels_==0]
第二行返回属于0
th集群的df
的所有元素。类似地,您也可以找到其他集群元素。是,此方法可行。但是,当有大量数据点遍历所有数据点以获取标签时,效率就不高了。我只是一个给定集群的数据点列表。还有其他方法吗?@user77005看到我刚刚发布的答案了吗?是的,这种方法可以。但是,当有大量数据点遍历所有数据点以获取标签时,效率就不高了。我只是一个给定集群的数据点列表。还有别的方法吗?@user77005看到我刚刚发布的答案了吗?我刚刚提供了一个回答,回答了你的问题。如果这有帮助,请告诉我。您可以使用.labels_uu检查我刚才提供了一个解决您问题的答案。让我知道这是否有帮助。您可以使用.labels检查在学习新模型时,没有必要使用Pandas,我似乎很难完成将建模数据返回原始源的最后一部分。大多数教程都没有显示这一点。谢谢您的回答。@Praveen您确定它将被正确索引吗?您的解决方案在从km.labels
重建数据帧时是否像在群集之前一样保留了行的顺序?在学习新模型时,不需要使用Pandas,我似乎很难将建模数据返回到原始源。大多数教程都没有显示这一点。谢谢您的回答。@Praveen您确定它将被正确索引吗?当从km.labels\uuu
重建数据帧时,您的解决方案是否像群集之前一样保留了行的顺序?对于那些正在使用python3并遇到此解决方案问题的人,您只需要将iteritems()更改为items(),我的答案是