Python 寻找坐标间距离的快速方法

我有一个地方列表，我需要找出每个地方之间的距离。有人能建议一种更快的方法吗？大约有10k个独特的位置，我使用的方法创建了一个

10kx10k

矩阵，我的内存已经用完了。我使用的是15GB内存

    test_df

   Latitude  Longitude  site
    0   32.3    -94.1   1
    1   35.2    -93.1   2
    2   33.1    -83.4   3
    3   33.2    -94.5   4
test_df = test_df[['site', 'Longitude', 'Latitude']]    
test_df['coord'] = list(zip(test_df['Longitude'], test_df['Latitude']))
from haversine import haversine
for _,row in test_df.iterrows():
    test_df[row.coord]=round(test_df['coord'].apply(lambda x:haversine(row.coord,x, unit='mi')),2)
df = test_df.rename(columns=dict(zip(test_df['coord'], test_df['Facility'])))
df.drop('coord', axis=1, inplace=True)
new_df = pd.melt(df, id_vars='Facility', value_vars=df.columns[1:])
new_df.rename(columns={'variable':'Place', 'value':'dist_in_mi'}, inplace=True)
new_df


 site Place dist_in_mi
0   1   1   0.00
1   2   1   70.21
2   3   1   739.28
3   4   1   28.03
4   1   2   70.21
5   2   2   0.00
6   3   2   670.11
7   4   2   97.15
8   1   3   739.28
9   2   3   670.11
10  3   3   0.00
11  4   3   766.94
12  1   4   28.03
13  2   4   97.15
14  3   4   766.94
15  4   4   0.00

---

如果要解决内存问题，需要使用占用较少内存的数据类型。 在这种情况下，由于地球上两点之间的最大距离小于

20005Km

，因此您可以使用

uint16

存储该值（如果1Km的分辨率足够）

由于没有任何数据可供使用，因此我使用以下代码生成了一些数据：

import random

import numpy as np
from haversine import haversine

def getNFacilities(n):
    """ returns n random pairs of coordinates in the range [-90, +90]"""
    for i in range(n):
        yield random.random()*180 - 90, random.random()*180 - 90

facilities = list(getNFacilities(10000))

然后我用两种不同的方法解决了内存问题：

1-通过将距离数据存储在

uint16

数字中

def calculateDistance(start, end):
    mirror = start is end # if the matrix is mirrored the values are calculated just one time instead of two
    out = np.zeros((len(start), len(end)), dtype = np.uint16) # might be better to use empty?
    for i, coords1 in enumerate(start[mirror:], mirror):
        for j, coords2 in enumerate(end[:mirror and i or None]):
            out[i, j] = int(haversine(coords1, coords2))
    return out

计算距离后，阵列使用的内存约为200MB：

In [133]: l = calculateDistance(facilities, facilities)

In [134]: sys.getsizeof(l)
Out[134]: 200000112

2-或者，您也可以使用发电机：

def calculateDistance(start, end):
    mirror = start is end # if the matrix is mirrored the values are calculated just one time
    for i, coords1 in enumerate(start[mirror:], mirror):
        for j, coords2 in enumerate(end[:mirror and i or None]):
            yield [i, j, haversine(coords1, coords2)]

---

我们是否可以将数据帧复制为可复制的形式（例如，托管在github上）？您要求一个更快的方法，但随后您说问题是内存不足。您是对的，我需要一个更快的方法，因为我使用它的方式没有优化-我尝试了一个虚拟集，我在这里共享了这个虚拟集，这是一种更快的方法，我建议使用多处理，不计算同一地点的距离2次使用生成器方法，当我使用for..循环读取数据帧时，它再次耗尽内存，有什么建议吗？生成器非常适合“动态”计算，例如，查找设施之间的平均距离，但如果您需要将值存储在ram中，则第一种方法可能更好，或者您可以在此处检查一些用于处理大型数据集的方法：