Python 广播骚扰火花中的对象（对于最近的邻居）？

由于Spark的mllib没有近邻功能，所以我尝试使用近似近邻。我试着广播骚扰对象并将其传递给工人；然而，它并没有按预期运行

以下是再现性代码（在PySpark中运行）。问题突出表现在使用带火花的烦恼与不带火花的烦恼的区别上

from annoy import AnnoyIndex
import random
random.seed(42)

f = 40
t = AnnoyIndex(f)  # Length of item vector that will be indexed
allvectors = []
for i in xrange(20):
    v = [random.gauss(0, 1) for z in xrange(f)]
    t.add_item(i, v)
    allvectors.append((i, v))
t.build(10) # 10 trees

# Use Annoy with Spark
sparkvectors = sc.parallelize(allvectors)
bct = sc.broadcast(t)
x = sparkvectors.map(lambda x: bct.value.get_nns_by_vector(vector=x[1], n=5))
print "Five closest neighbors for first vector with Spark:",
print x.first()

# Use Annoy without Spark
print "Five closest neighbors for first vector without Spark:",
print(t.get_nns_by_vector(vector=allvectors[0][1], n=5))

所见产出：

带火花的第一个向量的五个最近邻：无

第一个无火花向量的五个最近邻：[0,13,12,6,4]

---

我从未使用过Have，但我非常确定软件包描述解释了这里发生的事情：

它还创建基于文件的大型只读数据结构，这些结构映射到内存中，以便许多进程可以共享相同的数据

由于它在序列化它并将其传递给worker时使用内存映射索引，因此所有数据都会丢失

请尝试以下方法：

from pyspark import SparkFiles

t.save("index.ann")
sc.addPyFile("index.ann")

def find_neighbors(iter):
    t = AnnoyIndex(f)
    t.load(SparkFiles.get("index.ann"))
    return (t.get_nns_by_vector(vector=x[1], n=5) for x in iter)

sparkvectors.mapPartitions(find_neighbors).first()
## [0, 13, 12, 6, 4]

---

为了防止其他人像我一样跟随这里，您需要在

mapPartitions

函数中导入haven，否则您仍然会得到pickle错误。以下是基于上述内容的完整示例：

from annoy import AnnoyIndex

from pyspark import SparkFiles
from pyspark import SparkContext
from pyspark import SparkConf

import random
random.seed(42)

f = 1024
t = AnnoyIndex(f)
allvectors = []
for i in range(100):
    v = [random.gauss(0, 1) for z in range(f)]
    t.add_item(i, v)
    allvectors.append((i, v))

t.build(10)
t.save("index.ann")

def find_neighbors(i):
    from annoy import AnnoyIndex
    ai = AnnoyIndex(f)
    ai.load(SparkFiles.get("index.ann"))
    return (ai.get_nns_by_vector(vector=x[1], n=5) for x in i)

with SparkContext(conf=SparkConf().setAppName("myannoy")) as sc:
  sc.addFile("index.ann")
  sparkvectors = sc.parallelize(allvectors)
  sparkvectors.mapPartitions(find_neighbors).first()

---

此树将加载到驱动程序内存还是执行程序内存中？我正在尝试使用火花上的烦恼树。磁盘上的树大小是3GB（实际上我将树保存在hdfs上）。现在，当我试图找到最近的邻居时，我只需加载树，并在每个查询的循环中获得结果。嗨，Sau，树的大小很大，我不确定您是否使用了上面的代码succesuffly？如何在spark数据帧[ID:int，features:vectors]上创建索引并构建模型？您对它的行为有何解释？是否所有导入都需要位于mapPartitions调用的函数中？