Python 3.x 如何使用pyspark计算表示每个文档的平均向量

我是pyspark的新手，我想对一组文档（20个集群）进行集群。为此，我需要执行以下操作：

• 查找word2vec表示
• 将每个文档映射到一个向量，该向量是表示文档中单词的向量的平均值
• 进行聚类

因此，我创建了word2vec表示，但我没有使用spark将每个文档映射到相应的向量

我尝试了以下方法：

from pyspark.mllib.feature import Word2Vec
word2vec = Word2Vec()
model = word2vec.fit(docs)
dic = model.getVectors()

import numpy as np
def calcAverage(x, dic):
    ans = np.zeros(100)
    for word in x: 
        if word in dic:
            ans += np.array(dic[word])
    return tuple(ans / len(x))

vectors = docs.map(lambda x: calcAverage(x, dic))
vectors.collect()

但是它不工作，代码在这一行失败：

vectors=docs.map（lambda x:calaverage（x，dic））

，有什么建议吗

我得到了以下错误：

PicklingError: Could not serialize object: Py4JError: An error occurred while calling o73192.__getstate__. Trace:
py4j.Py4JException: Method __getstate__([]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:274)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)

---

你能在代码失败的那一行包含任何错误消息吗？我添加了错误。。