Apache spark 任务已被销毁,但它处于挂起状态!在我的spark应用程序中
我已经在我的spark应用程序中写入了goblin ogm示例,但我得到的任务已被销毁,但它正在等待! 下面是我的代码 def存储分区(p): 从goblin导入元素,属性Apache spark 任务已被销毁,但它处于挂起状态!在我的spark应用程序中,apache-spark,pyspark,python-asyncio,goblin,Apache Spark,Pyspark,Python Asyncio,Goblin,我已经在我的spark应用程序中写入了goblin ogm示例,但我得到的任务已被销毁,但它正在等待! 下面是我的代码 def存储分区(p): 从goblin导入元素,属性 class Brand(element.Vertex): name = properties.Property(properties.String) import asyncio loop = asyncio.get_event_loop() from goblin.app import Goblin app
class Brand(element.Vertex):
name = properties.Property(properties.String)
import asyncio
loop = asyncio.get_event_loop()
from goblin.app import Goblin
app = loop.run_until_complete(Goblin.open(loop))
app.register(Brand)
async def go(app):
session = await app.session()
for i in p:
if i['brand']:
traversal = session.traversal(Brand)
result = await traversal.has(Brand.name, i['brand']).oneOrNone()
if not result:
brand = Brand()
brand.name = i['brand']
session.add(brand)
await session.flush()
loop.run_until_complete(go(app))
rdd=rdd.foreachPartition(savePartition)
我想知道如何关闭上述代码中的响应。非常感谢