在EMR Jupyterhub笔记本上的Pyspark内核中无法进行绘图可视化

我试图在EMR Jupyterhub笔记本上使用plotly绘制图形，但是这些图形没有在Pyspark内核中渲染。（注意：Python内核可以很好地渲染图形）

我正在尝试的示例代码：

data_canada = px.data.gapminder().query("country == 'Canada'")
fig = px.bar(data_canada, x='year', y='pop')
fig.show()

I am able to plot a graph with %%display sparkmagic however I am not able to figure out if we can get plotly working with %%display sparkmagic - 

import random
   data = [('Person:%s' % i, i, random.randint(1, 5)) for i in range(1, 50)]
   columns = ['Name', 'Age', 'Random']
   spark_df = spark.createDataFrame(data, columns)

%%display
spark_df

---

有人试过这个吗？请告知。

这是sparkmagic的限制。您必须求助于

%%本地

魔术。来自sparkmagic

由于所有代码都是通过Livy在远程驱动程序上运行的，因此所有结构化数据都必须 被序列化为JSON并由Sparkmagic库解析，以便 在客户端进行操作和可视化。实际上，这意味着 必须在%%local模式下使用Python进行客户端数据操作