Apache spark 如何在EMR中通过spark为Jupyterhub提供对配置单元表的访问

EMR中默认安装的JupytherHub无法访问Spark中的配置单元上下文。如何修复此问题？

要授予spark对配置单元上下文的访问权限，您需要像这样编辑livy.conf文件（/etc/livy/conf.dist/livy.conf）

livy.repl.enableHiveContext = true

然后按照说明重新启动笔记本和livy服务，基本上：

sudo stop livy-server
sudo start livy-server

检查它是否工作的一种简单方法是检查spark笔记本上的数据库：

spark.sql("show databases").show

Yo可能希望在EMR启动时使用EMR的标准配置功能进行配置