Pyspark 将jupyter sparkmagic内核连接到kerberized livy服务器的问题

如果您有任何想法，请提供帮助： 我正在尝试将kerberized Hortonworks hadoop集群livy服务器与jupyter连接，连接时出现401错误

是否可以将sparkmagic连接到kerberized spark livy服务器？如果是这样的话，我想我在sparkmagic配置json中有一些配置错误。 用户名和密码是运行服务器的技术用户，在hadoop集群中具有模拟权限（代理用户），而不是我登录jupyterhub时的实际用户名

它是my config.json的一部分：

  "kernel_python_credentials" : {
    "username": "username",
    "password": "password",
    "url": "http://mylivy.server:8999",
    "auth": "Kerberos"
  }
  "logging_config": {
    "version": 1,
    "formatters": {
      "magicsFormatter": { 
        "format": "%(asctime)s\t%(levelname)s\t%(message)s",
        "datefmt": ""
      }
    },
    "handlers": {
      "magicsHandler": { 
        "class": "hdijupyterutils.filehandler.MagicsFileHandler",
        "formatter": "magicsFormatter",
        "home_path": "~/.sparkmagic"                                                                                                                                                   
      }                                                                                                                                                                                
    },                                                                                                                                                                                 
    "loggers": {                                                                                                                                                                       
      "magicsLogger": {                                                                                                                                                                
        "handlers": ["magicsHandler"],                                                                                                                                                 
        "level": "DEBUG",                                                                                                                                                              
        "propagate": 0                                                                                                                                                                 
      }                                                                                                                                                                                
    }                                                                                                                                                                                  
  },                                                                                                                                                                                   

  "wait_for_idle_timeout_seconds": 15,
  "livy_session_startup_timeout_seconds": 600,

等等

这是我在spark或pyspark笔记本或jupyter中的shell中尝试“hello world”时的错误消息：

打印（“你好世界”）

由于致命错误，代码失败：无效的状态代码“401” 来自具有错误有效负载的服务器： 错误401 HTTP错误：401访问问题 /会议。原因：需要认证

---

由码头供电：// Authentication required 9.3.24.v20180605

---

尝试以下几点：a）确保Spark有足够的可用资源 让Jupyter创建一个Spark上下文。b） 联系你的Jupyter 管理员确保已配置Spark magics库 正确地c） 重新启动内核

（更新） 我刚刚找到了发生错误的原因：问题是启动笔记本应用程序的系统上没有罚单，kinit命令解决了问题。另外，在config.json中使用kerberos时不需要用户名和密码（更新） 我刚刚找到了发生错误的原因：问题是启动笔记本应用程序的系统上没有罚单，kinit命令解决了问题。另外，在config.json中使用kerberos时不需要用户名和密码