Pyspark DATABRICKS connect 6.4无法再与服务器通信

Pyspark DATABRICKS connect 6.4无法再与服务器通信,pyspark,databricks,databricks-connect,Pyspark,Databricks,Databricks Connect,我正在我的MacBook上运行Pycharm 客户端设置: Python解释器->Python 3.7(dtabricks-connect-6.4) 群集设置: Databricks运行时版本->6.4(包括Apache Spark 2.4.5、Scala 2.11) 它运行了好几个月,但突然之间,如果没有任何更新,我就无法在databricks集群上运行Pycharm中的python脚本。 错误是 Caused by: `java.lang.IllegalArgumentException:

我正在我的MacBook上运行Pycharm

客户端设置: Python解释器->Python 3.7(dtabricks-connect-6.4)

群集设置: Databricks运行时版本->6.4(包括Apache Spark 2.4.5、Scala 2.11)

它运行了好几个月,但突然之间,如果没有任何更新,我就无法在databricks集群上运行Pycharm中的python脚本。 错误是

Caused by: `java.lang.IllegalArgumentException: The cluster is running server version `dbr-6.4` but this client only supports Set(dbr-5.5)....`
我重新启动了Pycharm,然后切换回来,为了解释器,我重新启动了集群,甚至重新启动了MacBook,但都没有用。错误消息完全是错误的,因为集群和客户端都使用相同的版本。我可以看到,当我执行python脚本时,集群正在启动,但最终失败

pyenv activate databricks-connect-6-4

pip freeze

Cython==0.29.21
databricks-connect==6.4.0
numpy==1.19.2
pandas==1.0.1
py4j==0.10.7
pyarrow==0.13.0
pycountry==20.7.3
python-dateutil==2.8.1
pytz==2020.1
six==1.15.0


看起来它是由服务器端的一些内部更改引起的,这会阻止databricks connect工作。通过将环境变量
DEBUG\u IGNORE\u VERSION\u MISMATCH
设置为值
1
export DEBUG\u IGNORE\u VERSION\u MISMATCH=1,然后执行
databricks connect test
),您始终可以禁用此检查-您还可以在PyCharm中设置此环境变量


更新:应该在刚刚发布的版本之前修复。

感谢您提出此问题。Databricks Connect团队已经确认了这个问题,我们正在开发一个补丁来解决这个问题。我会随时通知你的。同时,正如Alex指出的,您可以使用
DEBUG\u IGNORE\u VERSION\u MISMATCH


更新:已发布一个兼容的db connect客户端来解决此问题:版本6.4.2(,安装时使用:pip install databricks connect==6.4.2)。

我卸载并安装了databricks connect==6.4,但没有帮助。我试着用同样的结果执行databricks连接测试。在我看来,databricks本身在没有注意到我们的情况下做了一些更改