使用databricks connect连接到python中的databricks时出错
我正在使用pycharm在mac上使用databricks connect,但在我完成配置并尝试运行使用databricks connect连接到python中的databricks时出错,python,scala,apache-spark,pyspark,databricks,Python,Scala,Apache Spark,Pyspark,Databricks,我正在使用pycharm在mac上使用databricks connect,但在我完成配置并尝试运行databricks connect test后,我出现以下错误,不知道问题出在哪里。我遵循了以下文件: 错误消息如下所示: scala> spa Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/3.7/bin/databricks-connect", line 11,
databricks connect test
后,我出现以下错误,不知道问题出在哪里。我遵循了以下文件:
错误消息如下所示:
scala> spa
Traceback (most recent call last):
File "/Library/Frameworks/Python.framework/Versions/3.7/bin/databricks-connect", line 11, in
load_entry_point('databricks-connect==5.3.1', 'console_scripts', 'databricks-connect')()
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspark/databricks_connect.py", line 244, in main
test()
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspark/databricks_connect.py", line 213, in test
raise ValueError("Scala command failed to produce correct result")
ValueError: Scala command failed to produce correct result
斯卡拉温泉酒店
回溯(最近一次呼叫最后一次):
文件“/Library/Frameworks/Python.framework/Versions/3.7/bin/databricks connect”,第11行,在
加载入口点('databricks-connect==5.3.1','console\u脚本','databricks-connect')()
文件“/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site packages/pyspark/databricks_connect.py”,第244行,在main中
测试()
文件“/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site packages/pyspark/databricks_connect.py”,测试中的第213行
raise VALUERROR(“Scala命令未能生成正确的结果”)
ValueError:Scala命令无法生成正确的结果
可能您的Java/Python版本不符合要求。检查您的集群,它使用哪个Python版本(在我的例子中是3.5) 最重要的是:检查您的计算机上有哪个JDK版本。
在我的例子中,我有最新的一个,它不受
databricks connect
的支持。它需要在JDK 8上运行。我会确保您使用的是正确版本的DataRicks运行时(DB Connect当前仅支持5.1-5.5)。由于这是对使用DB connect的DBR的限制,因此您必须确保与python版本相匹配(对于基本Databricks运行时,我相信它是3.5.x)