Pyspark Pycharm不会自动建议spark数据帧方法
我已经使用Spark Scala很长时间了,这是PySpark的新手 我正在为spark项目设置PyCharm。一切都是从依赖关系的角度进行设置的(例如,pip安装spark)。我可以创建一个新的python文件并编写spark代码,一切都解决了。下面是一段代码:Pyspark Pycharm不会自动建议spark数据帧方法,pyspark,pycharm,Pyspark,Pycharm,我已经使用Spark Scala很长时间了,这是PySpark的新手 我正在为spark项目设置PyCharm。一切都是从依赖关系的角度进行设置的(例如,pip安装spark)。我可以创建一个新的python文件并编写spark代码,一切都解决了。下面是一段代码: from pyspark.sql import SparkSession spark=SparkSession.builder.enableHiveSupport.getOrCreate() data = spark.sql ('s
from pyspark.sql import SparkSession
spark=SparkSession.builder.enableHiveSupport.getOrCreate()
data = spark.sql ('select * from db.tbl')
在这一点上,我应该期望数据是一个数据帧吗?当我输入数据时。我希望PyCharm能以下拉列表的形式告诉我可能的方法,如filter、join等,但它没有
我还有什么需要做的吗?我使用的是Python2.7(必须,因为我们的hadoop集群支持这一点)在python中,变量是动态类型的,因此您可以声明它们而不使用它们的类型。 但从Python 3.6+开始,您可以这样声明变量类型:
data : DataFrame = spark.sql ('select * from db.tbl')
通过这种方式,您可以让PyCharm知道数据的类型,并为该对象建议可能的方法
在Python中,变量是动态类型化的,因此您可以在不使用类型的情况下声明它们。
但从Python 3.6+开始,您可以这样声明变量类型:
data : DataFrame = spark.sql ('select * from db.tbl')
通过这种方式,您可以让PyCharm知道数据的类型,并为该对象建议可能的方法
thx!!这确实有效,不幸的是,我必须使用python 2.7。更新了我的帖子。我有2.7的选择吗?thx!!这确实有效,不幸的是,我必须使用python 2.7。更新了我的帖子。我有2.7版本的选项吗?