Python 无法使用与配置单元的PySpark连接收集数据
我目前正在尝试通过PySpark运行查询。连接和访问数据库都进行得很顺利。不幸的是,当我运行查询时;显示的唯一输出是列名,后跟Python 无法使用与配置单元的PySpark连接收集数据,python,pyspark,apache-spark-sql,pyspark-sql,Python,Pyspark,Apache Spark Sql,Pyspark Sql,我目前正在尝试通过PySpark运行查询。连接和访问数据库都进行得很顺利。不幸的是,当我运行查询时;显示的唯一输出是列名,后跟None 我通读了文档,但找不到任何答案。下面是我访问数据库的方式 try: from pyspark import SparkContext from pyspark import SparkConf from pyspark.sql import SparkSession from pyspark.sql import SQLConte
None
我通读了文档,但找不到任何答案。下面是我访问数据库的方式
try:
from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
print ("Successfully imported Spark Modules")
except ImportError as e:
print ("Can not import Spark Modules", e)
sys.exit(1)
sc = SparkContext('local', 'pyspark')
sqlctx = SQLContext(sc)
df = sqlctx.read.format("jdbc").option("url", "jdbc:hive2://.....").option("dbtable", "(SELECT * FROM dtable LIMIT 10) df").load()
print df.show()
df.show()
的输出只是列名。当我使用Pyhive
运行相同的查询时,有数据被填充,因此我假设它与我尝试使用PySpark加载数据表的方式有关
谢谢 你能解决这个问题吗?我们面临着同样的问题你能解决这个问题吗?我们面临着同样的问题