Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/wix/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
读取时出错。使用pyspark从phoenix写入_Pyspark_Hbase_Phoenix - Fatal编程技术网

读取时出错。使用pyspark从phoenix写入

读取时出错。使用pyspark从phoenix写入,pyspark,hbase,phoenix,Pyspark,Hbase,Phoenix,我试图在HDP2.6.3沙盒上构建一个数据管道。(docker)我正在使用pyspark和phoenix(4.7)以及HBase 我已经从maven安装了phoenix项目,并成功地创建了一个包含测试记录的表。我也可以在Hbase中看到数据 现在,我尝试使用pyspark从表中读取数据,代码如下: import phoenix from pyspark import SparkContext from pyspark.sql import SQLContext sc = SparkContex

我试图在HDP2.6.3沙盒上构建一个数据管道。(docker)我正在使用pyspark和phoenix(4.7)以及HBase

我已经从maven安装了phoenix项目,并成功地创建了一个包含测试记录的表。我也可以在Hbase中看到数据

现在,我尝试使用pyspark从表中读取数据,代码如下:

import phoenix 
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext(appName="Phoenix test")
sqlContext = SQLContext(sc)
table = sqlContext.read.format("org.apache.phoenix.spark").option("table", "INPUT_TABLE").option("zkUrl", "localhost:2181:/hbase-unsecure").load()
凤凰城ddl:

CREATE TABLE INPUT_TABLE (id BIGINT NOT NULL PRIMARY KEY, col1 VARCHAR, col2 INTEGER);
UPSERT INTO INPUT_TABLE (id, col1, col2) VALUES (1, 'test_row_1',111);
UPSERT INTO INPUT_TABLE (id, col1, col2) VALUES (2, 'test_row_2',111 );
电话:

回溯(最近一次呼叫最后一次): 文件“/root/hdp/process_data.py”,第42行,在 .格式(数据源格式)\ 文件“/usr/hdp/current/spark2 client/python/lib/pyspark.zip/pyspark/sql/readwriter.py”,第593行,保存 文件“/usr/lib/python2.6/site packages/py4j-0.10.6-py2.6.egg/py4j/java_gateway.py”,第1160行,在调用中 回答,self.gateway\u客户端,self.target\u id,self.name) 文件“/usr/hdp/current/spark2 client/python/lib/pyspark.zip/pyspark/sql/utils.py”,第63行,装饰性 文件“/usr/lib/python2.6/site packages/py4j-0.10.6-py2.6.egg/py4j/protocol.py”,第320行,在get_返回值中 格式(目标id,“.”,名称),值) py4j.protocol.Py4JJavaError:调用o55.save时出错。 :java.lang.UnsupportedOperationException:empty.tail

谢谢,
千里眼

localhost:2181:
您有一个额外的冒号
localhost:2181:
您有一个额外的冒号
spark-submit --class org.apache.phoenix.spark --jars /usr/hdp/current/phoenix-server/phoenix-4.7.0.2.5.0.0-1245-client.jar --repositories http://repo.hortonworks.com/content/groups/public/ --files /etc/spark2/conf/hbase-site.xml phoenix_test.py