Apache spark 使用Spark上的配置单元映射DynamoDB表时出错
差不多两个小时了,我在Spark的蜂巢里挣扎着用DynamoDB工作台。 我可以直接从蜂箱中正确地检索表,但我现在需要从Spark上的蜂箱中获取它。 错误是:Apache spark 使用Spark上的配置单元映射DynamoDB表时出错,apache-spark,hive,apache-spark-sql,amazon-dynamodb,Apache Spark,Hive,Apache Spark Sql,Amazon Dynamodb,差不多两个小时了,我在Spark的蜂巢里挣扎着用DynamoDB工作台。 我可以直接从蜂箱中正确地检索表,但我现在需要从Spark上的蜂箱中获取它。 错误是: pyspark.sql.utils.ParseException: u"\nOperation not allowed: STORED BY 我想我已经正确地注入了JARS插件,我已经把它放在JARS参数中,还尝试了spark-defaults.conf中的spark.driver.extraClassPath&spark.execut
pyspark.sql.utils.ParseException: u"\nOperation not allowed: STORED BY
我想我已经正确地注入了JARS插件,我已经把它放在JARS参数中,还尝试了spark-defaults.conf中的spark.driver.extraClassPath&spark.executor.extraClassPath
我的代码:
sqlContext.sql("CREATE EXTERNAL TABLE dynTable (idPlace string) STORED BY
'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' TBLPROPERTIES
('dynamodb.table.name' = 'MYTABLE', 'dynamodb.column.mapping' = 'idPlace:idPlace')")
你知道吗
我在PySpark上使用EMR5.5
谢谢:)