使用azure DataRicks scala将数据从blob存储加载到sql数据仓库

我正在尝试使用azure Datatricks scala将数据从blob存储加载到SQL数据仓库

spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")    
df.write.format("com.databricks.spark.sqldw")
.option("url",sqlDwUrlSmall)
.option("dbtable", "Person")        
.option("forward_spark_azure_storage_credentials","True")
.option("tempdir",tempDir).mode("overwrite").save()

我得到了这个错误

基础SQLException： -com.microsoft.sqlserver.jdbc.SQLServerException:由于内部错误，外部文件访问失败：“访问时出错。” HDFS:调用HdfsBridge_IsDirExist时引发Java异常。JAVA 异常消息：HdfsBridge:：isDirExist-意外错误 检查目录是否存在时遇到问题： StorageException：此请求无权执行此操作 操作。“[ErrorCode=105019][SQLState=S0001]

---

使用azure Datatricks scala成功地将数据从blob存储加载到sql数据仓库

spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")    
df.write.format("com.databricks.spark.sqldw")
.option("url",sqlDwUrlSmall)
.option("dbtable", "Person")        
.option("forward_spark_azure_storage_credentials","True")
.option("tempdir",tempDir).mode("overwrite").save()

• 确保您通过了正确的路径

• 确保按以下格式传递“tempDir”

tempDir=“wasbs://”+blobContainer+“@”+blobStorage+“/tempDirs”

参考资料：

---

希望这有帮助。

使用azure databricks scala成功地将数据从blob存储加载到sql数据仓库

spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")    
df.write.format("com.databricks.spark.sqldw")
.option("url",sqlDwUrlSmall)
.option("dbtable", "Person")        
.option("forward_spark_azure_storage_credentials","True")
.option("tempdir",tempDir).mode("overwrite").save()

• 确保您通过了正确的路径

• 确保按以下格式传递“tempDir”

tempDir=“wasbs://”+blobContainer+“@”+blobStorage+“/tempDirs”

参考资料：

---

希望这有帮助。

我正在使用access key从blob存储中获取数据我正在使用access key从blob存储中获取数据