Python 将数据从pyspark写入azure blob?
我想将数据帧从pyspark写入azure blob?有什么建议或代码怎么做 我有水滴的位置和钥匙 您可以按照此操作将spark数据框与Azure Blob存储连接起来 设置连接信息:Python 将数据从pyspark写入azure blob?,python,azure,pyspark,blob,Python,Azure,Pyspark,Blob,我想将数据帧从pyspark写入azure blob?有什么建议或代码怎么做 我有水滴的位置和钥匙 您可以按照此操作将spark数据框与Azure Blob存储连接起来 设置连接信息: session.conf.set( "fs.azure.account.key.<storage-account-name>.blob.core.windows.net", "<your-storage-account-access-key>" ) session.con
session.conf.set(
"fs.azure.account.key.<storage-account-name>.blob.core.windows.net",
"<your-storage-account-access-key>"
)
session.conf.set(
“fs.azure.account.key..blob.core.windows.net”,
""
)
然后将数据写入blob存储器:
sdf = session.write.parquet(
"wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<prefix>"
)
sdf=session.write.parquet(
“wasbs://@.blob.core.windows.net/”
)
另外,您也可以参考这个案例:Hi,我的答案对您有帮助吗?是的,在方法上有帮助,但在将数据写入csv时面临问题。请找到问题中错误部分的链接。我尝试了您上面提到的方法,得到的异常为“由以下原因引起:java.lang.IllegalArgumentException:字符串不是有效的Base64编码字符串”。我已附上问题下方错误消息的屏幕截图。请看一下,你能告诉我确切的错误是什么吗?