通过R将文件从ADL下载到本地文件系统有连接错误
我正在使用AzureR软件包从RStudio访问Azure Data Lake存储。 我使用以下脚本设置连接:通过R将文件从ADL下载到本地文件系统有连接错误,r,curl,azure-data-lake,azure-data-lake-gen2,R,Curl,Azure Data Lake,Azure Data Lake Gen2,我正在使用AzureR软件包从RStudio访问Azure Data Lake存储。 我使用以下脚本设置连接: library(AzureRMR) library(AzureStor) # setup connections az <- az_rm$new(tenant="my_tenant_id", app="my_app_id", password="my_password") sub <- az$get_sub
library(AzureRMR)
library(AzureStor)
# setup connections
az <- az_rm$new(tenant="my_tenant_id",
app="my_app_id",
password="my_password")
sub <- az$get_subscription("my_subscription_id")
rg <- sub$get_resource_group("my_resource_group_name")
stor <- rg$get_resource(type="Microsoft.Storage/storageAccounts",
name="my_datalake_account_name")
stor$do_operation("listKeys", http_verb="POST")
fs <- adls_filesystem(
"https://my_datalake_account_name.dfs.core.windows.net/my_file_system_name",
key="my_key"
)
# create new directory
create_adls_dir(fs, "/newdir")
upload_adls_file(
fs, src = "I:/lookup.csv",
dest = "/newdir/lookup.csv"
)
download_adls_file(
fs, src = "/newdir/lookup.csv",
dest = "J:/lookup.csv"
)
然后,我使用以下脚本将文件上载到ADLS文件系统并从中下载文件:
library(AzureRMR)
library(AzureStor)
# setup connections
az <- az_rm$new(tenant="my_tenant_id",
app="my_app_id",
password="my_password")
sub <- az$get_subscription("my_subscription_id")
rg <- sub$get_resource_group("my_resource_group_name")
stor <- rg$get_resource(type="Microsoft.Storage/storageAccounts",
name="my_datalake_account_name")
stor$do_operation("listKeys", http_verb="POST")
fs <- adls_filesystem(
"https://my_datalake_account_name.dfs.core.windows.net/my_file_system_name",
key="my_key"
)
# create new directory
create_adls_dir(fs, "/newdir")
upload_adls_file(
fs, src = "I:/lookup.csv",
dest = "/newdir/lookup.csv"
)
download_adls_file(
fs, src = "/newdir/lookup.csv",
dest = "J:/lookup.csv"
)
现在我有两台服务器可以使用,但是目标是切换到新服务器并消除旧服务器。该脚本在旧服务器上运行良好,CSV文件非常小,因此上传和下载在一秒钟内完成。但是,在新服务器上,上载工作正常,而下载失败。你知道是什么导致了这个问题吗?我想知道这两台服务器之间是否有任何不同的系统设置,但我对数据湖真的很陌生。任何帮助都将不胜感激 由于同一个脚本在旧服务器上工作,我想如果我是你,我可以将重点放在路径“J:/lookup.csv”上。是J:物理驱动器或文件共享
无论如何,我可以用一些更明显的东西来测试,比如c或d驱动,然后测试那个部分 由于同一个脚本在旧服务器上工作,我想如果我是你,我可以将重点放在路径“J:/lookup.csv”上。是J:物理驱动器或文件共享 无论如何,我可以用一些更明显的东西来测试,比如c或d驱动,然后测试那个部分 一些建议:1)检查您的新服务器是否没有防火墙问题;2) 检查您是否对J:drive拥有正确的权限一些建议:1)检查您的新服务器是否没有防火墙问题;2) 检查您是否对J:驱动器具有正确的权限