Pyspark 我可以在齐柏林飞艇的'sh'命令中包含一个变量吗？

我在Spark集群上使用齐柏林飞艇和Hadoop

我想运行一个命令来检查s3上的文件，我想使用一个变量

这是我的密码

%sh

aws s3 ls s3://my-bucket/my_folder/

我可以用变量替换

my bucket/my_folder/

吗

你所说的“变量”是什么意思？Python变量？如果是，我不确定。但是，如果只想将路径拉到另一行上，可以使用shell变量：

%sh

export AWS_FOLDER=my-bucket/my_folder/
aws s3 ls s3://$AWS_FOLDER