无法将大型csv文件从s3 bucket读取到python
所以我尝试从s3 bucket加载一个csv文件。下面是代码无法将大型csv文件从s3 bucket读取到python,python,amazon-web-services,csv,amazon-s3,Python,Amazon Web Services,Csv,Amazon S3,所以我尝试从s3 bucket加载一个csv文件。下面是代码 将熊猫作为pd导入 进口boto3 输入io s3_文件_键='iris.csv' bucket='数据' s3=boto3.client('s3') obj=s3.get\u对象(Bucket=Bucket,Key=s3\u文件\u Key) initial_df=pd.read_csv(io.BytesIO(obj['Body'].read()) 它很好用。iris.csv的大小只有3kb。 现在,我尝试读取6gb大小的“myd
将熊猫作为pd导入
进口boto3
输入io
s3_文件_键='iris.csv'
bucket='数据'
s3=boto3.client('s3')
obj=s3.get\u对象(Bucket=Bucket,Key=s3\u文件\u Key)
initial_df=pd.read_csv(io.BytesIO(obj['Body'].read())
它很好用。iris.csv的大小只有3kb。现在,我尝试读取6gb大小的“mydata.csv”,而不是iris.csv 我得到以下错误: ClientError:调用GetObject操作时发生错误(AccessDenied):拒绝访问
我无法理解访问如何成为一个问题,因为我首先将数据放在了那里。此外,我还能从同一位置读取“iris.csv”。有什么想法吗 以下是您可以做的几件事:
检查权限以及
mydata.csv
是否可能是带有KMS密钥或类似密钥的加密机。您首先上载了该文件,并且可以读取另一个文件,这一事实与此无关。@idpd15,如果您喜欢这个答案并且它对您有用,请批准它,并按照Stack Overflow的建议对其进行投票。谢谢