使用Boto3 Python从S3存储桶读取CSV文件需要很长时间

使用Boto3 Python从S3存储桶读取CSV文件需要很长时间,python,pandas,amazon-web-services,amazon-s3,boto3,Python,Pandas,Amazon Web Services,Amazon S3,Boto3,我正在尝试使用Boto3和Python模块从S3 Bucket读取读取csv文件。csv文件的大小为130 MB,有35000行。读取一个文件需要23秒。。我在这里做错了什么。是否有一种有效的方法来减少所花费的时间 进口boto3 作为pd进口熊猫 s3_client = boto3.client('s3') response = s3_client.list_objects_v2(Bucket='Bucket_name') all = response["Conten

我正在尝试使用Boto3和Python模块从S3 Bucket读取读取csv文件。csv文件的大小为130 MB,有35000行。读取一个文件需要23秒。。我在这里做错了什么。是否有一种有效的方法来减少所花费的时间

进口boto3 作为pd进口熊猫

s3_client = boto3.client('s3')
    response = s3_client.list_objects_v2(Bucket='Bucket_name')
    all = response["Contents"]
    latest = max(all, key=lambda x: x['LastModified'])
    latest_file = (latest['Key'])
    print(latest_file)

df = pd.read_csv('https://web-data.s3-us-west-2.amazonaws.com/' + latest_file)

df = df.query('`Searched Job Location` == @job_loc & `Searched Job Title` == @job_title')

我认为如果你只是将csv文件下载到本地的一个临时位置并在那里进行处理,事情会简单一些。完成此过程后,可以将其删除。请尝试在Python外部下载该文件并将其传递给script@ewong非常感谢您的回复。我忘了提到我的应用程序是在Heroku上运行的,它是一个Django框架。在这种情况下,保存下载的csv。。