Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x AWS S3铲斗的慢速读数_Python 3.x_Amazon S3_Boto3 - Fatal编程技术网

Python 3.x AWS S3铲斗的慢速读数

Python 3.x AWS S3铲斗的慢速读数,python-3.x,amazon-s3,boto3,Python 3.x,Amazon S3,Boto3,我正在尝试从s3存储桶中读取带有pandas的文件,而不将文件下载到磁盘。我试着用boto3来做这个 import boto3 s3 = boto3.client('s3') obj = s3.get_object(Bucket='bucket_name', Key="key") read_file = io.BytesIO(obj['Body'].read()) pd.read_csv(read_file) 而且我也尝试了s3fs作为 import s3fs import pandas a

我正在尝试从s3存储桶中读取带有pandas的文件,而不将文件下载到磁盘。我试着用boto3来做这个

import boto3

s3 = boto3.client('s3')
obj = s3.get_object(Bucket='bucket_name', Key="key")
read_file = io.BytesIO(obj['Body'].read())
pd.read_csv(read_file)
而且我也尝试了s3fs作为

import s3fs
import pandas as pd

fs = s3fs.S3FileSystem(anon=False)
with fs.open('bucket_name/path/to/file.csv', 'rb') as f:
    df = pd.read_csv(f)`
问题是读取文件的时间太长。读取38MB文件大约需要3分钟。应该是这样吗?如果是的话,那么有没有更快的方法来做到这一点。如果不是,有什么建议可能导致问题

谢谢

>根据一个类似的问题,你可能想考虑你读的桶的哪个区域与你从中读取的区域相比。可能是一个简单的更改(假设您可以控制存储桶的位置),它可以显著提高性能