Python 3.x 如何使用s3url格式将文件从自定义托管minios3存储桶加载到pandas中?
我有本地托管的Minio服务器。 我需要使用pandas从minio s3 bucket读取文件,使用s3 URL,如Jupyter笔记本中的“s3://dataset/wine quality.csv” 我尝试使用s3 boto3库下载文件Python 3.x 如何使用s3url格式将文件从自定义托管minios3存储桶加载到pandas中?,python-3.x,pandas,jupyter-notebook,minio,Python 3.x,Pandas,Jupyter Notebook,Minio,我有本地托管的Minio服务器。 我需要使用pandas从minio s3 bucket读取文件,使用s3 URL,如Jupyter笔记本中的“s3://dataset/wine quality.csv” 我尝试使用s3 boto3库下载文件 import boto3 s3 = boto3.resource('s3', endpoint_url='localhost:9000', aws_access_key_id='id',
import boto3
s3 = boto3.resource('s3',
endpoint_url='localhost:9000',
aws_access_key_id='id',
aws_secret_access_key='password')
s3.Bucket('dataset').download_file('wine-quality.csv', '/tmp/wine-quality.csv')
但是当我尝试使用熊猫时
data = pd.read_csv("s3://dataset/wine-quality.csv")
我收到客户端错误,403。
我知道熊猫在内部使用boto3库(如果我错了,请纠正我)
PS:Pandas read_csv还有一个参数“存储选项”={
“密钥”:AWS\u访问密钥\u ID,
“机密”:AWS\u机密\u访问密钥,
“令牌”:AWS_会话_令牌,
}". 但我找不到任何用于传递自定义Minio主机URL以供pandas读取的配置