Amazon web services 在AWS SageMaker中加载S3铲斗数据

与以下问题相关，但我仍在努力：

我正在尝试从本地S3 bucket加载一个拼花文件（它的名称中包含“sagemaker”）

我尝试使用两种约定（文件的对象URL和通常看到的URL）访问该文件：

上面写着

FileNotFoundError

，但文件在那里。 有趣的是，当我创建一个模型并使用BOTO时，我实际上能够“写入”同一个存储桶：

buf = io.BytesIO()
smac.write_numpy_to_dense_tensor(buf, np.array(train_X).astype('float32'), np.array(train_y).astype('float32'))
buf.seek(0)
key = 'linear_train.data'
prefix = "Sales_867_ts"
boto3.resource('s3').Bucket(bucket_write).Object(os.path.join(prefix, 'train', key)).upload_fileobj(buf)
s3_train_data = 's3://{}/{}/train/{}'.format(bucket_write, prefix, key)
print('uploaded training data location: {}'.format(s3_train_data))

所以有几个新手问：

• 我也需要BOTO来读取文件吗？如果需要，我该怎么做

• 我是否需要以某种方式修改我的IAM角色，并在没有“boto”命令的情况下执行此操作

• 当我将数据移动到Jupyter时，直接读取数据实际上没有问题。那么这些数据存储在哪里呢

---

pf1=ParquetFile（“/Sales\u 867\u ts/inputData/t\u spp\u vcen\u cons\u Sales\u fact-part-1.parquet”）

只需导入s3fs，然后df=pd.read\u csv。您需要在s3fs库上安装conda，尽管

只需导入s3fs，然后df=pd.read\u csv。您需要在s3fs库上安装conda，尽管

嗨，Bullzeye，您可以发布更多的代码，尤其是您的导入吗？具体来说，我想了解一下nd您使用的是哪种python ParquetFile实现（有一些）。嗨，Bullzeye，您可以发布更多的代码，特别是您的导入吗？具体来说，我想了解您使用的是哪种python ParquetFile实现（有一些）

buf = io.BytesIO()
smac.write_numpy_to_dense_tensor(buf, np.array(train_X).astype('float32'), np.array(train_y).astype('float32'))
buf.seek(0)
key = 'linear_train.data'
prefix = "Sales_867_ts"
boto3.resource('s3').Bucket(bucket_write).Object(os.path.join(prefix, 'train', key)).upload_fileobj(buf)
s3_train_data = 's3://{}/{}/train/{}'.format(bucket_write, prefix, key)
print('uploaded training data location: {}'.format(s3_train_data))