Amazon web services 亚马逊AWS雅典娜S3和冰川混合桶 亚马逊雅典娜日志分析服务与S3冰川

S3中有PB的数据。我们是，我们将使用情况数据存储在网络的S3中，用于计费目的。我们在S3存储桶中存储了以制表符分隔的日志文件。雅典娜给了我们一个蜂巢光标错误

我们的S3桶设置为在6个月后自动推送到AWS冰川。除了冰川备份文件外，我们的存储桶还有S3文件，可以随时读取。因此，我们从雅典娜那里得到了访问错误。错误中引用的文件是Glacier备份

我猜答案是：不要把冰川备份放在同一个桶里。由于数据卷的大小，我们无法轻松使用此选项。我相信雅典娜不会在这种设置下工作，我们将无法使用雅典娜进行日志分析

然而，如果有一种方法我们可以使用雅典娜，我们会很激动。有没有解决蜂巢光标错误的方法和跳过冰川文件的方法？我们的s3存储桶是一个没有文件夹的扁平存储桶

屏幕截图中省略了上面和下面屏幕截图中显示的S3文件对象名称。

HIVE\u CURSOR\u ERROR

中的文件引用实际上就是冰川对象。你可以在我们S3 Bucket的屏幕截图中看到它

我试着在上面发帖，但没有成功

2017年5月16日的声明明确指出，雅典娜不支持冰川储存类别：

Athena不支持位置指定的存储桶内的不同存储类 子句，不支持冰川存储类，也不支持请求者付费 水桶。有关更多信息，请参阅《Amazon简单存储服务开发人员指南》中的和

我们也对此感兴趣,；如果您能让它工作，请让我们知道如何。：-）

由于Athena将忽略具有GLACIER storage类的对象，而不是查询失败：

[…]由于解决了这个问题，雅典娜忽略了转换到冰川存储类的对象。Athena不支持从冰川存储类查询数据

---

您必须有一个S3存储桶才能使用。此外，用于启动S3 Glacier Select作业的AWS帐户必须具有S3存储桶的写入权限。Amazon S3存储桶必须与包含正在查询的存档对象的vault位于同一AWS区域

S3 glacier select运行查询并存储在S3 bucket中

---

总之，要使用S3 glacier select语句，必须将数据移动到S3 buck中。然后在“新”S3存储桶上使用Athena。

我认为这可能是Athena中的一个bug。Athena文档中没有提到Glacier。我添加了一些详细信息，显示我们的s3对象文件名实际上处于Glacier对象状态。即使Glacier restore不起作用，您也可以将Glacier Select与SQL一起使用？谢谢！这是有道理的。顺便说一句，我们已经成为雅典娜用户专家。普雷斯托很棒。@StephenBlum普雷斯托为你解决了这个问题吗？如果是，怎么做？我们面临同样的问题。@killdash9相反，我们创建了一个新的bucket，带有

/Year/Month/Day/Hour/

分区。这就解决了问题！您可以将Glacier Select与SQL一起使用