Amazon web services aws sstables使用胶水存储在s3中至雅典娜

小免责声明我从未使用过aws胶水

我有一些存储在s3中的sstables，需要转移到拼花地板上。 我在glue中从一个空白图开始了一个新的作业，当我选择源代码为s3，其中bucket包含所有sstables时，它看起来只接受特定的数据类型。（json、csv和拼花地板）

我需要运行一个java代码，以便使用aws服务（最好是胶水）将sstables转储到拼花地板上。有办法吗

谢谢

由于我无法在此处上载文件，因此指向带有sstable文件的回购的链接： 转储仅在一个文件

--big Data.db

上，但需要其他文件才能运行转储：

CompressionInfo.db
Filter.db
Index.db
Statistics.db
Summary.db
TOC.txt

---

您是否尝试过使用Glue crawler对这些SSTable进行爬网，以查看它是否检测到元数据？你能在你的问题上附加一个SStable示例吗？@Prabhakarredy恐怕不行，因为你需要8个文件才能使用我添加到repo的dump链接，该链接包含这些SStable。你不能直接将这些文件以拼花的形式加载到S3，Glue不支持它。您需要首先将它们转换为JSON/CSV，然后使用胶水将它们转换为拼花。@Prabhakarredy有没有办法做到这一点，也许不是在拼花中？我只需要在这些文件上使用转储文件，然后将json转换为csv就可以在Gluence中完成。您应该试试EMR Spark。检查