Amazon s3 有没有办法将Gzip文件从AmazonS3加载到Pentaho（PDI/Spoon/Kettle）中？

有没有办法将Gzip文件从AmazonS3加载到Pentaho数据集成（Spoon）中

有一个“文本文件输入”具有支持Gzip的压缩属性，但该模块不能作为源连接到S3

有一个“S3CSV输入”模块，但没有压缩属性，因此它无法将gzip内容解压缩为表格形式

而且，没有办法将数据从S3保存到本地文件。下载的内容只能“跳转”到另一个步骤，但没有任何步骤可以从上一个步骤读取Gzip数据，与Gzip兼容的步骤都只能从文件中读取

所以，我可以从S3获取Gzip数据，但我不能将数据发送到任何可以使用它的地方

---

我错过什么了吗？有没有办法从非文件源解压压缩的数据？

我真的不知道如何解压，但如果您真的需要，您可以使用Pentaho data Integration提供的S3到VFS功能。我可以在我的PDI CE发行版中使用具有以下内容的vsf-providers.xml：

../data-integration/libext/pentaho/pentaho-s3-vfs-1.0.1.jar

<providers>
  <provider class-name="org.pentaho.s3.vfs.S3FileProvider">
    <scheme name="s3"/>
    <if-available class-name="org.jets3t.service.S3Service"/>
  </provider>
</providers>

。/数据集成/libext/pentaho/pentaho-s3-vfs-1.0.1.jar

您也可以尝试在peanatho Ketter中使用GZIP输入控件。Ketter在处理文件时使用VFS（虚拟文件系统）。因此，您可以通过http、ssh、ftp、zip。。。并在读取文件的所有步骤中将其作为常规本地文件使用。只需使用正确的“url”。您将发现更多和，以及一个非常好的教程。此外，还可以查看Catter附带的VFS转换示例

这是S3:

S3://:@S3的url模板

在您的情况下，您将使用“文本文件输入”和您提到的压缩设置，所选文件为：

s3://aCcEsSkEy:SecrEttAccceESSKeeey@s3/your-s3-bucket/your_file.gzip
谢谢！已经有一段时间了，我现在还没有积极使用Pentaho，但等我回到Pentaho时，我会尝试一下。