Amazon web services 将S3中的数据索引到Elasticsearch中_Amazon Web Services_Amazon S3_Indexing_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch

Amazon web services 将S3中的数据索引到Elasticsearch中

amazon-web-services amazon-s3 indexing

Amazon web services 将S3中的数据索引到Elasticsearch中,amazon-web-services,amazon-s3,indexing,elasticsearch,Amazon Web Services,Amazon S3,Indexing,elasticsearch,我在S3中存储了数亿个文件。我用Elasticsearch为这些文件编制索引。一般来说，它是增量的，速度不是主要问题。有时，我需要为整个集合编制索引。我试图决定我们的内部API是否应该通过S3SDK检索文件内容并返回它，或者我们的内部API是否应该只返回S3URL并让索引器下载文件与使用S3 SDK相比，直接通过S3 HTTP地址编制索引有哪些好处和注意事项我意识到S3可能比从本地磁盘索引慢几个数量级。这与我无关

我在S3中存储了数亿个文件。我用Elasticsearch为这些文件编制索引。一般来说，它是增量的，速度不是主要问题。有时，我需要为整个集合编制索引。我试图决定我们的内部API是否应该通过S3SDK检索文件内容并返回它，或者我们的内部API是否应该只返回S3URL并让索引器下载文件

与使用S3 SDK相比，直接通过S3 HTTP地址编制索引有哪些好处和注意事项

我意识到S3可能比从本地磁盘索引慢几个数量级。这与我无关