elasticsearch 给定一个具有各种用例的数据摄取平台,对于用户配置数据来说,一个好的数据存储是什么?,elasticsearch,configuration,apache-kafka,elasticsearch,Configuration,Apache Kafka" /> elasticsearch 给定一个具有各种用例的数据摄取平台,对于用户配置数据来说,一个好的数据存储是什么?,elasticsearch,configuration,apache-kafka,elasticsearch,Configuration,Apache Kafka" />

elasticsearch 给定一个具有各种用例的数据摄取平台,对于用户配置数据来说,一个好的数据存储是什么?

elasticsearch 给定一个具有各种用例的数据摄取平台,对于用户配置数据来说,一个好的数据存储是什么?,elasticsearch,configuration,apache-kafka,elasticsearch,Configuration,Apache Kafka,我们的多租户数据摄取平台的最初用例是拉入RSS数据、文件元数据和SQL查询结果。为此,选择ElasticSearch作为数据存储,选择Kafka作为微服务消息代理 新的流式传输、低延迟和时间序列数据是另一项要求。因此,ElasticSearch不是支持Aerospike或XDB的竞争者 最初的计划是将用户帐户和配置数据放入ElasticSearch索引/主题中,因为我希望所有内容都在ES中 根据我们不断增长的需求,我可以看到,根据用例的不同,我们可能有各种不同的数据库类型。继续在ES中存储这些信

我们的多租户数据摄取平台的最初用例是拉入RSS数据、文件元数据和SQL查询结果。为此,选择ElasticSearch作为数据存储,选择Kafka作为微服务消息代理

新的流式传输、低延迟和时间序列数据是另一项要求。因此,ElasticSearch不是支持Aerospike或XDB的竞争者

最初的计划是将用户帐户和配置数据放入ElasticSearch索引/主题中,因为我希望所有内容都在ES中

根据我们不断增长的需求,我可以看到,根据用例的不同,我们可能有各种不同的数据库类型。继续在ES中存储这些信息仍然是一个好主意吗


使用Kafka作为微服务总线。

既然您要求输入Kafka标记,我假设无论用例及其数据存储如何,Kafka都肯定会被使用

那么,为什么不在Kafka中存储用户配置呢


这听起来像是一个相当小的话题,所以你可以将保留期设置为100年或类似的时间。如果您希望用户配置经常更改,可以将其作为压缩主题。现在,当您启动微服务时,它们只需要阅读本主题并将配置存储在内存中。这将使您能够灵活地为应用程序数据选择正确的数据存储,而不必太担心配置。

我没有考虑过这一点。但是,像用户帐户详细信息、电子邮件地址、密码、角色、用户项目等-我希望将它们存储在常规数据库中,然后用这些详细信息填充登录用户的对象。常规数据库对我来说意味着MySQL:)