Caching 哪种大数据框架可以实现毫秒级的数据转换？

在我的应用程序中，Postgres数据库包含5个表，每个表有超过100万条记录，每个表有超过75列。我的应用程序从这些表中查询数据，然后转换数据。转换目前由scala脚本完成。然后，这些数据就被用于FronEnd。我使用的是有3个微服务的微服务架构。但是查询和转换数据非常耗时，需要10秒以上的时间

---

是否有解决方案或大数据框架可用于将此时间减少到毫秒？它能在微服务和数据库之间通信吗？

简短回答：不能，除非我们谈论的是10秒和100秒的毫秒

详细回答：通常，如果您需要处理以毫秒为单位转换的7500万个数据点，您可以：

• 必须在内存中进行，仔细使用您的语言选择的数据结构
• 预计算并缓存结果，可能导致某些（未缓存的）请求运行10秒以上
• 重新评估您的技术需求和/或体系结构

---

是的。我希望用记忆来减少时间。我认为Redis和ApacheIgnite可以存储在内存中。该中间件是否能够满足这一要求？还有，集成ApacheFlink这样的框架来转换数据怎么样？大多数大数据框架的目标大多是水平可伸缩性，而不是超快的内存处理。我建议搜索性能优化的库，最有可能在高频交易领域中找到。您可以查看Debezium和Kafka，以便从Postgres数据库中提取数据，并将数据放入Kafka Streams transformer和可嵌入前端应用程序中的KTable中，以进行亚秒K-V查找