Java 设计建议-MSSQL DB记录的JSON解析和处理

我正在编写一个框架，它需要从MSSQL数据库中获取大量记录，每个记录/行都有一个JSON数据，我需要解析这些数据，然后对这些JSON数据进行一些计算。每个记录的解析和计算是独立的。因此，我们正在为这个框架寻找一些设计建议

以下是一些细节

• 语言：Java
• 没有数据库记录：非常大，因此需要某种批处理 和并行处理
• 目前正在考虑使用的图书馆：GSON（还有其他建议吗？）

---

-谢谢

我曾参与过一个类似的项目。这些是我学到的一些重要经验

解析器库：我从json simple移动到json smart。是各种图书馆的比较。从主硬盘读取时，json的运行时间- 与json simple相比，smart仅占60%

重用对象：假设要处理大量记录，请对更改值的所有记录重新使用相同的JSONObject。不要初始化循环中的对象

---

如果您想进行批处理，请看一看Spring batch project。我真的很想知道为什么您会将JSON放在关系数据库中。@stealthjong我的整个产品并没有将JSON广泛地放在数据库中，它只是它的一个小功能，它轮询一个表，其他产品组件在其中转储JSON数据。谢谢Rishi，你能提供一些关于你是如何设计的更多细节吗？比如，你是按顺序读取和解析每个数据库记录，还是先从数据库批量读取，然后再进行解析，或者其他什么。在我的例子中，我必须按顺序读取，因为我在读取TB的数据。所以我在阅读记录时一直在分析它们。什么最适合您取决于您的应用程序、数据大小、可用资源等。感谢Rishi，他有兴趣了解您在顺序方法中所做的优化，特别是在数据库读取方面。没有使用SQL。在Apahce Lucene中为我的数据编制了索引，因此我的优化是特定于Lucene的。顺便说一句，记得投票并接受对你有帮助的答案。谢谢Rishi，是的，我会的。