Spring XD读取多个网站数据

我需要创建一个网站，阅读不同网站的内容，并帮助比较他们

其中一个例子有一个类似的网站

这有助于我们比较不同在线网站之间三星手机的价格

现在我需要知道： 1.如何从不同的网站读取数据。 使用java，我可以读取和获取html数据。但问题是，解析html内容以获得所需信息的最佳方法是什么

我想使用springxd。请提出最佳策略

问候,，

---

Jubin

我认为您需要为每个数据源开发一个java应用程序，然后开发一个自定义模块“source”，并使用SpringXD接收数据

另一个解决方案是开发应用程序，让应用程序将所需数据加载到csv文件中，并在程序运行时自动将它们传输到/tmp/xd/input这样的路径中，然后使用Spring xd将csv文件中的数据接收到所需的任何目的地