Web scraping 每分钟刷新一次的Web抓取数据

我试图从这个每分钟都会刷新的网站中提取一些数据。我有非常基本的java编程知识。我的一个朋友告诉我一种方法是做网页抓取，但我尝试过研究它，尝试过chrome扩展，但似乎没有一个适合我

一些关于网站的背景信息。这是一个网站，人们可以通过它来监控新加坡COE汽车权利证书的投标价格。每隔一个星期三，从1430年到1600年，我都必须在excel电子表格每分钟刷新之前手动复制并粘贴数据

COE的详细信息

我附上了截图来进一步说明。 这是网站刮

谢谢你的阅读，我感谢你给我的帮助。谢谢

致以最良好的祝愿，

---

Charles

使用AWS Lambda和node js可以获得非常低的成本

创建一个Lambda函数，并在您想要抓取网站的cron计划中触发它。你可以像这样使用图书馆

简化爬行

而且

要获得页面中的确切节点，请使用服务器端jquery或任何可以从爬网页面提取元素的渐进式脚本

一旦掌握了细节，就可以将它们存储在DynamoDB下，DynamoDB是一种延迟非常低的nosql

你可以用， ODM喜欢用很少的代码访问DynamoDB

希望能有帮助