Web services 从没有API的网站收集数据

我正在寻找建立一个网络应用程序，以改善在印度预订火车票的用户体验。由于采购费用高昂，无法获得API。我见过许多通过应用程序提供火车等详细信息的应用程序

---

我的问题是他们是如何从网站上抓取数据的。一般来说，我怎样才能合法地在任何网站上向用户显示数据（我不想要没有API的付款和不可能的东西）人们是如何收集这些数据的？有什么工具/方法吗

---

---

如果这个问题很幼稚，请容忍我。我对这方面很陌生。

他们可以使用几种编程语言中的任何一种来获取列车时刻表信息，尽管这很可能是用普通的PHP和任何好的Web服务器主机完成的。例如，所有印度火车时刻表都可以在indianrail.gov网站上找到

正在将专门构建的URL发送到

http://www.indianrail.gov.in/cgi_bin/inet_trnnum_cgi.cgi?lccp_trnname=1123

使用发送表单数据的POST方法应该会为您提供车次号1123的所有详细信息，然后整理结果以存储在数据库中就成了一项简单的任务

更新：很好地检查了入站请求的用户代理和引用程序

---

Ammendum:indianrail.gov网站正在改为->将不得不再看一看

他们可以使用几种编程语言中的任何一种获取列车时刻表信息，尽管这很可能是通过普通PHP和任何好的Web服务器主机完成的。例如，所有印度火车时刻表都可以在indianrail.gov网站上找到

正在将专门构建的URL发送到

http://www.indianrail.gov.in/cgi_bin/inet_trnnum_cgi.cgi?lccp_trnname=1123

使用发送表单数据的POST方法应该会为您提供车次号1123的所有详细信息，然后整理结果以存储在数据库中就成了一项简单的任务

更新：很好地检查了入站请求的用户代理和引用程序

---

Ammendum:indianrail.gov网站正在改为->将不得不再看一看

API并非不可能获得。他们是付费的，这就是他们收集数据的方式。这不仅仅是费用。获取API有很多要求，我确信很少有这样做的应用程序是不合格的。此外，他们不是订票，而是显示我们可以在网站上看到的信息。你需要什么数据，网站是什么？这个问题太笼统了。@Arvin我很清楚。这个网站是印度铁路公司的网站。这些数据是任何用户在与火车相关的网站上都可以获得的一般数据。例如：两站之间的火车、座位的可用性等。API不是不可能获得的。他们是付费的，这就是他们收集数据的方式。这不仅仅是费用。获取API有很多要求，我确信很少有这样做的应用程序是不合格的。此外，他们不是订票，而是显示我们可以在网站上看到的信息。你需要什么数据，网站是什么？这个问题太笼统了。@Arvin我很清楚。这个网站是印度铁路网站。这些数据是任何用户在与火车相关的网站上可以获得的一般数据。例如：两站之间的火车，座位的可用性等。