为没有API和架构的Internet站点构建应用程序

为没有API和架构的Internet站点构建应用程序,api,schema,Api,Schema,我被要求为一个类似Ebay的芬兰拍卖网站建立一个控制系统。 该系统将按照特定规则重新开放封闭式拍卖。它将完全从主站点外部运行,在外部网站上运行 然而,该网站不愿意发布其API和模式。我不知道如何在不了解API的情况下构建这样一个系统 如何在没有API和模式的情况下构建internet站点?可以通过屏幕抓取站点来获取所需的数据。您可以通过将数据发布到表单或使用WebClient类型的API来执行您想要执行的操作,使您的程序像web浏览器一样运行,但这可能是一个非常脆弱的解决方案 老实说,如果没有A

我被要求为一个类似Ebay的芬兰拍卖网站建立一个控制系统。 该系统将按照特定规则重新开放封闭式拍卖。它将完全从主站点外部运行,在外部网站上运行

然而,该网站不愿意发布其API和模式。我不知道如何在不了解API的情况下构建这样一个系统


如何在没有API和模式的情况下构建internet站点?

可以通过屏幕抓取站点来获取所需的数据。您可以通过将数据发布到表单或使用WebClient类型的API来执行您想要执行的操作,使您的程序像web浏览器一样运行,但这可能是一个非常脆弱的解决方案


老实说,如果没有API,就真的没有好的解决方案。

通过屏幕抓取站点可能获得所需的数据。您可以通过将数据发布到表单或使用WebClient类型的API来执行您想要执行的操作,使您的程序像web浏览器一样运行,但这可能是一个非常脆弱的解决方案


老实说,如果没有API,就没有好的解决方案。

您可以尝试某种形式的自动浏览:

编辑:
这里。

您可以尝试某种形式的自动浏览:

编辑:
这里。

你要么需要访问数据库或API,否则就连尝试都没有意义。

你要么需要访问数据库或API,否则就连尝试都没有意义。

我想你是在问建立一个不使用定义良好的API而与另一个站点交互的站点。是这样吗


您可以在不使用官方API的情况下与外部网站进行交互-为了做到这一点,您需要模仿正常的网站访问者并将请求发送到网站前端(与网络爬虫的方式大致相同)。hpricot、mechanize和curl等工具可以帮助您解析页面内容并发送请求,但在这样做时,您的系统可能非常脆弱。对目标站点的任何更改都可能意味着您必须重写部分系统。

我想您是在询问如何构建一个不使用定义良好的API而与另一个站点交互的站点。是这样吗


您可以在不使用官方API的情况下与外部网站进行交互-为了做到这一点,您需要模仿正常的网站访问者并将请求发送到网站前端(与网络爬虫的方式大致相同)。hpricot、mechanize和curl等工具可以帮助您解析页面内容并发送请求,但在这样做时,您的系统可能非常脆弱。对目标站点的任何更改都可能意味着您必须重写部分系统。

huuto希望您如何在不访问其数据的情况下为他们制作控制应用程序?@Matt:huuto不希望我制作控制应用程序,但是它的用户会。huuto怎么希望你在不访问他们的数据的情况下为他们制作一个控制应用程序?@Matt:huuto不希望我制作一个控制应用程序,但它的用户会。@Matt:谢谢你指出这些程序!--我喜欢Python。也许我也可以用漂亮的汤和Defaultdict来解决这个问题你的最后一点很好。我不想构建一个不断被破坏的解决方案。因此,我正在努力寻找能够快速更新的工具。@Matt:谢谢你指出这些程序!——我喜欢Python。也许我也可以用漂亮的汤和Defaultdict来解决这个问题你的最后一点很好。我不想构建一个不断被破坏的解决方案。因此,我正试图找到能让我快速更新的工具。是不是机械化了一个浏览器,它可以像Firefox一样将网页加载到temp,然后将想要的更改应用到互联网上page@Masi:Mechanize允许您的程序完全像普通浏览器一样运行、填写表单、单击链接、存储cookie。对于这个网站来说,它看起来就像是另一个用户在点击,而实际上是你的脚本在执行重新打开拍卖的繁琐任务:)是将一个浏览器机械化,类似于将Firefox加载到temp,然后将想要的更改应用到internetpage@Masi:Mechanize允许您的程序与普通浏览器完全相同,填写表格,点击链接,储存cookies。对于这个网站来说,它看起来就像是另一个用户在点击,而实际上是你的脚本在执行重新打开拍卖的繁琐任务:)