Web scraping 在元素存储在数据库中时对其进行刮取

Web scraping 在元素存储在数据库中时对其进行刮取,web-scraping,Web Scraping,我正在用python和scrapy为一个大学作业抓取一个网站。 我在网站上发现了一个元素taht应该有一个评级。评级显示为整数,但我认为它在数据库中存储为十进制 在数据库中存储评级时,是否有方法获取评级?如果是这样的话,我需要学习哪些工具和概念来做到这一点 一个我正在努力抓取的页面示例:(用希伯来语书写)。 这就是我所说的要素: 这就是html代码: <td class="game_specs">7/10</td> 7/10 期望的结果是获得存储

我正在用python和scrapy为一个大学作业抓取一个网站。 我在网站上发现了一个元素taht应该有一个评级。评级显示为整数,但我认为它在数据库中存储为十进制


在数据库中存储评级时,是否有方法获取评级?如果是这样的话,我需要学习哪些工具和概念来做到这一点

一个我正在努力抓取的页面示例:(用希伯来语书写)。
这就是我所说的要素:
这就是html代码:

<td class="game_specs">7/10</td>
7/10
期望的结果是获得存储在数据库中的“7”的实际值,例如“7.32”。
该网站没有用于获取信息的API


我曾尝试自己搜索,但由于我对web开发/抓取领域不熟悉,所以找不到任何解决方案(可能是因为我不知道术语)。

如果你正在抓取一个网站,你甚至不知道是否有数据库,更不用说数据库中有什么了。不管你(或你的代码)怎么说,有人坐在那里手动输入这些评分,或者有一个函数在你每次访问页面时随机生成这些评分

另一种看法是,如果我让你告诉我“真实”评级是什么,你会去哪里?您可以查看显示的页面;您可以查看HTML源代码,以及任何JS、AJAX调用等。如果您可以在其中任何一个中找到它,您可以为它编写一个scraper;如果你不能,你就不能

想象一下,有一种特殊的技巧可以读取世界上任何网站的数据库。现在你可以去亚马逊,运用这个技巧找到留下评论的人的个人信息,或者是销售市场商品的供应商的个人信息


任何网站的所有者都可以选择向您提供哪些信息,以及对哪些信息保密。除非操作网站的人意外地在公开场合留下了一些他们想要保密的信息(并且过分注意这些错误可能会触犯法律)。

如果网站没有HTML以外的API,那么你需要访问数据库。可能联系所有者/管理员以获得直接访问或api访问?“有没有办法获得存储在数据库中的评级?”没有。为什么这对你很重要?@Andy Lester,我打算在一些计算中使用这些值,所以我希望它们更准确。我明白了,这就是我要处理的。让我看看我是否理解你的意思:如果我在chrome开发工具上禁用javascript,然后再次加载页面,我需要的所有数据仍然在那里-这意味着无法知道数据库中存储了什么,对吗?@Benny Well,很难证明它是否定的:它可能在不同的页面上,或者在不同的代码中,但它是否存在取决于网站的运营商,而不是你。你不能强迫亚马逊告诉你我的电子邮件地址,你所能做的就是四处搜寻,看看他们是否在某处泄露了我的电子邮件地址。