BeautifulSoup-使用Python通过分页表刮取数据

我正在一个博彩网站上搜集数据 （）

我可以在当前页面上抓取有限数量的事件。我面临的问题是，我无法浏览表中的其余数据。 如何转到下一页或链接

以下是我的代码：

import urllib2
from urllib2 import urlopen
import requests
import dryscrape
from bs4 import BeautifulSoup

dryscrape.start_xvfb()
SessionFDJ = dryscrape.Session()
SessionFDJ.visit('https://pointdevente.parionssport.fdj.fr/parisouverts/rugby/')
ResponseFDJ = SessionFDJ.body()
print(ResponseFDJ)

---

此页面使用

JavaScript

获取所有数据并对其进行更改。使用

Chrome/Firefox

中的

DevTools

查看浏览器使用了哪些文件/URL，您可以看到

它将所有数据显示为

JSON

本页似乎使用了

API

，因此可以找到API文档，而无需

BeautifulSoup

---

结果:

Biarritz-Perpignan
Kenya-France
Australie-Japon
Etats-Unis-Ecosse
Argentine-Pays de Galles
Angleterre-Samoa
Montauban-Colomiers
Bourgoin-Angoulême
Aurillac-Mt-de-Marsan
Dax-Albi
Vannes-Béziers
Ospreys-Edimbourg
Glasgow-Munster
Sale-Exeter
Bath-Saracens
Pau-Clermont
Zebre-Llanelli
Angleterre-Australie
Connacht-Trévise
Gloucester-Bristol
Leicester-Northampton
Cardiff-Ulster
Grenoble-Montpellier
Lyon-Castres
St.Français-Bayonne
Leinster-Newport
La Rochelle-Racing 92
Toulouse-Brive
Narbonne-Oyonnax
Worcester-Wasps
Newcastle-Harlequins
Toulon-Bordeaux
Fidji-Canada
NlleZélande-Russie
Agen-Carcassonne
AfriqueduSud-Ouganda

---

此页面使用

JavaScript

获取所有数据并对其进行更改。使用

Chrome/Firefox

中的

DevTools

查看浏览器使用了哪些文件/URL，您可以看到

它将所有数据显示为

JSON

本页似乎使用了

API

，因此可以找到API文档，而无需

BeautifulSoup

---

结果:

Biarritz-Perpignan
Kenya-France
Australie-Japon
Etats-Unis-Ecosse
Argentine-Pays de Galles
Angleterre-Samoa
Montauban-Colomiers
Bourgoin-Angoulême
Aurillac-Mt-de-Marsan
Dax-Albi
Vannes-Béziers
Ospreys-Edimbourg
Glasgow-Munster
Sale-Exeter
Bath-Saracens
Pau-Clermont
Zebre-Llanelli
Angleterre-Australie
Connacht-Trévise
Gloucester-Bristol
Leicester-Northampton
Cardiff-Ulster
Grenoble-Montpellier
Lyon-Castres
St.Français-Bayonne
Leinster-Newport
La Rochelle-Racing 92
Toulouse-Brive
Narbonne-Oyonnax
Worcester-Wasps
Newcastle-Harlequins
Toulon-Bordeaux
Fidji-Canada
NlleZélande-Russie
Agen-Carcassonne
AfriqueduSud-Ouganda

---

这是一个客户端呈现的应用程序，没有可以通过urllib获得的HTML表格信息。所有数据都使用Javascript进行检索和呈现。更简单的是，您不必解析HTML

这是一个链接，其中包含必要的数据-

---

它返回包含所有事件的JSON，您可以使用Python库对其进行解析。

这是一个客户端呈现的应用程序，您无法通过urllib获得HTML中的表信息。所有数据都使用Javascript进行检索和呈现。更简单的是，您不必解析HTML

这是一个链接，其中包含必要的数据-

---

它返回包含所有事件的JSON，您可以使用Python库对其进行解析。

谢谢您的回答。很明显，我做这件事的方式不对。将探索JSON库。感谢您的回答。很明显，我做这件事的方式不对。将探索JSON库。感谢您的回答。很明显，我做这件事的方式不对。将探索JSON库。感谢您的回答。很明显，我做这件事的方式不对。将探索JSON库。