我能';使用python对表的tr标记进行web刮取

我能';使用python对表的tr标记进行web刮取,python,web-scraping,Python,Web Scraping,我正在尝试删除此站点的代理列表: 但是,我找不到类为“proxy row ng scope”的tr标记 这是我的密码: import requests from bs4 import BeautifulSoup url = 'http://cool-proxy.net/' r = requests.get(url) soup = BeautifulSoup(r.text , 'html.parser') table = soup.find('table') rows =table.find_al

我正在尝试删除此站点的代理列表: 但是,我找不到类为“proxy row ng scope”的tr标记

这是我的密码:

import requests
from bs4 import BeautifulSoup
url = 'http://cool-proxy.net/'
r = requests.get(url)
soup = BeautifulSoup(r.text , 'html.parser')
table = soup.find('table')
rows =table.find_all('tr', class_='proxy-row ng-scope')
print(rows)

尝试获取包含所有json的api url,如:

import requests

response = requests.get('http://cool-proxy.net/proxies.json').json()

all_ips = [{pr['country_name']: pr['ip']} for pr in response]

print(all_ips)
我只得到国家/地区名称和ip,但还有您想要的所有其他密钥,如:

import requests

response = requests.get('http://cool-proxy.net/proxies.json').json()

all_ips = [{'country': pr['country_name'], 'ip': pr['ip'], 'port': pr['port']} for pr in response]

print(all_ips)

如果查看页面的源代码,则只有“proxy row”类存在,并且只有其中一个。页面正在使用javascript加载实际行。因此,当您通过请求加载页面时,您实际上并没有获得屏幕上显示的数据。非常感谢您,它起到了很好的作用!