Python 美化组,将属性信息(资源id)添加到url
我有一个简短的问题,很抱歉,我无法从手册中找到答案。我刮掉一个页面,得到一个属性值Python 美化组,将属性信息(资源id)添加到url,python,beautifulsoup,Python,Beautifulsoup,我有一个简短的问题,很抱歉,我无法从手册中找到答案。我刮掉一个页面,得到一个属性值 div0 = soup.find('a') print div0 >> <a href="/first/page"> some info </a> resource0 = div0['href'] print resource0 >> /first/page div0=soup.find('a')) 打印分区0 >> resource0=div0['
div0 = soup.find('a')
print div0
>> <a href="/first/page"> some info </a>
resource0 = div0['href']
print resource0
>> /first/page
div0=soup.find('a'))
打印分区0
>>
resource0=div0['href']
打印资源0
>>/第一页/第页
…没有完整的url。我想在上面“resource0”的开头添加url,然后使用urlopen打开它并继续抓取。因此,例如,如果url是,我想将上面的resource0添加到它上,以便生成,然后能够打开url
提前感谢,
Vic定义一个基本URL,并使用以下方法将其与相对URL连接: 演示:
div0['href']=”http://site“+div0['href']
?
from urlparse import urljoin
base_url = 'https://www.website.com/'
div0 = soup.find('a')
resource0 = urljoin(base_url, div0['href'])
>>> from urlparse import urljoin
>>> base_url = 'https://www.website.com/'
>>> urljoin(base_url, '/first/page')
'https://www.website.com/first/page'