Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/html/87.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在python中使用beautifulsoup进行刮取时缺少值_Python_Html_Web Scraping_Beautifulsoup_Missing Data - Fatal编程技术网

在python中使用beautifulsoup进行刮取时缺少值

在python中使用beautifulsoup进行刮取时缺少值,python,html,web-scraping,beautifulsoup,missing-data,Python,Html,Web Scraping,Beautifulsoup,Missing Data,我正在尝试使用python(对编程来说是全新的)进行web抓取,这是我的第一个项目,我几乎完成了,但是网页上的一些值丢失了,所以我想用“0”或“未找到”之类的值来替换丢失的值,实际上我只想从数据中生成一个csv文件,而不是真正进行分析 我正在抓取的网页是: 我有一个循环,收集页面的所有te链接,然后转到每一个链接,刮取数据并将其保存在列表中,但是我的一些列表的元素比其他列表的元素少。因此,我只想让我的程序识别何时缺少值,并在“大小”列表中附加一个“0”或“未找到” 要收集页面上的链接,请执行以下

我正在尝试使用python(对编程来说是全新的)进行web抓取,这是我的第一个项目,我几乎完成了,但是网页上的一些值丢失了,所以我想用“0”或“未找到”之类的值来替换丢失的值,实际上我只想从数据中生成一个csv文件,而不是真正进行分析

我正在抓取的网页是:

我有一个循环,收集页面的所有te链接,然后转到每一个链接,刮取数据并将其保存在列表中,但是我的一些列表的元素比其他列表的元素少。因此,我只想让我的程序识别何时缺少值,并在“大小”列表中附加一个“0”或“未找到”

要收集页面上的链接,请执行以下操作:

tags = soup('a',{'class':'js-listing-link'})
for tag in tags:
    link = tag.get('href')
    if link not in links:
        links.append(link)

print("Number of Links:", len(links))
收集每个部门的规模:

for link in links:
    size = soup('span',{'class':'Overview-attribute icon-livingsize-v4'})
    for mysize in size:
        mysize = mysize.get_text().strip()
        sizes.append(mysize)

print("Number of Sizes:", len(sizes))

在此页面上,您可以选择所有列表行(使用
。选择('.ListingCell row')
),然后选择其中的所有信息(并用
-
替换缺少的信息):

印刷品:

Loft en Renta Amueblado Una Recámara Cerca Udem
https://www.lamudi.com.mx/loft-en-renta-amueblado-una-recamara-cerca-udem.html
50 m²
--------------------------------------------------------------------------------
DEPARTAMENTO EN RENTA SAN JERONIMO EQUIPADO
https://www.lamudi.com.mx/departamento-en-renta-san-jeronimo-equipado.html
-
--------------------------------------------------------------------------------
Departamento - Narvarte
https://www.lamudi.com.mx/departamento-narvarte-58.html
60 m²
--------------------------------------------------------------------------------

...and so on.
Loft en Renta Amueblado Una Recámara Cerca Udem
https://www.lamudi.com.mx/loft-en-renta-amueblado-una-recamara-cerca-udem.html
50 m²
--------------------------------------------------------------------------------
DEPARTAMENTO EN RENTA SAN JERONIMO EQUIPADO
https://www.lamudi.com.mx/departamento-en-renta-san-jeronimo-equipado.html
-
--------------------------------------------------------------------------------
Departamento - Narvarte
https://www.lamudi.com.mx/departamento-narvarte-58.html
60 m²
--------------------------------------------------------------------------------

...and so on.