Python 从网页表中删除值

我想创建一个颜色名称的python字典，从中提取背景色

访问颜色名称字符串和背景色十六进制值的最佳方式是什么？我想为颜色名称-->十六进制值创建一个映射，其中一个颜色名称映射到一个或多个十六进制值

以下是我的代码：

import requests
from bs4 import BeautifulSoup

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
soup = BeautifulSoup(page.text)

---

我不知道如何指定从表中刮取什么。我尝试了以下方法以获得有用的格式：

soup.td
<td nowrap="" width="175*">abbey</td>


soup.get_text()
"(M)\n td { padding: 0 10px; }  \n\n(M) Dictionary of Color  Maerz and Paul, Dictionary of Color, 1st ed.   \n\nabbey207\nabsinthe [green]  120\nabsinthe yellow105\nacacia101102\nacademy blue173\nacajou43\nacanthe95\nacier109\nackermann's green137\naconite violet223....
.............\nyolk yellow84\nyosemite76\nyucatan5474\nyucca150\nyu chi146\nyvette violet228\n\nzaffre blue  179182\nzanzibar47\nzedoary wash71\nzenith [blue]  199203\nzephyr78\nzinc233265\nzinc green136\nzinc orange5053\nzinc yellow84\nzinnia15\nzulu47\nzuni brown58\n\n"


soup.select('tr td')
[...
<td nowrap="" width="175*">burnt russet</td>,
 <td style="background-color:#722F37; color:#FFF" title="16">16</td>,
 <td style="background-color:#79443B; color:#FFF" title="43">43
 </td>,
 <td nowrap="" width="175*">burnt sienna</td>,
 <td style="background-color:#9E4732; color:#FFF" title="38">38
 </td>,
 ...]

---

你试图刮取的网页是格式糟糕的HTML。查看页面源代码后，很明显，大多数行都以

开头，然后有一个或多个

元素，所有这些元素都没有结束标记。使用

BeautifulSoup

应该指定一个HTML解析器，对于本例，我们最好希望解析器能够理解表结构

我提出了一个解决方案，它依赖于网页本身的结构化格式。我没有将网页解析为HTML，而是使用每种颜色都有自己的行，每行都有一种通用格式

import re
import requests

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
lines = page.text.splitlines()

opening = '<tr><td width="175*" nowrap>'
ending = '<td title="'
bg_re = r'style="background-color:(#.{6})'
color_map = dict()
for line in lines:
    if line.startswith(opening):
        color_name = line[len(opening):line.find(ending)].strip()
        color_hex = [match.group(1) for match in re.finditer(bg_re, line)]
        if color_name in color_map: 
            color_map[color_name].extend(color_hex)  # Note: some colors are repeated
        else:
            color_map[color_name] = color_hex

color_map['burnt russet']
## ['#722F37', '#79443B']

重新导入
导入请求
page=requests.get（'http://people.csail.mit.edu/jaffer/Color/M.htm')
lines=page.text.splitlines（）
期初=“”
ending='您试图抓取的网页是格式糟糕的HTML。查看页面源代码后，很明显，大多数行都以
开头，然后有一个或多个
元素，所有这些元素都没有结束标记。使用
BeautifulSoup
应该指定一个HTML解析器，对于本例，我们最好希望解析器能够理解表结构

我提出了一个解决方案，它依赖于网页本身的结构化格式。我没有将网页解析为HTML，而是使用每种颜色都有自己的行，每行都有一种通用格式

import re
import requests

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
lines = page.text.splitlines()

opening = '<tr><td width="175*" nowrap>'
ending = '<td title="'
bg_re = r'style="background-color:(#.{6})'
color_map = dict()
for line in lines:
    if line.startswith(opening):
        color_name = line[len(opening):line.find(ending)].strip()
        color_hex = [match.group(1) for match in re.finditer(bg_re, line)]
        if color_name in color_map: 
            color_map[color_name].extend(color_hex)  # Note: some colors are repeated
        else:
            color_map[color_name] = color_hex

color_map['burnt russet']
## ['#722F37', '#79443B']

重新导入
导入请求
page=requests.get（'http://people.csail.mit.edu/jaffer/Color/M.htm')
lines=page.text.splitlines（）
期初=“”
ending='只需使用nowrap查找tds，提取文本并获得以下td的样式属性：

import requests
from bs4 import BeautifulSoup

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
soup = BeautifulSoup(page.content)
for td in soup.select("td[nowrap]"):
    print(td.text, [sib["style"] for sib in td.find_next_siblings("td")])

输出的一个片段：

 (u'abbey', ['background-color:#604E97; color:#FFF'])
(u'absinthe [green]  ', ['background-color:#8A9A5B'])
(u'absinthe yellow', ['background-color:#B9B57D'])
(u'acacia', ['background-color:#EAE679', 'background-color:#B9B459'])
(u'academy blue', ['background-color:#367588'])
(u'acajou', ['background-color:#79443B; color:#FFF'])
(u'acanthe', ['background-color:#6C541E; color:#FFF'])
(u'acier', ['background-color:#8C8767'])
(u"ackermann's green", ['background-color:#355E3B; color:#FFF'])
(u'aconite violet', ['background-color:#86608E'])
(u'acorn', ['background-color:#7E6D5A; color:#FFF'])
(u'adamia', ['background-color:#563C5C; color:#FFF'])
(u'adelaide', ['background-color:#32174D; color:#FFF'])

如果只需要十六进制值，可以在
“；”
上拆分样式文本，然后在
上拆分子字符串：
：

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
soup = BeautifulSoup(page.content)
d = {}
for td in soup.select("td[nowrap]"):
    cols = td.find_next_siblings("td")
    d[td.text] = [st.split(":", 1)[-1] for sib in cols for st in sib["style"].split("; ")]

print(d)

这会给你一个类似于：

{u'moonlight ': ['#FAD6A5', '#BFB8A5'], u'honey bird': ['#239EBA'], u'monte carlo ': ['#007A74', '#317873'],...............

您需要使用
lxml
或
html5lib
作为解析器来处理损坏的html。我假设您正在使用其中一个，就好像您不会获得您所做的输出一样。
只需使用nowrap查找tds，提取文本并获得以下td的样式属性：

import requests
from bs4 import BeautifulSoup

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
soup = BeautifulSoup(page.content)
for td in soup.select("td[nowrap]"):
    print(td.text, [sib["style"] for sib in td.find_next_siblings("td")])

输出的一个片段：

 (u'abbey', ['background-color:#604E97; color:#FFF'])
(u'absinthe [green]  ', ['background-color:#8A9A5B'])
(u'absinthe yellow', ['background-color:#B9B57D'])
(u'acacia', ['background-color:#EAE679', 'background-color:#B9B459'])
(u'academy blue', ['background-color:#367588'])
(u'acajou', ['background-color:#79443B; color:#FFF'])
(u'acanthe', ['background-color:#6C541E; color:#FFF'])
(u'acier', ['background-color:#8C8767'])
(u"ackermann's green", ['background-color:#355E3B; color:#FFF'])
(u'aconite violet', ['background-color:#86608E'])
(u'acorn', ['background-color:#7E6D5A; color:#FFF'])
(u'adamia', ['background-color:#563C5C; color:#FFF'])
(u'adelaide', ['background-color:#32174D; color:#FFF'])

如果只需要十六进制值，可以在
“；”
上拆分样式文本，然后在
上拆分子字符串：
：

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
soup = BeautifulSoup(page.content)
d = {}
for td in soup.select("td[nowrap]"):
    cols = td.find_next_siblings("td")
    d[td.text] = [st.split(":", 1)[-1] for sib in cols for st in sib["style"].split("; ")]

print(d)

这会给你一个类似于：

{u'moonlight ': ['#FAD6A5', '#BFB8A5'], u'honey bird': ['#239EBA'], u'monte carlo ': ['#007A74', '#317873'],...............

您需要使用
lxml
或
html5lib
作为解析器来处理损坏的html。我假设您正在使用其中的一个，就好像您不会得到您所做的输出一样。
“我不确定如何指定从表中刮取什么”，您希望从表中得到什么？我在最初的问题中澄清了我试图提取的内容。这有帮助吗？“我不知道如何指定从表中刮取什么”，你想从表中得到什么？我澄清了我在最初的问题中试图提取的内容。这有帮助吗？这只为每个颜色名称输出一种背景色，而映射实际上是一对多，例如：acacia101102@Fruitspunchsamurai,您只需使用
查找下一个兄弟姐妹（“td”）
，因为编辑、索引和正则表达式不是解析HTMLHIS的好方法。它只为每个颜色名称输出一种背景色，而映射实际上是一对多，例如：acacia101102@Fruitspunchsamurai，您只需按照编辑使用
查找下一个兄弟姐妹（“td”）
，索引和正则表达式不是解析htmlYeah的好方法，这对我很有用。我避免使用正则表达式，因为我总是被告知不要使用它来解析html或xml。不过在这种情况下效果很好。谢谢是的，这对我有用。我避免使用正则表达式，因为我总是被告知不要使用它来解析html或xml。不过在这种情况下效果很好。谢谢