PythonWeb抓取Div
我正试图从一个网站上抓取工作清单，但我没有足够的抓取经验。 我发现所有作业都位于PythonWeb抓取Div,python,regex,web-scraping,beautifulsoup,python-requests,Python,Regex,Web Scraping,Beautifulsoup,Python Requests,我正试图从一个网站上抓取工作清单，但我没有足够的抓取经验。 我发现所有作业都位于div块中，如下所示： 我想访问的是职务名称、职务说明和职务链接（）到我的代码 从bs4导入美化组 从请求导入获取 从requests.exceptions导入RequestException 从上下文库导入关闭 从bs4导入BeautifulSoup 进口稀土 def simple_get（url）： #试图通过发出HTTP get请求获取“url”处的内容。 #如果响应的内容类型是某种HTML/XML，则返回
div
）到我的代码
从bs4导入美化组
从请求导入获取
从requests.exceptions导入RequestException
从上下文库导入关闭
从bs4导入BeautifulSoup
进口稀土
def simple_get（url）：
#试图通过发出HTTP get请求获取“url”处的内容。
#如果响应的内容类型是某种HTML/XML，则返回
#文本内容，否则返回None
尝试：
以关闭（get（url，stream=True））作为响应：
如果响应良好（resp）：
返回相应内容
其他：
一无所获
除RequestException外，如e：
print（{0}:{1}请求期间出错）。格式（url，str（e）））
一无所获
def响应良好（resp）：
#如果响应似乎是HTML，则返回true，否则返回false
content_type=resp.headers['content-type'].lower（）
返回（响应状态\代码==200
并且内容类型不是无
和内容_type.find（'html'）>-1）
原始html=simple\u get（'http://www.keejob.com/offres-emploi/jobs/advanced/results/')
html=BeautifulSoup（原始的html，'html.parser'）
对于html.find_all（“div”，“class”：“block_white\u a post clearfix”}）中的项：
打印（项目）
打印（“--------------------------------------------------------”）
打印（str（item.get_text（））.strip（）.join（“”））
#试图得到描述
打印（“--------------------------------------------------------”）
我按照显示顺序准确解析了以下内容：
职称
工作描述
工作链接
代码：
输出：
Chef Unité Plastique
Une société de renommée dans le milieu industriel recrute pour l'un de ses sites "Chef Unité Plastique"Mission:* Planifier et coordonner le travail, définir et répartir les postes de travail (méthodes ...
/offres-emploi/jobs/view/64208/chef-unit%C3%A9-plastique/
Chef D'équipe Production
Nous recrutons pour le compte de notre client, une multinationale automobile de renommée sise à Sousse, Chef D'équipe ProductionMISSIONS:Organiser les différents îlots Superviser les teams leader productionSavoir atteindre les cadences Maîtriser parfaitement tout ...
/offres-emploi/jobs/view/64207/chef-d%C3%A9quipe-production/
Technicien Regleur
Une Société de renommée dans le milieu industriel recrute pour l'un de ses sites un Technicien regleurMission * Montage et réglage des outillages et périphériques lors des changements de formats et/ou ...
/offres-emploi/jobs/view/64206/technicien-regleur/
Architecte d'intérieur
No Job Description
/offres-emploi/jobs/view/64205/architecte-dint%C3%A9rieur/
Mouliste (Technicien Moule)
Une société de renommée dans le milieu industriel recrute pour l'un de ses sites un Technicien MouleMission* Réaliser à l'unité ou en petite série les différentes pièces (coque, pont, ailerons, ...
/offres-emploi/jobs/view/64204/mouliste-technicien-moule/
ASSISTANTE COMMERCIAL
No Job Description
/offres-emploi/jobs/view/64203/assistante-commercial/
Un Directeur Financier et Administratif (H/F)
HR House International recrute pour l'un de ses clients, un groupe tunisien de renommé:Un Directeur Financier et Administratif (H/F) Principales missions:superviser la comptabilité et assurer les clôtures mensuelles et annuelles.établir les déclarations ...
/offres-emploi/jobs/view/64202/un-directeur-financier-et-administratif-hf/
CONSEILLERS EN IMMOBILIER SENIORS (H/F)
No Job Description
/offres-emploi/jobs/view/64201/conseillers-en-immobilier-seniors-hf/
Assistant Moyens Généraux
Microcred Tunisie, 8ème filiale du Groupe Microcred, souhaite recruter Un Assistant Moyens Généraux. Placé(e) sous la supervision directe du Responsable Moyens Généraux, le(a) candidat(e) évoluera dans un environnement exigeant, créatif et ...
/offres-emploi/jobs/view/64199/assistant-moyens-g%C3%A9n%C3%A9raux/
INGÉNIEUR MAINTENANCE INDUSTRIELLE
No Job Description
/offres-emploi/jobs/view/64198/ing%C3%A9nieur-maintenance-industrielle/
Un (e) Stagiaire en Logistique
No Job Description
/offres-emploi/jobs/view/64197/un-e-stagiaire-en-logistique/
Business Process Consultant EIMEA(Consultant SAP SD)
No Job Description
/offres-emploi/jobs/view/64196/business-process-consultant-eimeaconsultant-sap-sd/
Coordinateur QHSE
No Job Description
/offres-emploi/jobs/view/64195/coordinateur-qhse/
Directeur administratif (H/F)
No Job Description
/offres-emploi/jobs/view/64194/directeur-administratif-hf/
MODELISTE
No Job Description
/offres-emploi/jobs/view/64193/modeliste/
Auditeur comptable & Réviseurs
No Job Description
/offres-emploi/jobs/view/64191/auditeur-comptable-r%C3%A9viseurs/
stagaire Assistance de direction et technique de commerce
No Job Description
/offres-emploi/jobs/view/64189/stagaire-assistance-de-direction-et-tache-commerciale/
Manager commercial
Mission : Le manager commercial élabore des stratégies commerciales afin d’optimiser les résultats et d’agrandir voire de développer le réseau. Pour cela, il met en œuvre des plans d’actions commerciales, ...
/offres-emploi/jobs/view/64188/manager-commercial/
Responsable magasin zone sahel
Missions- Accueillir, conseiller et satisfaire le client,- Organiser et piloter les activités en boutique,- Développer le chiffre d’affaire et atteindre les objectifs fixés,- Manager, animer et motiver l’équipe de vente,- ...
/offres-emploi/jobs/view/64187/responsable-magasin-zone-sahel/
RESPONSABLE FINANCIER
No Job Description
/offres-emploi/jobs/view/64181/responsable-financier/
非常感谢，但是你能给我解释一下：1/job.append（re.sub（r'\n\s*\n'，r'\n\n'，div.find（'a'）。get_text（）.strip（），flags=re.M））你到底在替换什么？我对正则表达式不太在行，还没有。flags=re.mba这是什么？基本上，整行正则表达式只是删除空格、换行符、制表符等。这是必要的，因为解析文本将有许多不必要的空格和换行符，这使得可读性很难，也不会清理PARed文本在以后与您的程序一起使用时会使事情变得复杂，因此如果需要，最好只对其进行清理。re.M
标志用于多行匹配。最后请帮我推荐一本好书或网站或任何参考资料，以了解有关使用python和regex进行web报废的更多信息。提前感谢您：）您可以查看第二章，该章专门介绍正则表达式和BeautifulSoup解析。还要注意的是，如果你的目标是掌握正则表达式，这本书不会把你带到精通水平，而是会让你很好地了解正则表达式的工作原理，并为你打下良好的基础。
Chef Unité Plastique
Une société de renommée dans le milieu industriel recrute pour l'un de ses sites "Chef Unité Plastique"Mission:* Planifier et coordonner le travail, définir et répartir les postes de travail (méthodes ...
/offres-emploi/jobs/view/64208/chef-unit%C3%A9-plastique/
Chef D'équipe Production
Nous recrutons pour le compte de notre client, une multinationale automobile de renommée sise à Sousse, Chef D'équipe ProductionMISSIONS:Organiser les différents îlots Superviser les teams leader productionSavoir atteindre les cadences Maîtriser parfaitement tout ...
/offres-emploi/jobs/view/64207/chef-d%C3%A9quipe-production/
Technicien Regleur
Une Société de renommée dans le milieu industriel recrute pour l'un de ses sites un Technicien regleurMission * Montage et réglage des outillages et périphériques lors des changements de formats et/ou ...
/offres-emploi/jobs/view/64206/technicien-regleur/
Architecte d'intérieur
No Job Description
/offres-emploi/jobs/view/64205/architecte-dint%C3%A9rieur/
Mouliste (Technicien Moule)
Une société de renommée dans le milieu industriel recrute pour l'un de ses sites un Technicien MouleMission* Réaliser à l'unité ou en petite série les différentes pièces (coque, pont, ailerons, ...
/offres-emploi/jobs/view/64204/mouliste-technicien-moule/
ASSISTANTE COMMERCIAL
No Job Description
/offres-emploi/jobs/view/64203/assistante-commercial/
Un Directeur Financier et Administratif (H/F)
HR House International recrute pour l'un de ses clients, un groupe tunisien de renommé:Un Directeur Financier et Administratif (H/F) Principales missions:superviser la comptabilité et assurer les clôtures mensuelles et annuelles.établir les déclarations ...
/offres-emploi/jobs/view/64202/un-directeur-financier-et-administratif-hf/
CONSEILLERS EN IMMOBILIER SENIORS (H/F)
No Job Description
/offres-emploi/jobs/view/64201/conseillers-en-immobilier-seniors-hf/
Assistant Moyens Généraux
Microcred Tunisie, 8ème filiale du Groupe Microcred, souhaite recruter Un Assistant Moyens Généraux. Placé(e) sous la supervision directe du Responsable Moyens Généraux, le(a) candidat(e) évoluera dans un environnement exigeant, créatif et ...
/offres-emploi/jobs/view/64199/assistant-moyens-g%C3%A9n%C3%A9raux/
INGÉNIEUR MAINTENANCE INDUSTRIELLE
No Job Description
/offres-emploi/jobs/view/64198/ing%C3%A9nieur-maintenance-industrielle/
Un (e) Stagiaire en Logistique
No Job Description
/offres-emploi/jobs/view/64197/un-e-stagiaire-en-logistique/
Business Process Consultant EIMEA(Consultant SAP SD)
No Job Description
/offres-emploi/jobs/view/64196/business-process-consultant-eimeaconsultant-sap-sd/
Coordinateur QHSE
No Job Description
/offres-emploi/jobs/view/64195/coordinateur-qhse/
Directeur administratif (H/F)
No Job Description
/offres-emploi/jobs/view/64194/directeur-administratif-hf/
MODELISTE
No Job Description
/offres-emploi/jobs/view/64193/modeliste/
Auditeur comptable & Réviseurs
No Job Description
/offres-emploi/jobs/view/64191/auditeur-comptable-r%C3%A9viseurs/
stagaire Assistance de direction et technique de commerce
No Job Description
/offres-emploi/jobs/view/64189/stagaire-assistance-de-direction-et-tache-commerciale/
Manager commercial
Mission : Le manager commercial élabore des stratégies commerciales afin d’optimiser les résultats et d’agrandir voire de développer le réseau. Pour cela, il met en œuvre des plans d’actions commerciales, ...
/offres-emploi/jobs/view/64188/manager-commercial/
Responsable magasin zone sahel
Missions- Accueillir, conseiller et satisfaire le client,- Organiser et piloter les activités en boutique,- Développer le chiffre d’affaire et atteindre les objectifs fixés,- Manager, animer et motiver l’équipe de vente,- ...
/offres-emploi/jobs/view/64187/responsable-magasin-zone-sahel/
RESPONSABLE FINANCIER
No Job Description
/offres-emploi/jobs/view/64181/responsable-financier/