Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/310.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 将无限制字段爬网到csv文件中_Python_Scrapy_Web Crawler - Fatal编程技术网

Python 将无限制字段爬网到csv文件中

Python 将无限制字段爬网到csv文件中,python,scrapy,web-crawler,Python,Scrapy,Web Crawler,我想抓取一个字段数未知的网站,并将其导出为csv文件,如下所示: 这是我想要抓取的数据 这是我要导出的csv文件: 现在我的代码是这样的,我有问题 name = "products" start_urls = [ 'https://www.parchem.com/chemical-supplier-distributor/Acetaldehyde-003316.aspx', ] def parse(self, response): f

我想抓取一个字段数未知的网站,并将其导出为csv文件,如下所示:

这是我想要抓取的数据

这是我要导出的csv文件:

现在我的代码是这样的,我有问题

name = "products"

start_urls = [
    'https://www.parchem.com/chemical-supplier-distributor/Acetaldehyde-003316.aspx',
   
]

def parse(self, response):
    
    for products in response.css('div.prd-des-lis'):
        yield{
            products.css('div.prod-categorty p::text').get():products.css('div.prod-category-back p::text').get()
        
这是html文件的示例源代码

 <div class="prd-des-lis">
                    <div class="col-lg-12 col-md-12 col-sm-12 col-xs-12">
                        <div class="row">
                            <div class="col-lg-4 col-md-4 col-sm-12 col-xs-12 prod-categorty">
                                <p>PRODUCT</p>
                            </div>
                            <div class="col-lg-8 col-md-8 col-sm-12 col-xs-12 clearfix prod-categorty prod-category-back">
                                <p>
                                    Acetaldehyde
                                </p>
                            </div>
                        </div>
                    </div>
                </div>

产品

乙醛


有人能帮我吗?

请发布一个简短的HTML示例,说明您试图解析的内容,而不是链接到外部资源。我将示例代码添加到了post中,因此基本上您希望在输出中翻转行和列,对吗?是的,我希望“我有问题”-您能更具体一点吗?它是否给出了一个错误(如果是,那么错误消息和行号是多少)?