Python Scrapy字符集utf-8
我有一个刮网站并写入MySQL的代码。目前我在编码方面有问题 spider的代码部分 pipeline.pyPython Scrapy字符集utf-8,python,encoding,scrapy,Python,Encoding,Scrapy,我有一个刮网站并写入MySQL的代码。目前我在编码方面有问题 spider的代码部分 pipeline.py 我的问题是如何修复编码。如果删除.encode('utf-8')行,会发生什么情况?没有任何变化您使用什么程序来显示数据库的内容?它是否配置为使用PhpMyAdmin正确处理unicode?I。我需要处理utf-8的数据。哦,对不起。我误解了这个问题,你是对的。这是配置问题。非常感谢。如果删除.encode('utf-8')行,会发生什么情况?没有任何变化您使用哪个程序来显示数据库的内
我的问题是如何修复编码。如果删除
.encode('utf-8')
行,会发生什么情况?没有任何变化您使用什么程序来显示数据库的内容?它是否配置为使用PhpMyAdmin正确处理unicode?I。我需要处理utf-8的数据。哦,对不起。我误解了这个问题,你是对的。这是配置问题。非常感谢。如果删除.encode('utf-8')
行,会发生什么情况?没有任何变化您使用哪个程序来显示数据库的内容?它是否配置为使用PhpMyAdmin正确处理unicode?I。我需要处理utf-8的数据。哦,对不起。我误解了这个问题,你是对的。这是配置问题。非常感谢。
def parse(self, response):
items=response.css('div.footer__unit')
for bricks in response.css('div.shop-item'):
l = ItemLoader(item=Product(), response=response)
l.add_css('title', 'a.shop-item-title::text')
l.add_css('price', 'div.shop-item-price[param1*="7"]
span.price::text')
yield l.load_item()
# -*- coding: utf-8 -*-
from __future__ import print_function
import mysql.connector
from scrapy.exceptions import DropItem
from scrapy.http import Request
from scrapy.loader import ItemLoader
import sys
class MySQLStorePipeline(object):
def process_item(self, item, spider):
self.conn = mysql.connector.connect(user='root', password='',
host='localhost',
database='spider',
charset='utf8')
#connecting
self.cursor = self.conn.cursor()
addMaterial=("INSERT INTO material "
"(title, price) "
"VALUES (%s, %s)")
#each item to MYSQL
for x in range (0,len(item['title'])):
title=item['title'][x]
title=title.encode('utf-8')
price=item['price'][x]
price=price.encode('utf-8')
dataMaterial = (title,price)
self.cursor.execute(addMaterial,dataMaterial)
self.conn.commit()
self.conn.close()
self.cursor.close()
return item