使用python仅更新空mysql字段

使用python仅更新空mysql字段,python,mysql,sqlalchemy,isnull,Python,Mysql,Sqlalchemy,Isnull,我面临这样的问题: 我有很多cvs文件不是标准化格式。 以下是一个例子: "VarName";"TimeString";"VarValue";"Validity";"Time_ms" "Data_block_1_HC1_sec_voltage";"02.07.2015 14:16:56";3,740281;1;42187595088,2176 "Data_block_1_TC1.1";"02.07.2015 14:17:56";1319,3;1;42187595782,6042 "Data_bl

我面临这样的问题:

我有很多cvs文件不是标准化格式。 以下是一个例子:

"VarName";"TimeString";"VarValue";"Validity";"Time_ms"
"Data_block_1_HC1_sec_voltage";"02.07.2015 14:16:56";3,740281;1;42187595088,2176
"Data_block_1_TC1.1";"02.07.2015 14:17:56";1319,3;1;42187595782,6042
"Data_block_1_TC1.2";"02.07.2015 14:17:56";1319,8;1;42187595782,6042
"Data_block_1_TCF1.1";"02.07.2015 14:17:56";513,9;1;42187595782,6042
"HC1_HC1_output";"02.07.2015 14:17:56";0;1;42187595782,6042
"Data_block_1_HC1_sec_cur";"02.07.2015 14:17:56";1782,873;1;42187595782,6042
"Data_block_1_HC1_power";"02.07.2015 14:17:56";6,68997;1;42187595782,6273
"HC1_HC1_setpoint";"02.07.2015 14:17:56";1320;1;42187595782,6273
"Data_block_1_HC1_sec_voltage";"02.07.2015 14:17:56";3,74994;1;42187595782,6273
"Data_block_1_TC1.1";"02.07.2015 14:18:56";1319,3;1;42187596477,0023
"Data_block_1_TC1.2";"02.07.2015 14:18:56";1320;1;42187596477,0023
"Data_block_1_TCF1.1";"02.07.2015 14:18:56";514,2;1;42187596477,0023
"HC1_HC1_output";"02.07.2015 14:18:56";0;1;42187596477,0023
"Data_block_1_HC1_sec_cur";"02.07.2015 14:18:56";1779,488;1;42187596477,0023
"Data_block_1_HC1_power";"02.07.2015 14:18:56";6,672971;1;42187596477,0255
"HC1_HC1_setpoint";"02.07.2015 14:18:56";1320;1;42187596477,0255
正好有8个变量具有相同的时间戳

这是我用来形成数据的代码:

import csv
from collections import defaultdict
import os

from glob import glob
from datetime import datetime
from sqlalchemy import create_engine
from sqlalchemy import Table, Column, Integer, String, MetaData, ForeignKey

i=1
engine = create_engine('mysql+pymysql://root@localhost/test',echo=False)
conn = engine.connect()
metadata = MetaData(bind=engine)
data_dir = ''


sql_values_list = list()


for file_name in glob(os.path.join(data_dir, 'HC10.csv')):
    with open(file_name, 'rt') as f:
        #data_file=open('HC10.csv','rU')
        reader=csv.DictReader(f,delimiter=';', quotechar='"')
        data=defaultdict(lambda:[None,None,None,None,None,None,None,None])
        fruit_to_index = defaultdict(lambda:None,{'Data_block_1_HC1_sec_voltage':0,'Data_block_1_TC1.1':1,'Data_block_1_TC1.2':2,'Data_block_1_TCF1.1':3,'HC1_HC1_output':4,'Data_block_1_HC1_sec_cur':5,'Data_block_1_HC1_power':6,'HC1_HC1_setpoint':7})
        for row in reader:
            if fruit_to_index[row['VarName']] != None:

                data[datetime.strptime(row['TimeString'], '%d.%m.%Y %H:%M:%S')][fruit_to_index[row['VarName']]] = float(row['VarValue'].replace(',', '.'))
                i=i+1
                if i==2:
                    for key, value in data.items():
                        if value !=
                        sql_values_list.append((key, value[0], value[1], value[2], value[3], value[4], value[5], value[6], value[7]))
                        i=3
                        print(sql_values_list)
        f.close()
数据输出本指令:

defaultdict(<function <lambda> at 0x038C26F0>, {datetime.datetime(2015, 8, 15, 15, 1, 33): [4.034867, 1324.1, 1325.0, 533.7, 0.0, 1922.136, 7.755563, 1325.0], datetime.datetime(2015, 8, 15, 15, 4, 33): [4.034867, 1324.1, 1325.0, 533.7, 0.0, 1930.6, 7.794376, 1325.0],.... 
我需要为给定的时间戳(数据库中的primarykey)更新mysql数据库,但只更新空字段。因为在临时更新时,我会用空值重写存储的变量

我知道这有一个sql语句,叫做
ISNULL
coalesce

但是我必须用python来做这件事。我使用Vesrion3.4和pyMysql作为sqlalchemy的连接器。我知道sqlalclhemy可以进行更新,但没有比isnull更好的了。请帮助我,因为这对我来说非常重要,而且我的python知识非常低。也许可以有另一个解决方案,如何做到不更新,但它似乎对我来说很难。非常感谢您的帮助

我想我今天找到了解决办法。 这正是我需要的:

sql = "INSERT INTO `projections_sample` (`id`,`month`, `revenue`) VALUES (%s,%s, %s) ON DUPLICATE KEY UPDATE month=IF(VALUES(month)IS NULL,month,VALUES(month)),revenue=IF(VALUES(revenue)IS NULL,revenue,VALUES(revenue))"

它使用pymysql,只更新空字段,保留现有记录的原样。然而,我不知道这个解决方案有多可靠,但这正是我所需要的,这样做对我来说非常重要

我想我今天找到了一个解决方案。 这正是我需要的:

sql = "INSERT INTO `projections_sample` (`id`,`month`, `revenue`) VALUES (%s,%s, %s) ON DUPLICATE KEY UPDATE month=IF(VALUES(month)IS NULL,month,VALUES(month)),revenue=IF(VALUES(revenue)IS NULL,revenue,VALUES(revenue))"

它使用pymysql,只更新空字段,保留现有记录的原样。但是我不知道这个解决方案有多可靠,但这是我需要的,这样做对我来说非常重要

可能有一个解决方案在重复键更新时使用语句插入,但我应该设置为只写入值不为空的列可能有一个解决方案在重复键更新时使用语句插入,但我应设置为仅写入值不为null的列