mySQL-分钟数据缺少分钟数
我有一个数据库,有一个cityname表和一个湿度表。详情如下:mySQL-分钟数据缺少分钟数,mysql,import,Mysql,Import,我有一个数据库,有一个cityname表和一个湿度表。详情如下: 'cityname' has 2 columns: -city_ID <- integer and primary key that increments automatically -city_full_name <- character name i.e. boston, toronto, new york city etc... 'citymoisture' has 7 columns: -ci
'cityname' has 2 columns:
-city_ID <- integer and primary key that increments automatically
-city_full_name <- character name i.e. boston, toronto, new york city etc...
'citymoisture' has 7 columns:
-city_ID <- tied to the city_ID field via a Foreign Key
-date
-time
-open
-high
-low
-close
我发现的问题是数据中存在漏洞。当分钟周期到来时,传感器有时无法保存,因此有两个连续行之间的时间大于1分钟的时段。我想找出这些差距并插入我自己的数据,理想情况下是前一分钟数据的复写本
数据文件的示例输出:
Date, Time, Open, High, Low, Close
1/4/1999,9:31:00 AM,0.943,0.943,0.943,0.943
1/4/1999,9:32:00 AM,0.943,0.943,0.943,0.943
1/4/1999,9:33:00 AM,0.943,0.943,0.943,0.943
1/4/1999,9:35:00 AM,0.943,0.943,0.943,0.943
1/4/1999,9:36:00 AM,0.943,0.943,0.943,0.943
参见本例中9:34的数据缺失。我想做的是找到一种方法来识别发生这种情况的地方并进行更改。我想我可能只是将前一分钟的数据复制到缺失的分钟行中
类似于如果时间[1]-time[0]>1,则在两者之间插入上一行。非常感谢您的帮助。创建一个包含所有分钟数(1440行)的表,并在加载数据表后对其进行左外部联接。任何空行都缺少数据
不要忘记索引。您想在何处进行此修改?导入后的数据库或导入前的文本文件?每个城市湿度文件为60MBs,大约有180万行数据,因此可能在确定我在何处进行修改时发挥作用。最后,我想要一个完整的数据集,这样所有城市都有相同数量的数据点。我的朋友,你有什么建议?不管怎样,都有很多数据。我本能的反应是编辑文本文件,保持导入的干净。然后您可以使用现有的工具来翻阅文本并复制行。是的,我编写了一个perl脚本来完成这项工作,但即使这样,情况也很混乱,因为有太多的情况会导致缺少间隙。。。。慢慢地把它清理干净。
Date, Time, Open, High, Low, Close
1/4/1999,9:31:00 AM,0.943,0.943,0.943,0.943
1/4/1999,9:32:00 AM,0.943,0.943,0.943,0.943
1/4/1999,9:33:00 AM,0.943,0.943,0.943,0.943
1/4/1999,9:35:00 AM,0.943,0.943,0.943,0.943
1/4/1999,9:36:00 AM,0.943,0.943,0.943,0.943