Machine learning 数据类型一致性

Machine learning 数据类型一致性,machine-learning,artificial-intelligence,data-processing,bigdata,Machine Learning,Artificial Intelligence,Data Processing,Bigdata,是否有人遇到过这样的问题:所有数据都有字符串值,并且您需要知道实际数据类型 您是如何着手解决这个问题的?使用了哪些工具/库 例如,“1”是整数,“05/2017”是带有月份和年份的日期。问题是数据来自多个提要,字段可以有任何数据。您的问题是“如何将原始数据转换为有意义的ML算法输入”?我说,是的。另外,我们通过使用一些正则表达式和ML解决了这个问题。我很想知道其他人是如何解决这个问题的,以及使用了哪些工具。我试图找到其他人是如何解决这个问题的,但却找不到真正好的东西。我看到谷歌云引入了Datap

是否有人遇到过这样的问题:所有数据都有字符串值,并且您需要知道实际数据类型

您是如何着手解决这个问题的?使用了哪些工具/库


例如,“1”是整数,“05/2017”是带有月份和年份的日期。问题是数据来自多个提要,字段可以有任何数据。

您的问题是“如何将原始数据转换为有意义的ML算法输入”?我说,是的。另外,我们通过使用一些正则表达式和ML解决了这个问题。我很想知道其他人是如何解决这个问题的,以及使用了哪些工具。我试图找到其他人是如何解决这个问题的,但却找不到真正好的东西。我看到谷歌云引入了Dataprep。我很惊讶关于它的信息不多。由于物联网变得越来越庞大,ML也在增长,公司应该会收到大量非结构化和未知的数据类型。公司使用ML进行分类,如果他们知道正确的数据类型,那么您的ML算法也可以执行得更好。我想大多数公司都必须花费大量时间来分析和理解他们的数据。在对数据进行分析并再次更改某些内容后,分析从一开始就开始,造成了巨大的时间和开销浪费。我知道的所有数据科学平台(RapidMiner、dataiku、knime等)都有工具帮助用户准备数据。