Machine learning 如何处理具有多个平均长度为20的时间序列数据的集合?

Machine learning 如何处理具有多个平均长度为20的时间序列数据的集合?,machine-learning,deep-learning,time-series,bigdata,forecasting,Machine Learning,Deep Learning,Time Series,Bigdata,Forecasting,我有大量的短时间序列数据(短时间序列的平均长度=20)。数据的总大小约为6GB。 当前系统以以下方式工作: 1) 将6 GB数据加载到RAM中。 2) 处理数据。 3) 将每个时间序列对应的预测值放入excel 问题是,每次我运行上述系统,在我的8GB RAM PC上都要花费将近1小时的时间。 请建议一个更好的方法来减少我的时间。 使用更快的编程语言。例如,您可以更喜欢使用朱丽亚或C++来代替MATLAB或Python。 尽量使你的代码更有效率。例如,不要通过复制数据(按值传递)将数据传递给函数

我有大量的短时间序列数据(短时间序列的平均长度=20)。数据的总大小约为6GB。 当前系统以以下方式工作: 1) 将6 GB数据加载到RAM中。 2) 处理数据。 3) 将每个时间序列对应的预测值放入excel

问题是,每次我运行上述系统,在我的8GB RAM PC上都要花费将近1小时的时间。 请建议一个更好的方法来减少我的时间。

  • 使用更快的编程语言。例如,您可以更喜欢使用朱丽亚或C++来代替MATLAB或Python。
  • 尽量使你的代码更有效率。例如,不要通过复制数据(按值传递)将数据传递给函数,而是尝试将它们作为引用()传递。使用更高效的数据结构

  • 将数据集分成更小的部分。分别处理每个小部件。然后,在末尾合并输出