为什么Julia 0.3.12(MixedModels 0.3.22)和Julia1.2(MixedModels 2.2.0)之间的混合模型拟合时间存在巨大差异?
我正在运行一个线性混合效应模型,数据集由约500K个观测值组成。 我有一个连续的回答(即Y),24个分类变量(即X1,…,X24), 8个连续变量(即Z1,…,Z8)和一个ID变量(即1160级的ID),用于指定随机效应。 线性混合模型公式为Y~X1+…+X24+Z1+…+Z8+(0+X1|ID)+…+(0+X24 | ID) 在Windows中,为了适应Julia 0.3中的模型,我使用MixedModels包(版本0.3.22),使用以下内容:为什么Julia 0.3.12(MixedModels 0.3.22)和Julia1.2(MixedModels 2.2.0)之间的混合模型拟合时间存在巨大差异?,julia,mixed-models,Julia,Mixed Models,我正在运行一个线性混合效应模型,数据集由约500K个观测值组成。 我有一个连续的回答(即Y),24个分类变量(即X1,…,X24), 8个连续变量(即Z1,…,Z8)和一个ID变量(即1160级的ID),用于指定随机效应。 线性混合模型公式为Y~X1+…+X24+Z1+…+Z8+(0+X1|ID)+…+(0+X24 | ID) 在Windows中,为了适应Julia 0.3中的模型,我使用MixedModels包(版本0.3.22),使用以下内容: 预拟合步骤:fit1=lmm(my_公式,my
fit1=lmm(my_公式,my_数据)
,以及安装(fit1)
fit2=LinearMixedModel(@formula(my_公式)、my_数据)
,以及安装!(fit2)
fit3=LinearMixedModel(@formula(my_公式)、my_数据)
,以及安装!(fit3)
这是一台Windows 2012服务器,CPU为Intel Xeon@3.5GHz E5-2637 v3(4核;8线程)和64 GB RAM。Windows和Linux都是在同一台服务器上运行的。Julia 0.3基本上是石器时代的产品。该软件包的维护人员几天前发布了3.0.0版本。也许他们解决了一些性能问题。在任何情况下,在不同的软件包版本之间,速度都明显下降了(这和julia版本本身几乎没有关系),所以打开这个问题是有意义的。
+---------------+---------------+-------------------------+--------------+----------+------------+
| Windows/Linux | Julia version | BLAS.set_num_threads(1) | Pre-fit time | Fit time | Total time |
| | (MixedModels) | | | | |
+---------------+---------------+-------------------------+--------------+----------+------------+
| | 0.3.12(0.3.22)| No | 38 sec | 14 sec | 52 sec |
| +---------------+-------------------------+--------------+----------+------------+
| Windows | 1.2 (2.2.0) | No | 20 sec | 301 sec | 321 sec |
+---------------+---------------+-------------------------+--------------+----------+------------+
| | 1.2 (2.2.0) | No | 21 sec | 108 sec | 129 sec |
| +---------------+-------------------------+--------------+----------+------------+
| | 1.2 (2.2.0) | Yes | 25 sec | 55 sec | 80 sec |
| Linux Docker +---------------+-------------------------+--------------+----------+------------+
| | 1.4 (2.2.0) | No | 25 sec | 108 sec | 133 sec |
| +---------------+-------------------------+--------------+----------+------------+
| | 1.4 (2.2.0) | Yes | 24 sec | 57 sec | 81 sec |
+---------------+---------------+-------------------------+--------------+----------+------------+