Python Numba,我该如何加速分析的NumPy代码矢量化?
我正在运行一个大型Python程序来优化金融领域(Markowitz)投资组合优化的投资组合权重。当我分析代码时,90%的运行时间用于计算投资组合回报,这是数百万次的。我能做些什么来加速我的代码?我试过:Python Numba,我该如何加速分析的NumPy代码矢量化?,python,numpy,vectorization,mathematical-optimization,numba,Python,Numpy,Vectorization,Mathematical Optimization,Numba,我正在运行一个大型Python程序来优化金融领域(Markowitz)投资组合优化的投资组合权重。当我分析代码时,90%的运行时间用于计算投资组合回报,这是数百万次的。我能做些什么来加速我的代码?我试过: 向量化回报计算:使代码速度变慢,从1.5毫秒到3毫秒 使用来自Numba的函数autojit来加速代码:无更改 见下面的例子-有什么建议吗 import numpy as np def get_pf_returns(weights, asset_returns, horizon=60)
- 向量化回报计算:使代码速度变慢,从1.5毫秒到3毫秒
- 使用来自Numba的函数autojit来加速代码:无更改
import numpy as np
def get_pf_returns(weights, asset_returns, horizon=60):
'''
Get portfolio returns: Calculates portfolio return for N simulations,
assuming monthly rebalancing.
Input
-----
weights: Portfolio weight for each asset
asset_returns: Monthly returns for each asset, potentially many simulations
horizon: 60 months (hard-coded)
Returns
-------
Avg. annual portfolio return for each simulation at the end of 5 years
'''
pf = np.ones(asset_returns.shape[1])
for t in np.arange(horizon):
pf *= (1 + asset_returns[t, :, :].dot(weights))
return pf ** (12.0 / horizon) - 1
def get_pf_returns2(weights, asset_returns):
''' Alternative '''
return np.prod(1 + asset_returns.dot(weights), axis=0) ** (12.0 / 60) - 1
# Example
N, T, sims = 12, 60, 1000 # Settings
weights = np.random.rand(N)
weights *= 1 / np.sum(weights) # Sample weights
asset_returns = np.random.randn(T, sims, N) / 100 # Sample returns
# Calculate portfolio risk/return
pf_returns = get_pf_returns(weights, asset_returns)
print np.mean(pf_returns), np.std(pf_returns)
# Timer
%timeit get_pf_returns(weights, asset_returns)
%timeit get_pf_returns2(weights, asset_returns)
编辑
解决方案:Matmul在我的机器上速度最快:
def get_pf_returns(weights, asset_returns):
return np.prod(1 + np.matmul(asset_returns, weights), axis=0) ** (12.0 / 60) - 1
下面是一个使用
np.einsum
来获得一点加速的版本:
def get_pf_returns3(weights, asset_returns, horizon=60):
pf = np.ones(asset_returns.shape[1])
z = np.einsum("ijk,k -> ij",asset_returns[:horizon,:,:], weights)
pf = np.multiply.reduce(1 + z)
return pf ** (12.0 / horizon) - 1
然后是时间安排:
%timeit get_pf_returns(weights, asset_returns)
%timeit get_pf_returns3(weights, asset_returns)
print np.allclose(get_pf_returns(weights, asset_returns), get_pf_returns3(weights, asset_returns))
# 1000 loops, best of 3: 727 µs per loop
# 1000 loops, best of 3: 638 µs per loop
# True
机器上的计时可能会因硬件和numpy编译库的不同而有所不同 在我的环境中,
mutmul
(@
)比einsum
和dot
具有适度的时间优势:
In [27]: np.allclose(np.einsum('ijk,k',asset_returns,weights),asset_returns@weig
...: hts)
Out[27]: True
In [28]: %timeit asset_returns@weights
100 loops, best of 3: 3.91 ms per loop
In [29]: %timeit np.einsum('ijk,k',asset_returns,weights)
100 loops, best of 3: 4.73 ms per loop
In [30]: %timeit np.dot(asset_returns,weights)
100 loops, best of 3: 6.8 ms per loop
我认为时间受到计算总数的限制,而不仅仅是编码细节。所有这些都将计算传递给编译后的numpy代码。您的原始循环版本相对较快,这一事实可能与少量循环(仅60个)以及更完整的dot
中的内存管理问题有关
而且numba
可能不会取代dot
代码
因此,这里或那里的调整可能会将代码的速度提高2倍,但不要期望有一个数量级的改进。谢谢!了解我能期望的是一个很大的帮助,然后我将查看代码的其余部分。