Python Dirichlet分布采样中PyMC的浮点错误
在定义了“指数随机变量的对数”的随机对象之后,我决定使用Python Dirichlet分布采样中PyMC的浮点错误,python,random,floating-point,sampling,pymc,Python,Random,Floating Point,Sampling,Pymc,在定义了“指数随机变量的对数”的随机对象之后,我决定使用pymc.randomic\u from\u dist手动编写这个新分布的代码。我尝试实现的模型在此可用(第一个模型): 现在,当我尝试使用MCMC Metropolis并以正态分布作为建议(如下图所述,作为采样方法)对日志(alpha)进行采样时,我得到以下错误: File "/Library/Python/2.7/site-packages/pymc/distributions.py", line 980, in rdirichl
pymc.randomic\u from\u dist
手动编写这个新分布的代码。我尝试实现的模型在此可用(第一个模型):
现在,当我尝试使用MCMC Metropolis并以正态分布作为建议(如下图所述,作为采样方法)对日志(alpha)进行采样时,我得到以下错误:
File "/Library/Python/2.7/site-packages/pymc/distributions.py", line 980, in rdirichlet
return (gammas[0]/gammas[0].sum())[:-1]
FloatingPointError: invalid value encountered in divide
虽然采样没有出错,但采样直方图与本文中的直方图相匹配。我的分层模型是:
"""
A Hierarchical Bayesian Model for Bags of Marbles
logalpha ~ logarithm of an exponential distribution with parameter lambd
beta ~ Dirichlet([black and white ball proportions]:vector of 1's)
theta ~ Dirichlet(alpha*beta(vector))
"""
import numpy as np
import pymc
from scipy.stats import expon
lambd=1.
__all__=['alpha','beta','theta','logalpha']
#------------------------------------------------------------
# Set up pyMC model: logExponential
# 1 parameter: (alpha)
def logExp_like(x,explambda):
"""log-likelihood for logExponential"""
return -lambd*np.exp(x)+x
def rlogexp(explambda, size=None):
"""random variable from logExponential"""
sample=np.random.exponential(explambda,size)
logSample=np.log(sample)
return logSample
logExponential=pymc.stochastic_from_dist('logExponential',logp=logExp_like,
random=rlogexp,
dtype=np.float,
mv=False)
#------------------------------------------------------------
#Defining model parameteres alpha and beta.
beta=pymc.Dirichlet('beta',theta=[1,1])
logalpha=logExponential('logalpha',lambd)
@pymc.deterministic(plot=False)
def multipar(a=logalpha,b=beta):
out=np.empty(2)
out[0]=(np.exp(a)*b)
out[1]=(np.exp(a)*(1-b))
return out
theta=pymc.Dirichlet('theta',theta=multipar)
我的测试采样代码是:
from pymc import Metropolis
from pymc import MCMC
from matplotlib import pyplot as plt
import HBM
import numpy as np
import pymc
import scipy
M=MCMC(HBM)
M.use_step_method(Metropolis,HBM.logalpha, proposal_sd=1.,proposal_distribution='Normal')
M.sample(iter=1000,burn=200)
当我检查distributions.py的978行中传递给gamma distribution的θ值时,我发现不是零而是小值!所以我不知道如何防止这个浮点错误?如果你得到的数字很小,它可能对浮点来说太小了。这通常也是对数要避免的。如果您使用的是
dtype=np.float64
?正如您在问题末尾所建议的,问题在于浮点型转换为0的数字太小。一种解决方案是稍微调整源代码,用例如np.divide替换除法,并在“where”条件下为给定阈值的较小值添加一些显式转换 我在他们的文档中发现:
随机变量截止不能小于D的最大元素,否则D的密度为零。标准Metropolis step方法可以毫无问题地处理这种情况;它偶尔会提出非法值,但这些值将被拒绝
这会让我相信,dtype=np.float
(它与float具有相同的范围)可能不是您想要使用的方法。文档中说它需要是一个numpy数据类型,但它只需要是一个转换为numpy数据类型对象的数据类型,并且在Python2中(如果我错了请纠正我),数字类型是固定大小的类型,这意味着它们是相同的。也许可以选择使用该模块。通过这种方式,您可以设置精度级别来封装预期的值范围,并将其传递给扩展的随机方法进行转换
from decimal import Decimal, getcontext
getcontext().prec = 15
dtype=Decimal
我不知道一旦numpy库得到它,或者它是否会尊重继承的精度级别,它就不会被截断。我没有准确的测试方法,但请尝试一下,让我知道这对您是如何起作用的
编辑:我测试了精度继承的概念,它似乎适用于:
>>> from decimal import Decimal, getcontext
>>> getcontext().prec = 10
>>> Decimal(1) / Decimal(7)
Decimal('0.1428571429')
>>> np.float(Decimal(1) / Decimal(7))
0.1428571429
>>> getcontext().prec = 15
>>> np.float(Decimal(1) / Decimal(7))
0.142857142857143
>>>
我认为在distributions.py的主代码中应该有一个异常捕捉器,用于PyMC处理gammas[0]为零的情况!如果在测试采样代码中导入后立即添加
np.seterr(divide='ignore')
,会有什么结果?@alko,谢谢,但仍然是相同的错误。关键是需要使用PyMC的源代码!我宁愿不要!但是谢谢。嘿,杰西,谢谢你的回答,但是我现在几乎记不起关于PyMC的任何事情了。我希望他们有更好的保养。我已经走了,哈哈!