是否可以在内存中没有原始模型的情况下加载 PyMC3 跟踪和访问值？

Question

我仍在学习使用 PyMC3 的基础知识，所以希望这在文档中不会太明显。基本思想是我将我的模型放在一起，对它进行大量采样以建立我的后验分布并保存链。如果我按照 Backends 页面的建议加载像 trace = pm.backends.text.load('test_txt') 这样的链，那么我会得到 TypeError: No context on context stack。我期望的是，我能够将 text.load 方法指向已保存的数据库，并且我会返回带有所有跟踪值的 numpy 数组，即数据库将包含访问所需的所有信息链值。

我能找到的在 PyMC3 中加载跟踪的唯一示例是 here，它显示用于加载跟踪的模型变量与用于创建跟踪的模型变量相同。如果我想要一个运行我的链的脚本和一个单独的脚本来加载和分析痕迹，它似乎唯一的方法是在两个文件中使用相同的命令初始化模型。这听起来很容易在文件之间造成不一致，但是因为我必须手动保持模型相同。

这是我保存链的 PyMC 入门页面中的示例。我将以下代码保存在一个简短的脚本中。

import numpy as np
import pymc3 as pm
from scipy import optimize

# Initialize random number generator
np.random.seed(123)

# True parameter values
alpha, sigma = 1, 1
beta = [1, 2.5]

# Size of dataset
size = 100

# Predictor variable
X1 = np.random.randn(size)
X2 = np.random.randn(size) * 0.2

# Simulate outcome variable
Y = alpha + beta[0]*X1 + beta[1]*X2 + np.random.randn(size)*sigma

basic_model = pm.Model()

with basic_model:
    # Priors for unknown model parameters
    alpha = pm.Normal('alpha', mu=0, sd=10)
    beta = pm.Normal('beta', mu=0, sd=10, shape=2)
    sigma = pm.HalfNormal('sigma', sd=1)

    # Expected value of outcome
    mu = alpha + beta[0]*X1 + beta[1]*X2

    # Likelihood (sampling distribution) of observations
    Y_obs = pm.Normal('Y_obs', mu=mu, sd=sigma, observed=Y)

    # obtain starting values via MAP
    start = pm.find_MAP(fmin=optimize.fmin_powell)

    # instantiate sampler
    step = pm.Slice(vars=[sigma])

    # instantiate database
    db = pm.backends.Text('so_save')

    # draw 5000 posterior samples
    trace = pm.sample(5000, step=step, start=start, trace=db)

然后运行下一行（在 Python CLI 或在单独的脚本中）给出

trace = pm.backends.text.load('so_save')
# TypeError: No context on context stack

trace = pm.backends.text.load('so_save', model=pm.Model())
print trace
print trace.varnames
# <MultiTrace: 1 chains, 5000 iterations, 0 variables>
# []

# run same first 36 lines from the big code block above
trace = pm.backends.text.load('so_save', model=basic_model)
print trace
print trace.varnames
# <MultiTrace: 1 chains, 5000 iterations, 4 variables>
# ['alpha', 'beta', 'sigma_log_', 'sigma']

再多说一点 motivation/context，我正在尝试以几种略有不同的方式对相同数据建模。我希望磁盘上的每个模型都有很好的长链，我只需要生成一次。然后，当我想到要分析痕迹的方法时，我可以尝试比较它们。

Answer 1

简答：

用这个来保存痕迹

import pickle # python3
import cPickle as pickle # python 2

with open('my_model.pkl', 'wb') as buff:
    pickle.dump({'model': basic_model, 'trace': trace}, buff)

然后重新加载：

with open('my_model.pkl', 'rb') as buff:
    data = pickle.load(buff)  

basic_model, trace = data['model'], data['trace']

长答案：

有一些关于 deprecating the backends 的讨论——它们在存储需要运行很长时间的痕迹的上下文中很有用，并且可以运行记忆。然后使用持久性后端可以恢复已经完成的工作。汉密尔顿采样器效率更高，因此更短的跟踪就足够了，因此磁盘后端自 2016 年以来没有收到太多开发时间。

加载不受信任的 pickle 文件存在一些危险（如果您在本地运行宁事情，这不是问题），并且重新考虑 PyMC3 的持久性成为当务之急，但以上内容目前应该有效.

Answer 2

要在 pymc3 中保存和重新加载跟踪，您可以使用方法：pymc3.save_trace() 和 pymc3.load_trace()。或者，您也可以使用“pickle”。

是否可以在内存中没有原始模型的情况下加载 PyMC3 跟踪和访问值？

Can a PyMC3 trace be loaded and values accessed without the original model in memory?

python

pymc3