BMSI系列的第二篇,承接第一篇介绍的单参数模型,这里介绍贝叶斯框架下的多参数模型。

手敲难免出现纰漏,有任何疑似错误或者不清楚的地方请直接在下方评论区留言(评论区只开在【Series】下),谢谢各位读者。

引入

顾名思义,在多参数模型中我们有超过一个的参数,这使得我们的模型有更广泛的应用。一个常见的例子就是均值和方差(或均值向量和协方差矩阵)均未知的(多元)正态分布。另一个常见的例子就是多项分布——如果读者对话题模型topic model的隐狄利克雷模型latent dirichlet allocation有所了解的话,对此应该不会陌生。

事实上,有些时候虽然我们使用多参数模型建模,但我们只关心其中某个参数的分布。此时我们将其他不感兴趣的参数成为“妨碍参数”(Nuisance parameter)。在我们得到参数的后验分布后,我们可能需要通过积分或其他手段求出感兴趣的参数的分布,也就是边缘分布。

一元正态分布

一元正态分布的概率密度函数为

多样本下有

我们知道,先验选取的不同会导致我们的后验分布的结果不同。因此这里我们分为无信息先验和共轭先验两小节来讨论这一问题。

无信息先验

我们选取Jeffrey先验,或者说。注意,此时的先验也是和位置族、尺度族参数的结论是一致的。

于是我们立刻可以得到后验分布

其中为样本方差

的条件后验分布

有了后验分布的形式,我们可以很轻松得写出的条件后验分布

的后验分布

现在我们来计算的后验分布,直接积分有

,或写为

当然,另一种做法是使用下面的公式

在给定下上式依然成立,即

于是可以省去积分的操作,直接

得到完全相同的结果

的后验分布

使用直接积分,先做变换

事实上这是分布的形式,即,或等价的,这和传统方法给出的结论也是相同的。

我建议读者尝试使用相除的方法求取的后验分布,因为许多初学者第一次并不能准确地求得。其陷阱在于归一化常数里是可能含有不能丢掉的信息的——本题为例的话就是分母的归一化因子中含有。因此如果不小心的一路使用可能会导致出现错误的结果。

共轭先验

我们可以求得共轭先验为。该分布的表达式为

其中,即

在此先验下,可以算得其后验分布为

整理为先验的形式为,其中

由此我们可以立刻得到

使用类似的算法,我们可以计算出的后验分布

化简和计算过程在这里就略去了,感兴趣的读者可以推一下考察自己的代数化简功底。读者可以对比上一小节的结论,再观察的加权形式,加深自己对公式的理解。

多项分布

多项分布的概率密度函数为

其共轭先验为狄利克雷分布Dirichlet distribution。其形式为

其后验分布为

也就是说,参数从更新为

多元正态分布

多元正态分布的概率密度函数为

其中,这里用到了迹trace)的性质,而且且的矩阵的迹就是这个值。

共轭先验

给定的情形

此时,我们可以使用共轭先验
以得到后验分布

其中

,从这个形式也能看出“加权平均”的影子。

的先验分布

回忆一元模型下我们使用卡方分布来刻画方差。若,我们有

这里我们使用方差的推广——威沙尔分布Wishart distribution来刻画协方差阵。若,我们有

仿照一元正态的模型,我们使用作为先验,同样是分两步走:

我们可以求得其后验分布为,其中

此时计算得条件后验、边缘后验如下

这里只展示最难算的的计算过程,供感兴趣的读者核验

我们依次考察指数中的三个项。

于是乎,指数项(的-2倍)为

其中第二项即为

无信息先验

使用,此时其Jeffreys无信息先验为