母函数

概率母函数

定义

是非负整数的随机变量,定义其概率母函数 (probability-generating function)为

其中约定 。显然 绝对收敛

性质

  • ,这说明概率母函数和概率分布列一一对应
  • ,则
  • 相互独立,,则
  • 是独立同分布的非负整数随机变量,概率母函数为 ; 为取正整数值的随机变量且独立于 ,概率母函数为 。则 的概率母函数为

只给出性质五的证明

例子

二项分布

二项分布 的概率母函数为

由此立得若 独立,且,则

泊松分布

泊松分布 的概率母函数为

由此立得若 独立,且,则

几何分布

几何分布 的概率母函数为

由此立得若 独立,且,则 有概率母函数

于是得 Pascal 分布

求概率

求扔三颗骰子,总点数为 9 的概率。
为第 颗骰子的点数,其概率母函数

的概率母函数为

的系数为

推广——二维概率母函数

是二维取非负整数值的随机向量,记 ,则其二维概率母函数为

其有如下性质

  • 独立,则
  • ,则
  • ,则

局限

只能对取非负整数值的随机变量定义

矩母函数

定义

是随机变量,定义其矩母函数 (moment-generating function)为

仅当 时,我们称 存在

性质

  • 可逆性:若,则 唯一地决定了 的分布函数

  • 独立,,则

  • 独立同分布,矩母函数为 ; 为取正整数值的随机变量,矩母函数为 。则 的矩母函数为

    二者有紧密的联系:将 中出现的 替换为 即可

例子

离散型
X 2 3 5
1/2 1/6 1/3

指数分布

,则当 时,有

而当 不存在

正态分布

相互独立,求 的分布

先计算标准正态分布的矩母函数,由定义求得

根据矩母函数的性质,有

于是

复合随机变量

不断进行成功概率为 的伯努利实验直至成功,每次实验的耗时服从参数 的指数分布,且完全独立。 求总耗时的分布

首先 , 当 时有 ,而 ,故

推广——随机向量的矩母函数

,则其矩母函数定义为

局限性

有些分布的矩母函数不存在,因为其积分发散,如 Cauchy 分布。为此我们引入特征函数来保证可积性。

特征函数

定义

对随机变量 ,定义其特征函数 (characteristic function) 为

性质

  • 一致连续
  • ,则
  • 非负定性:
  • 相互独立, 特征函数为 ,则 的特征函数为 。注意,逆命题不成立,后面给出了例子。

例子

二项分布

二项分布 的特征函数为

(对比其概率母函数 )

泊松分布

泊松分布 的特征函数为

(对比其概率母函数 )

几何分布

几何分布 的特征函数为

(对比其概率母函数 )

正态分布

正态分布 有特征函数

(对比其矩母函数 )

先考察标准正态分布。正态分布的特征函数推导不太容易,一种不太严谨的做法是做形式化运算,将 视为常数,则

严格的数学推导需要一定复变函数的背景知识。

首先

求导得

,则 ,得

由此再求一般正态的特征函数

同时,若 相互独立,,则

均匀分布

均匀分布 的特征函数为

指数分布

指数分布 的特征函数为

(与矩母函数 对比)

柯西分布

,其特征函数为

,则 ,此时

,但显然 不独立

拉普拉斯分布

,其特征函数为

注意它和柯西分布的“对称性”

更多的性质

  • ,则

    特别的,若二阶矩存在,则

  • 逆转公式:若累积分布函数 连续,则

    ,则 有有界连续密度函数

    这些说明了随机变量和分布函数相互唯一决定

  • 先介绍收敛性:设 有分布函数 有分布函数 。若在 的连续点 处,有 ,则称 依分布收敛 (convergence in distribution) 到 ,记为 ;或称 弱收敛 (weak convergence) 到 ,记为

    连续性定理指出, 依分布收敛到 的充分必要条件是,其对应的特征函数满足

  • 判定一个函数是否为特征函数有如下定理

    • S. Bochner-Khintchine 定理

      是连续函数且 ,其是特征函数的充要条件是他是非负定的,即

    • Polya 定理

      是连续函数、偶函数,在 是凸函数,且满足,, 则其是特征函数。

    • J. Marcinkiewiez 定理

      具有形式 ,其中 是多项式,则其系数不能大于 2

有趣的例题

  1. 是特征函数,证明 都是特征函数

    独立同分布且特征函数为 ,则前三个分别为

    第四个构造独立于 的随机变量 ,则 的特征函数为

  2. 是特征函数,则 未必是特征函数

    。设 的特征函数为 ,则 ,即 同分布。其中 独立同分布, 独立同分布。由于 ,则 ,记 。则

    此时 无解

  3. 独立同标准正态分布,则

    的特征函数为

    的特征函数为 ,即服从拉普拉斯分布

  4. 独立同标准正态分布,独立于 ,则

  5. 利用已知结果若 ,则

    证明若 , 则

  6. 独立同标准正态分布,则

    1. 服从柯西分布
    2. 的概率密度函数为 5. 中结果
  7. 有分布函数

    1. 有密度函数
    2. 弱收敛于 ,但 不收敛