KL散度与狄利克雷分布的性质

KL散度的定义

KL散度是描述两个概率分布Q(x)和P(x)相似度的一种度量,记作。对离散随机变量,KL散度定义为:

对连续随机变量,KL散度定义为:

KL散度具有如下性质

  1. ,当且仅当Q=P时,等式成立。

    证明:利用jenden不等式

  1. KL散度是非对称的,即不满足三角不等式,不是严格意义上的距离度量。

狄利克雷分布

设随机变量服从狄利克雷分布,利用指数分布族性质,求函数的关于狄利克雷分布的数学期望

指数分布族

指数分布族是指概率分布密度可以写成如下形式的概率分布集合:

其中是自然参数,是充分统计量,h(x)是潜在测度,是对数规范化因子。

指数分布族具有性质

  • 对数规范化因子对自然参数的导数等于充分统计量T(x)的数学期望。

    证明:

狄利克雷分布

狄利克雷分布属于指数分布族,因为其密度函数可以写成指数分布的密度函数形式:

自然参数,充分统计量是,对数规范化因子是

利用指数分布族的性质(2-2),对数规范化因子对自然参数的导数等于充分统计量的数学期望,也就是狄利克雷分布的数学期望 ,如下所示:

其中是digamma函数,即对数伽马函数的一阶导数