KL散度的定义
KL散度是描述两个概率分布Q(x)和P(x)相似度的一种度量,记作。对离散随机变量,KL散度定义为:
对连续随机变量,KL散度定义为:
KL散度具有如下性质:
,当且仅当Q=P时,等式成立。
证明:利用jenden不等式
- KL散度是非对称的,即不满足三角不等式,不是严格意义上的距离度量。
狄利克雷分布
设随机变量服从狄利克雷分布,利用指数分布族性质,求函数的关于狄利克雷分布的数学期望。
指数分布族
指数分布族是指概率分布密度可以写成如下形式的概率分布集合:
其中是自然参数,是充分统计量,h(x)是潜在测度,是对数规范化因子。
指数分布族具有性质:
对数规范化因子对自然参数的导数等于充分统计量T(x)的数学期望。
证明:
狄利克雷分布
狄利克雷分布属于指数分布族,因为其密度函数可以写成指数分布的密度函数形式:
自然参数,充分统计量是,对数规范化因子是。
利用指数分布族的性质(2-2),对数规范化因子对自然参数的导数等于充分统计量的数学期望,也就是狄利克雷分布的数学期望 ,如下所示:
其中是digamma函数,即对数伽马函数的一阶导数。