(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211032734.9
(22)申请日 2022.08.26
(71)申请人 哈尔滨工业大 学
地址 150001 黑龙江省哈尔滨市南岗区西
大直街92号
(72)发明人 王小刚 白瑜亮 荣思远 王瑞鹏
单永志 彭科科 周宏宇 张龙
徐天富
(74)专利代理 机构 哈尔滨市阳光惠远知识产权
代理有限公司 2321 1
专利代理师 刘景祥
(51)Int.Cl.
G06F 30/20(2020.01)
G06K 9/62(2022.01)
G06N 7/00(2006.01)G06F 111/08(2020.01)
G06F 119/10(2020.01)
(54)发明名称
一种基于高斯混合模型的非高斯噪声模型
建立方法
(57)摘要
本发明提出了一种基于高斯混合模型的非
高斯噪声模 型建立方法, 首先建立基于概率密度
函数的高斯混合模型GMM, 得到参数向量的迭代
公式; 再以最短描 述长度MDL为目标函数, 通过合
并分裂方法SMEM确定混合 分量数, 估计出高斯 混
合模型GMM参数; 最终根据高斯混合模型GMM和估
计出高斯混合模型GMM参数, 通过EM算法和KL三
都, 得到GMM模型参数, 完成高斯混合模型; 本发
明以KL散度为子模型分裂的判别准则, 以模型相
似度为子模型合并的判别准则, 对KL散度最大且
分裂后MDL减小的子模型进行分裂, 对模型相似
度最大并且合并后MDL值减小的子模型对进行合
并; 以此来控制混合分量数的数量; 合并操作以
模型相似度为判别准则不需要遍历所有子模型,
减少了计算量。
权利要求书4页 说明书10页 附图6页
CN 115455670 A
2022.12.09
CN 115455670 A
1.一种基于高斯混合模型的非高斯噪声模型建立方法, 其特 征在于:
所述方法具体包括以下步骤:
步骤一、 建立基于概 率密度函数的高斯混合模型GM M, 得到参数向量的迭代公式;
步骤二、 以最短描述长度MDL为目标函数, 通过合并分裂方法SMEM确定混合分量数, 估
计出高斯混合模型GM M参数;
步骤三、 根据步骤一建立的高斯混合模型GMM和步骤二估计出高斯混合模型GMM参数,
通过EM算法和KL散度, 得到GM M模型参数, 完成高斯混合模型。
2.根据权利要求1所述方法, 其特 征在于: 在步骤一中,
从一个概 率密度函数中独立抽样, 得到数据点X={x1,x2,…,xN};
所述概率密度函数为几个高斯 函数的线性组合:
其中, 加权系数αj需要满足:
公式中G(xi; μj,Σj)为高维高斯 函数, 其表达式为:
构建公式中的概率密度函数后, 通过最大期望算法EM由观测的数据点求混合模型中的
参数: Θ={Θ1,Θ2,…,Θj,…ΘK}, 其中, Θj={αj, μj,Σj}。
3.根据权利要求2所述方法, 其特 征在于: 在步骤一中,
将步骤一中概率密度函数的完整数据集记为{X,Y}, 标记数据Y={y1,y2,…,yi,…,yN},
其中
是一个2值 化向量且只有一个元 素为1, 其 余都为0;
基于完整数据集{X,Y}建立辅助Q函数E ‑step, 得到基于完整数据集{X,Y}的似然函数
关于隐藏变量Y的条件期望, 如下 所示:
Q(Θ; Θt)=EY[logp(X,Y; Θ∣ X,Θt)] (1.4)
增加Q函数的值, 将Q 函数最大值所对应的参数作为下一组参数Θt+1的取值M‑step, 即
得到下一组参数
关于X和Θt的表达式, 其中, 每一个高斯成员
的参数
为权 利 要 求 书 1/4 页
2
CN 115455670 A
2其中
公式和公式即为关于参数向量的迭代公式, 记为Θt+1=f(Θt,X)。
4.根据权利要求3所述方法, 其特 征在于: 在步骤二中,
以最短描述长度MDL为目标函数, 通过合并分裂方法SMEM, 得到高斯混合模型中的混合
分量数;
其中, 样本的似然表示数据拟合度, 模型的描述长度表示模型复杂度;
MDL的公式如下:
式中, X为样本集, θ为模型参数, D是模型参数的元素个数, K是模型个数, N是样本总量,
αk为第k个模型中样本比例;
结合式高斯混合模型GM M的概率分布, 得到高斯混合模型GM M的MDL公式为:
式中D=(d+d(d+1)/2)为d维高斯模型参数 μk,Σk中元素的个数。
5.根据权利要求 4所述方法, 其特 征在于: 在步骤二中,
所述合并分裂方法SM EM以最短描述长度MDL 为目标函数, 包括分裂操作 与合并操作;
首先执行最大期望算法EM, 初始化子模型个数和高斯混合模型GMM参数, 并计算最短描
述长度MDL 值;
所述分裂操作以KL散度作为子模型分裂的判别准则, 合并操作以模型相似度作为子模
型对合并的判别准则, 对分裂或合并后的子模型执行最大期望算法EM更新参数, 迭代执行
分裂与合并操作至没有子模型 可分裂与合并为止, 给 出子模型个数和GM M参数。
6.根据权利要求5所述方法, 其特 征在于: 在步骤二中,
所述分裂操作以KL散度为子模型分裂的判别准则, 对KL散度最大且分裂后MDL减小 的
子模型进行分裂;权 利 要 求 书 2/4 页
3
CN 115455670 A
3
专利 一种基于高斯混合模型的非高斯噪声模型建立方法
文档预览
中文文档
21 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共21页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 17:39:14上传分享