service phone

021-63212618

Design Works 家装风格

service phone 021-63212618

朴素贝叶斯算法的理解及代码实现金龙娱乐

文章来源:admin    时间:2020-05-06

  

  的分类手法。对待给定的磨练数据集,起初基于特色前提独立假设进修输入/输出的撮合概率分散;然后基于此模子,对给定的输入x,诈欺贝叶斯定理求出后验概率最大的输出y。俭朴贝叶斯法达成浅易,进修与预测的功效都很高,是一种常用的手法。

  俭朴贝叶斯通过磨练数据集进修撮合概率分散P(X,Y)。全部地,进修以下先验概率分散及前提概率分散。先验概率分散

  由先验概率和前提概率,可能获得撮合概率分散P(X, Y)。因为前提概率$P(X=xY=c_k)$的参数个数可达指数级,其推测实践是弗成行的。结果上,假设$x^{(j)}$可取值有$S_j$个,j=1, 2,...,n,Y可取值K个,那么参数个数为$K\prod_{j=1}^nS_j$。

  俭朴贝叶斯法对前提概率分散作了前提独立性的假设。因为这是一个较强的假设,俭朴贝叶斯法也由此得名。全部地,前提独立性假设是

  俭朴贝叶斯法属于天生模子。前提独立假设等使贝叶斯法变得浅易,但有时会丧失必定的分类切确率。

  俭朴贝叶斯法分类时,对给定的输入x,通过进修到的模子估量后验概率分散$P(Y=c_kX=x)$,将后验概率最大的类行为x的类输出。遵照贝叶斯定理

  假若$\theta$已知,x为变量,则该函数叫做概率函数(Probability function),它描画了对区别输入x,其显露的概率。

  假若x已知,$\theta$为变量,则该函数叫做似然函数(Likelihood function),它描画了对待区别模子参数下,x样本显露的概率。

  极大似然推测实用于模子已定,参数未知状况。已知随机变量适合某种概率分散模子,但模子的参数并不懂得。极大似然推测的经过可能分析为:诈欺已知的样本数据,反推最有或许(概率最大)发作这些数据显露的模子参数。

  这里先给出先验概率和前提概率的极大似然。先验概率$P(Y=c_k)$的极大似然为

  式(10)中,$x_i^j$为第i个样本的第j个特色,$a_{jl}$吐露第j个特色或许取的第$l$个值;$I$为指示函数。

  区别于极大似然推测,不再把参数$\theta$看做是未知真实定变量,而将带推测的参数看做是适合某种先验概率分散的随机变量。

  正在式(18)中,因为参数$\theta$是随机分散的,咱们必要商量每一种$\theta$的状况,然后估量积分,大批的积分运算让贝叶斯推测变得丰富。而最大后验概率推测(Maximum a posterior, MAP)即是贝叶斯推测的简化,它通过最大化后验概率,获得参数$\theta$。

  最大化后验概率和极大似然好像,即最大化式(18),式(18)分母为归一化因子,即最大化分子即可:

  俭朴贝叶斯法的根本假设是前提独立性,这是一个较强的假。因为这一假设,模子包蕴的前提概率的数目大为删除,俭朴贝叶斯法的进修与预测大为简化。所以俭朴贝叶斯法高效,且易于达成。其偏差是分类的职能不必定很高。

  俭朴贝叶斯法将实例分到后验概率最大的类中。这等价于生机危险最小化。遵照生机危险最小化规矩就获得了后验概率最大化规矩。

  贝叶斯公式可能写出如下体例,Hypothesis吐露假设(例如: 即日被元首指斥了),金龙娱乐Evidence吐露或许导致假设产生的证据(例如:上班迟到了)。贝叶斯外面以为,Evidence不行肯定后验概率,只可不时更新它。

  详解最大似然推测(MLE)、最大后验概率推测(MAP),以及贝叶斯公式的分析

地址:上海市闸北区永兴路258弄1号兴亚广场1706室     座机:021-63212618    手机:18365625186
Copyright © 2002-2019 金龙娱乐家装设计作品有限公司 版权所有    网站地图