2-2 经典机器学习算法-全概率公式＆贝叶斯公式，朴素贝叶斯的工作流程

2024 年 8 月 8 日 14点热度 0人点赞 0条评论

1、写出全概率公式&贝叶斯公式

2、朴素贝叶斯为什么“朴素（naive）”？

3、朴素贝叶斯有没有超参数可以调？

4、朴素贝叶斯的工作流程是怎样的？

5、朴素贝叶斯对异常值敏不敏感？

全概率公式：其中A为某一事件， ${B_{1}},{B_{2}},{B_{3}}.......{B_{K}}\ \epsilon \ \Omega$ ， $\Omega$ 为样本空间全集， $B_{i}\cap B_{j} =\varnothing$

$p(A) = \sum_{n=1}^{K}p(B_{i})*p(A | B_{i}))$

贝叶斯公式：

$P(A |B) = \frac{P(AB)}{P(B)}=\frac{P(A)(P(B|A))}{\sum_{i=0}^{K}P({A_{i}})P(B|{A_{i}})}$

专业术语：

后验概率： P(A |B)

先验概率： P(A)

似然估计： P(B|A)

evidence分子能发生的保证： P(B)

P(A |B) 不好求通过 P(B|A) 来求

朴素贝叶斯假设特征与特征之间是独立的，互不影响

没有，概率由数据集计算得出，没有超参数

通过贝叶斯公式：

$P(A |B) = \frac{P(AB)}{P(B)}=\frac{P(A)P(B|A)}{\sum_{i=0}^{K}P({A_{i}})P(B|{A_{i}})}$

工作流程算概率的相对大小，只要算分子

模型准备阶段：

（1）确定B的特征选择

（2）准备数据（语料），根据数据集统计得到 P(A)

（3）选择影响事件B发生的特征 ${x_{1}},{x_{2}}.....,{x_{n}$ ，通过朴素贝叶斯特征独立的假设

$P(B|A) = P({x_{1}},{x_{2}}.....,{x_{n}}|A)=P({x_{1}}|A)*P({x_{2}}|A)*....*P({x_{n}}|A)$

通过数据集计算每个 $P(x_{i} |A)$

推理阶段（分类任务）：

（1）根据输入的B的，每个特征计算 $P(x_{i} |A)$

（2）比较每个 $P(A_{i})P(B|A_{i})$ 的大小，得到分类类别

由于先验和似然的计算是通过大语料得到的，一般来说对异常值不敏感

本作品采用知识共享署名 4.0 国际许可协议进行许可