一、朴素贝叶斯定理概述(用于做分类)
1.从贝叶斯定理说起
要理解朴素贝叶斯,首先要了解它的理论基础——贝叶斯定理。贝叶斯定理描述了在已知某些条件下,某事件发生的概率如何更新。简单来说,就是利用新的信息,不断修正我们对事件的认知。

公式表示为:

P ( A ∣ B ) = P ( B ∣ A ) ∗ P ( A ) / P ( B ) P(A|B) = P(B|A) * P(A) / P(B)
P(A∣B)=P(B∣A)∗P(A)/P(B)

其中:

P(A|B):在事件 B 发生的条件下,事件 A 发生的概率(后验概率)
P(B|A):在事件 A 发生的条件下,事件 B 发生的概率(似然度)
P(A):事件 A 发生的先验概率
P(B):事件 B 发生的边际概率
2.朴素贝叶斯的“朴素”之处
朴素贝叶斯算法基于一个非常朴素的假设:特征之间相互独立。也就是说,算法假设数据集中每个特征与其他特征都不相关。例如,在垃圾邮件分类中,算法会假设邮件中出现“免费”和“中奖”这两个词之间没有任何联系。

虽然这个假设在现实中往往不成立,但朴素贝叶斯算法却在许多实际应用中表现出色,尤其是在文本分类领域。

3.朴素贝叶斯算法的应用
朴素贝叶斯算法广泛应用于各种分类任务,例如:

垃圾邮件过滤: 判断一封邮件是否是垃圾邮件。
情感分析: 分析一段文本表达的情感是积极还是消极。
新闻分类: 将新闻文章自动分类到不同的主题类别,例如体育、科技、娱乐等。
医疗诊断: 根据患者的症状,判断其可能患有的疾病。
二、朴素贝叶斯算法的优缺点
优点:

简单易懂,易于实现。
训练速度快,对大规模数据集处理效率高。
对于高维数据表现良好。
对小规模数据也能取得不错的效果。
缺点:

特征独立性假设在现实中往往不成立,会影响模型精度。
对输入数据的表达形式比较敏感。
三、python代码实现案例
1.导入库

import pandas as pd


pandas:用于数据处理和分析。
2.数据预处理

data = pd.read_csv("iris.csv",header=None)
data = data.drop(0,axis=1)
x = data.iloc[:,:-1]
y = data.iloc[:,-1]

from sklearn.model_selection import train_test_split

x_train,x_test,y_train,y_test = \
            train_test_split(x,y,test_size=0.2,random_state=42)


读取数据:使用pandas库读取iris.csv文件。数据集在下方链接中。
链接: iris.csv
x:保留所有行,删除最后一列。
y:只保留最后一列。
train_test_split:对数据集进行划分
3.模型训练

from sklearn.naive_bayes import MultinomialNB #导入朴素贝叶斯分类器
#实例化贝叶斯分类器
classifier  = MultinomialNB(alpha=1)
classifier.fit(x_train,y_train)


导入模型MultinomialNB
使用fit()函数训练模型
4.模型评估

train_predicted = classifier.predict(x_train)
print(metrics.classification_report(y_train, train_predicted))

# 在完整测试集上评估模型
train_predicted1 =classifier.predict(x_test)
print(metrics.classification_report(y_test, train_predicted1))


打印分类报告
5.完整代码

import pandas as pd

data = pd.read_csv("iris.csv",header=None)
data = data.drop(0,axis=1)
x = data.iloc[:,:-1]
y = data.iloc[:,-1]

from sklearn.model_selection import train_test_split

x_train,x_test,y_train,y_test = \
            train_test_split(x,y,test_size=0.2,random_state=42)

from sklearn.naive_bayes import MultinomialNB #导入朴素贝叶斯分类器
#实例化贝叶斯分类器
classifier  = MultinomialNB(alpha=1)
classifier.fit(x_train,y_train)

from sklearn import metrics

# 在小训练集上评估模型
train_predicted = classifier.predict(x_train)
print(metrics.classification_report(y_train, train_predicted))
# cm_plot(y_train, train_predicted).show()

# 在完整测试集上评估模型
train_predicted1 =classifier.predict(x_test)
print(metrics.classification_report(y_test, train_predicted1))
# cm_plot(y_test, train_predicted1).show()



四、总结
朴素贝叶斯算法以其简单高效的特点,成为机器学习入门学习的经典算法。尽管其“朴素”的假设存在一定局限性,但在许多实际应用中依然表现出色。理解朴素贝叶斯算法,不仅能够帮助我们解决实际问题,更能为我们打开机器学习世界的大门,探索更广阔的算法天地。

希望这篇博客能够帮助你更好地理解朴素贝叶斯算法!

1.4 朴素⻉叶斯算法总结
1.朴素⻉叶斯优缺点
优点:
朴素⻉叶斯模型发源于古典数学理论,有稳定的分类效率
对缺失数据不太敏感,算法也⽐较简单,常⽤于⽂本分类
分类准确度⾼,速度快
缺点:
由于使⽤了样本属性独⽴性的假设,所以如果特征属性有关联时其效果不好
需要计算先验概率,⽽先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设
的先验模型的原因导致预测效果不佳;
2.朴素⻉叶斯内容汇总
2.1 NB的原理
朴素⻉叶斯法是基于⻉叶斯定理与特征条件独⽴假设的分类⽅法。
对于给定的待分类项x,通过学习到的模型计算后验概率分布,
即:在此项出现的条件下各个⽬标类别出现的概率,将后验概率最⼤的类作为x所属的类别。
2.2 朴素⻉叶斯朴素在哪⾥?
在计算条件概率分布P(X=x∣Y=c_k)时,NB引⼊了⼀个很强的条件独⽴假设,即,当Y确定时,X的各个特征分量取值之
间相互独⽴。
2.3 为什么引⼊条件独⽴性假设?
为了避免⻉叶斯定理求解时⾯临的组合爆炸、样本稀疏问题。
假设条件概率分为
2.4 在估计条件概率P(X∣Y)时出现概率为0的情况怎么办?
解决这⼀问题的⽅法是采⽤⻉叶斯估计。
简单来说,引⼊λ,
当λ=0时,就是普通的极⼤似然估计;
当λ=1时称为拉普拉斯平滑。
2.5 为什么属性独⽴性假设在实际情况中很难成⽴,但朴素⻉叶斯仍能取得较好的效
果?
16朴素⻉叶斯算法总结
⼈们在使⽤分类器之前,⾸先做的第⼀步(也是最重要的⼀步)往往是特征选择,这个过程的⽬的就是为了排除特
征之间的共线性、选择相对较为独⽴的特征;
对于分类任务来说,只要各类别的条件概率排序正确,⽆需精准概率值就可以得出正确分类;
如果属性间依赖对所有类别影响相同,或依赖关系的影响能相互抵消,则属性条件独⽴性假设在降低计算复杂度的
同时不会对性能产⽣负⾯影响。
2.6 朴素⻉叶斯与LR的区别?
1)简单来说:
区别⼀:
朴素⻉叶斯是⽣成模型,
根据已有样本进⾏⻉叶斯估计学习出先验概率P(Y)和条件概率P(X|Y),
进⽽求出联合分布概率P(XY),
最后利⽤⻉叶斯定理求解P(Y|X),
⽽LR是判别模型,
根据极⼤化对数似然函数直接求出条件概率P(Y|X);
区别⼆:
朴素⻉叶斯是基于很强的条件独⽴假设(在已知分类Y的条件下,各个特征变量取值是相互独⽴的),
⽽LR则对此没有要求;
区别三:
朴素⻉叶斯适⽤于数据集少的情景,
⽽LR适⽤于⼤规模数据集。
2)进⼀步说明:
前者是⽣成式模型,后者是判别式模型,⼆者的区别就是⽣成式模型与判别式模型的区别。
⾸先,Navie Bayes通过已知样本求得先验概率P(Y), 及条件概率P(X|Y), 对于给定的实例,计算联合概率,进⽽求
出后验概率。也就是说,它尝试去找到底这个数据是怎么⽣成的(产⽣的),然后再进⾏分类。哪个类别最有可能
产⽣这个信号,就属于那个类别。
17朴素⻉叶斯算法总结
优点: 样本容量增加时,收敛更快;隐变量存在时也可适⽤。
缺点:时间⻓;需要样本多;浪费计算资源
相⽐之下,Logistic回归不关⼼样本中类别的⽐例及类别下出现特征的概率,它直接给出预测模型的式⼦。设每个
特征都有⼀个权重,训练样本数据更新权重w,得出最终表达式。
优点:
直接预测往往准确率更⾼;
简化问题;
可以反应数据的分布情况,类别的差异特征;
适⽤于较多类别的识别。
缺点
收敛慢;
不适⽤于有隐变量的情况。

更多推荐