贝叶斯的原理我们之前也已经做过详尽的阐述啦，为了更好的进行实战训练，我们简单的回顾一下贝叶斯公式：

P(A|B)=P(B|A)*P(A)/P(B)

    接下来进行今天的贝叶斯实战练习。我们今天要做的是一个简单的贝叶斯拼写检查器，即输入一个错误的单词，检查器反馈你本想输入的正确的单词。

    首先大致我们的数据集：

    其实数据集就是一个大量的英文文本，目的就是为了大致得到每个单词的概率。

    我们如果用贝叶斯去解决这个问题，用w表示错误的单词，c表示正确的单词，那么我们的问题可以表示成如下公式：

argmaxc P(c|w) -> argmaxc P(w|c) P(c) / P(w)

    那么如何求解如上贝叶斯公式呢？

1. P(c), 文章中出现一个正确拼写词 c 的概率, 也就是说, 在英语文章中, c 出现的概率有多大

2. P(w|c), 在用户想键入 c 的情况下敲成 w 的概率. 因为这个是代表用户会以多大的概率把 c 敲错成 w

3. 因为单词输错的概率都是一定的，我们可以将其想象成定值，不影响结果，所以P(w)不计入结果计算

4. argmaxc, 用来枚举所有可能的 c 并且选取概率最大的

    接下来看代码：

1. 首先把语料中的单词全部抽取出来, 转成小写, 并且去除单词中间的特殊符号
def words(text): return re.findall('[a-z]+', text.lower()) 
注：findall返回stext.lower()中所有与正则表达式'[a-z]+',匹配的全部字符串,返回形式为数组

def train(features):
   model = collections.defaultdict(lambda: 1)
   for f in features:
       model[f] += 1
   return model

注：要是遇到我们从来没有过见过的新词怎么办. 假如说一个词拼写完全正确, 但是语料库中没有包含这个词, 从而这个词也永远不会出现在训练集中. 于是, 我们就要返回出现这个词的概率是0. 这个情况不太妙, 因为概率为0这个代表了这个事件绝对不可能发生, 而在我们的概率模型中, 我们期望用一个很小的概率来代表这种情况. lambda: 1。defaultdict的作用就在于此，当字典里的key不存在但被查找时，返回的不是keyError而是一个默认值1

NWORDS = train(words(open('big.txt').read()))

显示一下字典NWORDS ：

2.接下来我们定义一个概念：编辑距离
两个词之间的编辑距离定义为使用了几次插入(在词中插入一个单字母), 删除(删除一个单字母), 交换(交换相邻两个字母), 替换(把一个字母换成另一个)的操作从一个词变到另一个词.
简而言之就是单词A通过增删改查n个字母变成另外一个单词B，编辑距离就是n。

alphabet = 'abcdefghijklmnopqrstuvwxyz'

def edits1(word):
   n = len(word)
   return set([word[0:i]+word[i+1:] for i in range(n)] +     
              [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] + 
              [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] + 
              [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])  

注：解释一下edits这个函数：python数组都是左关闭右开，所以word[0:i]+word[i+1:] 就意味着word[i]被删除了，遍历一下i：for i in range(n)] ，就是word里每个字母被删一遍，剩下的字母组成的全集，同理[word[0:i]+word[i+1]+word[i]+word[i+2:]就是将word[i]和word[i+1]互换位置； [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] 是通过双层for循环对word里任一个字母进行修改；[word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet] 是通过双层循环对world进行插入，以上每次操作都是1个字母，所以是编辑距离为1的写法

3.定于编辑距离为2的写法，就是把编辑距离为1的再遍历一遍

def known_edits2(word):
   return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

注：这里优化一下，因为所有的遍历全集实在太多了。所以在这些编辑距离小于2的词中间, 只把那些正确的词作为候选词

4. 我们这里设置一下优先级，编辑距离为1的正确单词比编辑距离为2的优先级高, 而编辑距离为0的正确单词优先级比编辑距离为1的高.

def known(words): return set(w for w in words if w in NWORDS)

def correct(word):
   candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
  return max(candidates, key=lambda w: NWORDS[w])

注：candidates 代表了P(w|c) 概率最大的单词，max函数则代表了 P(c)最大的单词，由此correct函数就是贝叶斯公式的体现。max函数选取在文本中出现次数最多的已存在的单词。

以上就是贝叶斯实战啦，因为此算法很重要，所以实战部分写的很详细，大家看完可以自己练练。后台回复贝叶斯可以获得相关的代码和数据集。

喜欢的话点个关注哦～ 会每天分享人工智能机器学习内容，回复关键字可获取相关算法数据及代码～