基于朴素贝叶斯的机器学习实验教学设计

    王敏 罗婧雯 刘军 刘沛泽

    

    

    

    【摘要】? ? 贝叶斯学习是机器学习理论中的重要研究方向。本文主要实现基于朴素贝叶斯的机器学习实验教学设计，贝叶斯学习以贝叶斯法则为基础，通过已了解的数据分布的先验知识，结合样本训练数据来估算出整体数据的数学模型。贝叶斯学习的结果是获得一组变量的联合概率分布。贝叶斯学习由于其用概率的形式来表示不确定知识，故对不确定形式的问题它有独特的描述和计算优势。而朴素贝叶斯是在属性独立性假设的条件下进行计算，可以大大减小计算的复杂程度。实验设计目的是根据朴素贝叶斯公式实现对文档的分类，给学生提供一种实验教学案例。

    【关键词】? ? 朴素贝叶斯? ? 实验教学设计? ? 文本分类

    一、实验研究背景与目的

    本实验设计主要基于朴素贝叶斯理论，目前是为学生提供基于贝叶斯理论的实验项目，让学生更好地理解该理论解决实际问题。 随着互联网的飞速发展， 海量数据注入到通讯设备中。如此大量的信息就让信息检索和数据挖掘的重要性更加突出。文本分类作为数据挖掘的一部分也逐渐被人们重视起来。其中文本分类的主要内容是在预先给定的类标签的集下， 根据文章内容， 确定它的类别。我们接下来将要通过三个方面来介绍：文本表示， 分类器构造和分类器评估。

    二、实验设计思路

    本实验的思路是把一部分含有女性、体育、文学出版、校园的话题用网络爬虫爬下来存在特定的文档中，然后通过朴素贝叶斯分类算法实现贝叶斯分类。

    三、方案设计

    系统设计流程框图如下。

    四、具体算法描述

    除去噪声，如格式转换，去掉符号，整体规范化;遍历的读取一个文件下的每个文本。操作如下。

    def readFile（path）：

    with open（path， 'r'， errors='ignore'） as file：

    content = file.read（）

    return content

    def saveFile（path， result）：

    with open（path， 'w'， errors='ignore'） as file：

    file.write（result）

    4.1 jieba分词

    1）首先利用import调用jieba模块、TF-IDF分词模块、朴素贝叶斯算法模块;

    import jieba

    2）jieba分词算法的基本原理是：1.基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG）; 2.采用动态规划查找最大概率路径，找出基于词频的最大切分组合; 3.对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法;

    代码如下：

    def segText（inputPath， resultPath）：

    fatherLists = os.listdir（inputPath）

    for eachDir in fatherLists：

    eachPath = inputPath + eachDir + "/"? ? ? ? ? each_resultPath = resultPath + eachDir + "/"

    if not os.path.exists（each_resultPath）：

    os.makedirs（each_resultPath）

    childLists = os.listdir（eachPath）

    for eachFile in childLists：

    eachPathFile = eachPath + eachFile

    #? print（eachFile）

    content = readFile（eachPathFile）

    # content = str（content）

    result = （str（content））.replace（"＼r＼n"， ""）.strip（）

    # result = content.replace（"＼r＼n"，""）.strip（）

    cutResult = jieba.cut（result）

    saveFile（each_resultPath + eachFile， " ".join（cutResult））

    4.2 TF-IDF逆文本頻率指数

    1）首先调用TF-IDF向量转换类和向量生成类。

    from sklearn.feature_extraction.text import TfidfTransformer

    from sklearn.feature_extraction.text import TfidfVectorizer

    2）TF-IDF逆文本频率指数是一种用于信息检索与数据挖掘的常用加权技术。是一种统计方法，用以评估一个词对于一个语料库中一份文件的重要程度。词的重要性随着在文件中出现的次数正比增加，同时随着它在语料库其他文件中出现的频率反比下降。

    3）TF-IDF词频算法实现。一个词在某一文档中出现次数比较多，其他文档没有出现，说明该词对该文档分类很重要。然而如果其他文档也出现比较多，说明该词的区分性不大，就用IDF来降低该词的权重。

    TF-IDF=TF×IDF

    其中，词频：TF=词在文档中出现的次数/文档中总词数;

    逆文本频率：IDF=log（语料库中文档总数/包含该词的文档数+1）。

    def getTFIDFMat（inputPath， stopWordList， outputPath）：

    bunch = readBunch（inputPath）

    tfidfspace = Bunch（target_name=bunch.target_name，label=bunch.label， filenames=bunch.filenames， tdm=[]，

    vocabulary={}）

    vectorizer = TfidfVectorizer（stop_words=stopWordList， sublinear_tf=True， max_df=0.5）

    transformer = TfidfTransformer（）

    tfidfspace.tdm = vectorizer.fit_transform（bunch.contents）

    tfidfspace.vocabulary = vectorizer.vocabulary_

    writeBunch（outputPath， tfidfspace）

    4.3朴素贝叶斯分类法

    1）首先调用贝叶斯分类法算法模块，这个模块是调用已有的别人写好的算法，下面会详细介绍原理过程。

    from sklearn.naive_bayes import MultinomialNB

    2）朴素贝叶斯原理

    朴素贝叶斯分类器采用了“属性条件独立性假设” 对已知类别假设所有属性相互独立。换言之，假设每个属性独立地对分类结果发生影响。故贝叶斯公式可以重写为

    因为给定样本P（x）为已知的，故贝叶斯准则就可以转化为

    显然，朴素贝叶斯分类器的训练过程就是基于训练集 D 来估计类先验概率P（c），并为每个属性估计条件概率。

    令Dc表示訓练集D中第c类样本组成的集合，若有充足的独立同分布样本则可容易地估计出类先验概率。

    对离散属性而言，令表示Dc中在第i个属性上取值为的样本组成的集合，则条件概率可估计为

    程序如下：

    def bayesAlgorithm（trainPath， testPath）：

    trainSet = readBunch（trainPath）

    testSet = readBunch（testPath）

    clf = MultinomialNB（alpha=0.001）.fit（trainSet.tdm， trainSet.label）

    #alpha：0.001 alpha 越小，迭代次数越多，精度越高

    #print（shape（trainSet.tdm））? #输出单词矩阵的类型

    #print（shape（testSet.tdm））

    predicted = clf.predict（testSet.tdm）

    total = len（predicted）

    rate = 0

    for flabel， fileName， expct_cate in zip（testSet.label， testSet.filenames， predicted）：

    if flabel ！= expct_cate：

    rate += 1

    print（fileName， "：实际类别："， flabel， "-->预测类别："， expct_cate）

    print（"erroe rate："， float（rate） * 100 / float（total）， "%"）

    五、系统测试情况

    下图中data文件夹中是原始数据，result文件夹是jieba分词结果，stop是文本预处理筛掉的的停用词。test是测试数据，test_segResult是测试结果。

    其中测试数据集：女性话题有38个，体育话题115个，文学出版话题31个，校园话题16个，以下是测试出错的结果。其中校园话题出错的概率最大。

    六、小结

    此程序简单易懂，是在贝叶斯的基础上进一步了解了朴素贝叶斯公式的原理及其运用，介绍了jieba分词和TF-IDF逆文本频率指数及其应用，在实际案例中错误率仅为0.570，准确率较高，可以在实验课程教学中使用。

    参? 考? 文? 献

    [1]苏金树， 张博锋， 徐昕.基于机器学习的文本分类技术研究进展[J].软件学报， 2006， 17 （09） ：1848-1859.

    [2]李学明， 李海瑞， 薛亮， 何光军.基于信息增益与信息熵的TFIDF算法[J].计算机工程， 2012， 38 （08） ：37-40.

    [3]Tom M.Mitchell著;曾华军等译，机器学习[M]. 机械工业出版社，2003.

    [4]陈叶旺，余金山. 一种改进的朴素贝叶斯文本分类方法[J].? 华侨大学学报（自然科学版）. 2011（04）.