用机器学习怎样鉴别不可描述的网站

由上述分析可以知道 title、deion 和 keywords 等一些关键的网页信息对于不可描述网站来说都是经过精心设计的,和网页所要表述内容的匹配度非常之高。尤其很多网站在国外有些国家是合法的,因此对于经营这些网站的人员来说,优化这些信息一定是必然。我曾经看过一份数据显示在某段时间某搜索引擎前十名中,绝大多数的色情相关的。因此我们可以将其作为关键的语料信息。


如果进一步排除其中的错误的标注,那么对于识别的准确率会有进一步的提升。

2.2.1 文本预处理:

文本处理的核心任务:将非结构化的文本转换为结构化的形式,即向量空间模型

文本处理之前需要对不同类型的文本进行预处理

可以看到对于正常的网站来说 free,online,news,games,business,world,latest 是较为热门的词汇;对于不可描述网站来说,图中显示较大是对应较为热门的词汇。

2.3.1 贝叶斯公式推导

朴素贝叶斯文本分类的思想:它认为词袋中的两两词之间是相互独立的,即一个对象的特征向量中的每个维度都是相互独立的。
朴素贝叶斯分类的定义:
(1),设x={a1,a2,^am}为一个待分类项,而每个a为x的一个特征属性
(2),有类别集合C={y1,y2,……yn}.
(3),计算P(y1|x),P(y2|x),……,P(yn|x)
(4),如果P(yk|x)=max{P1,P2,……,Pn},则x属于yk

-- 计算第(3)步的各个条件概率:
(1)找到一个已知分类的待分类集合,即训练集
(2)统计得到在各个类别下的各个特征属性的条件概率估计,即:
P(a1|y1),P(a2|y2),……,P(am|y1)
P(a1|y2),P(a2|y2),……,P(am|y2)
……
(3),如果各个特征属性是条件独立的,根据贝叶斯定理有:
P(yi|x) = P(x|yi)*P(yi)/P(x)
分母对于所有类别为常数,故只需将分子最大化即可

故,贝叶斯分类的流程为:
第一阶段 : 训练数据生成训练样本集:TF-IDF
第二阶段: 对每个类别计算P(yi)
第三阶段:对每个特征属性计算所有划分的条件概率
第四阶段:对每个类别计算P(x|yi)P(yi)
第五阶段:以P(x|yi)P(yi)的最大项作为x的所属类别

当然本文所讨论的不可描述网站的识别的应用场景还是较为有限的,如果是企业或者教育网的出口处,该方法就可能没法起作用。对于以 HTTP 协议传输的网站来说,能够获取明文,方法依然有效。

2.2.5 权重策略:TF-IDF方法

1,词向量空间模型:将文本中的词转换为数字,整个文本集转换为维度相等的词向量矩阵(简单理解,抽取出不重复的每个词,以词出现的次数表示文本)
2,归一化:指以概率的形式表示,例如:0,1/5,0,0,1/5,2/5,0,0,也称为:词频TF(仅针对该文档自身)
3,词条的文档频率IDF: 针对所有文档的词频

前两天教师节,人工智能头条的某个精神股东粉群里,大家纷纷向当年为我们启蒙、给我们带来快乐的老师们表达感激之情。

2.4.1 KNN算法的原理

1,算法思想:如果一个样本在特征空间的k个最近邻(最近似)的样本中的大多数都属于某一类别,则该样本也属于这个类别,k是由自己定义的外部变量。

2,KNN算法的步骤:

第一阶段:确定k值(就是最近邻的个数),一般是奇数
第二阶段:确定距离度量公式,文本分类一般使用夹角余弦,得出待分类数据点与所有已知类别的样本点,从中选择距离最近的k个样本
夹角余弦公式:cos =AB/|A|*|B|
第三阶段:统计k个样本点中各个类别的数量,哪个类别的数量最多,就把数据点分为什么类别

搜索引擎的工作原理就是首先将互联网上大部分的网页抓取下来,并按照一定的索引进行存储形成快照,每个条目的标题就是原网站 title(通常是 60 个字节左右,也就是 30 个汉字或者 60 各英文字母,当然搜索引擎也会对于 title 做一定的处理,例如去除一些无用的词),条目的描述部分通常对应原网站 deion。

2.5 结语

本章讲解了机器学习的两个算法:朴素贝叶斯算法和K最近邻算法

介绍了文本分类的6个主要步骤:
1)文本预处理
2)中文分词
3)构建词向量空间
4)权重策略----TF-IDF方法
5)朴素贝叶斯算法器
6)评价分类结果

如果直接使用 train_test_split 对所有语料进行切分,则有可能会使得正常语料和色情语料在训练和策测试数据中的比例不一致,为了保证结果的可靠性,使用 train_test_split 分别对于正常语料和色情语料按照 7:3 的比例进行切分。然后将每一分切分后的训练和测试数据进行合并,使用朴素贝叶斯模型对于数据进行预测,采用多项式模型,代码如下:

2.2.6 使用朴素贝叶斯分类模块

常用的文本分类方法:kNN最近邻算法,朴素贝叶斯算法,支持向量机算法

本节选择朴素贝叶斯算法进行文本分类,测试集随机选取自训练集的文档集合,每个分类取10个文档

训练步骤和训练集相同:分词 (文件test_corpus) 》生成文件词向量文件 》 生成词向量模型。

(不同点:在训练词向量模型时,需加载训练集词袋,将测试集生成的词向量映射到训练集词袋的词典中,生成向量空间模型。)代码见文件。

#1,导入分词后的词向量Bunch对象
path = "test_word_bag/test_set.dat"   # 词向量空间保存路径
bunch = readbunchobj(path)  # 调用函数读取bunch对象,赋值给bunch

#2,构建测试集TF-IDF向量空间testspace
testspace = Bunch(target_name=bunch.target_name,label bunch.label,filenames=bunch.filenames.tdm=[],vocabulary=[])   

#3, 导入训练集的词袋(多这一步,与训练集不同)
trainbunch = readbunchobj("train_word_bag/tfidfspace.dat")  # tfidfspace.dat文件是训练集使用TF-IDF策略并持久化生成的

#4, 使用TfidfVectorizer初始化向量空间模型
vectorizer=TfidfVectorizer(stop_words=stpwrdlst,sublinear_tf=True,max_df=0.5,vocabulary=trainbunch.vocabulary)
transformer=TfidfTransformer()    # 创建一个该类的实例,该类会统计每个词语的TF-IDF权值
testspace.tdm=vectorizer.fit_transform(bunch.contents)   
testspace.vocabulary=trainbunch.vocabulary

#5, 创建词袋并持久化
space_path = "test_word_bag/testspace.dat"  #词向量空间保存路径
writebunchobj(space_path,testspace)  # 调用写入函数,持久化对象

执行多项式贝叶斯算法进行测试文本分类,并返回分类精度,代码见文件

# 执行多项式贝叶斯算法并进行测试文本分类,并返回分类精度

#1,导入多项式贝叶斯算法包
from sklearn.naive_bayes import MultinomialNB #导入多项式贝叶斯算法包

#2,执行预测

trainpath = "train_word_bag/tfidfspace.dat"
train_set = readbunchobj(trainpath)     #导入训练集向量空间

testpath = "test_word_bag/testspace.dat"
test_set = readbunchobj(testpath)        # 导入测试集向量空间

#应用朴素贝叶斯算法
# alpha:0.001   alpha越小,迭代次数越多,精度越高
clf = MultinomialNB(alpha = 0.001).fit(train_set.tdm,train_set.label)

# 预测分类结果
predicted = clf.predict(test_set.tdm)
total = len(predicted);rate = 0
for flabel,file_name,expct_cate in zip(test_set.label,test_set.filenames,predicted):
    if flabel !=expct_cate:
        rate =1
        print file_name,":实际类别:",flabel,"-->预测类别:",expct-cate

print "error rate:",float(rate)*100/float(total),"%"

而以title(0.8081884464385867,0.8059450364554123,0.8132361189007291,0.8104318564217611,0.8093101514301738) 的效果最差,集中在 81% 左右。

2.2 文本分类项目

如何获取这些数据,可以通过 alex 排名靠前的网站,利用爬虫进行获取。本文对于正常数据的获取,选取 alex 排名前 4500 的网站,通过爬虫,提取网页的 title 和 deion 以及 keywords 作为原始文本。对于色情数据的获取亦然,通过爬虫对已经已经积累的 4500 个的站点进行文本收集。由于这部数据是敏感数据,因此数据集无法向大家公开,还请见量。

2.3 分类算法:朴素贝叶斯

本节主要讨论朴素贝叶斯算法的基本原理和python实现

deion(0.8921404682274248,0.9054515050167224,0.8979933110367893,0.9037792642140468,0.8904682274247492)

文本预处理的步骤:

1,选择处理的文本的范围:整个文档或其中段落
2,建立分类文本语料库:
训练集语料:已经分好类的文本资源。(文件名:train_corpus_small)
测试集语料:待分类的文本语料(本项目的测试语料随机选自训练语料)(文件名:test_corpus)
3,文本格式转换:统一转换为纯文本格式。(注意问题:乱码)
4,检测句子边界:标记句子结束

本文首发于GitChat,未经授权不得转载,转载需与GitChat联系。返回搜狐,查看更多

2.2.2 中文分词介绍

1,中文分词:将一个汉字序列(句子)切分成一个单独的词(中文自然语言处理的核心问题)
2,中文分词的算法:基于概率图模型的条件随机场(CRF)
3,分词后文本的结构化表示:词向量空间模型,主题模型,依存句法的树表示,RDF的图表示
4,本项目的分词系统:采用jieba分词
5, jieba分词支持的分词模式:默认切分,全切分,搜索引擎切分
6,jieba分词的代码见文件:对未分词语料库进行分词并持久化对象到一个dat文件(创建分词后的语料文件:train_corpus_seg)

#coding=utf-8

import sys
import os
import jieba

reload(sys)
sys.setdefaultencoding('utf-8')    # 配置UTF-8输出环境

#定义两个函数,用于读取和保存文件

def savefile(savpath,content):   # 定义一个用于保存文件的函数
    fp = open(savepath,"wb")
    fp.write(content)
    fp.close()

def readfile(path):    # 定义一个用于读取文件的函数
    fp = open(path,"rb")
    content = fp.read()
    fp.close()
    return content    #函数返回读取的内容


# 以下是整个语料库的分词主程序

corpus_path = "train_corpus_small/"   # 未分词分类语料库路径
seg_path = "train_corpus_seg/"  # 分词后分类语料库路径

catelist = os.listdir(corpus_path) #os.listdir获取cor_path下的所有子目录

for mydir in catelist:       # 遍历所有子目录
    class_path = corpus_path mydir "/"  #构造分类子目录的路径
    seg_dir = seg_path mydir "/"  #构造分词后的语料分类目录

    if not os.path.exists(seg_dir):  # 是否存在目录,如果没有则创建
        os.makedirs(seg_dir)

    file_list = os.listdir(class_path)  # 获取目录下的所有文件

    for file_path in file_list:      # 遍历目录下的所有文件
        fullname = class_path file_path    #文件路径
        content = readfile(full.name).strip()   # 读取文件,strip()用于移除字符串头尾指定的字符,即移除头尾的空格
        content = content.replace("rn","").strip()  # 将空格和换行替代为无
        content_seg = jieba.cut(content)    # 利用jieba分词

        savefile(seg_dir file_path," ".join(content_seg))   # 调用函数保存文件,保存路径为:seg_dir file_path,用空格将分词后的词连接起来

print "中文语料分词结束"


#############################################################################

# 为了便于后续的向量空间模型的生成,分词后的文本还要转换为文本向量信息并对象化
# 引入Scikit-Learn的Bunch类

from sklearn.datasets.base import Bunch
bunch = Bunch{target_name=[],label=[],filename=[],contents=[]}

# Bunch类提供键值对的对象形式
#target_name:所有分类集名称列表
#label:每个文件的分类标签列表
#filename:文件路径
#contents:分词后的文件词向量形式

wordbag_path = "train_word_bad/train_set.dat"  #分词语料Bunch对象持久化文件路径
seg_path = "train_corpus_seg/"   #分词后分类语料库路径(同上)

catelist = os.listdir(seg_path)  # 获取分词后语料库的所有子目录(子目录名是类别名)
bunch.target_name.extend(catelist)   # 将所有类别信息保存到Bunch对象

for mydir in catelist:     # 遍历所有子目录
    class_path = seg_path mydir "/" # 构造子目录路径
    file_list = os.listdir(class_path)    # 获取子目录内的所有文件
    for file_path in file_list:     # 遍历目录内所有文件
        fullname = class_path file_path    # 构造文件路径
        bunch.label.append(mydir)      # 保存当前文件的分类标签(mydir为子目录即类别名)
        bunch.filenames.append(fullname)  # 保存当前文件的文件路径(full_name为文件路径)
        bunch.contents.append(readfile(fullname).strip())  # 保存文件词向量(调用readfile函数读取文件内容)

file_obj = open(wordbad_path,"wb")  # 打开前面构造的持久化文件的路径,准备写入
pickle.dump(bunch,file_obj)   # pickle模块持久化信息,bunch是要持久化的文件,已添加了信息。file_obj是路径
file_obj.close()
# 之所以要持久化,类似游戏中途存档,分词后,划分一个阶段,将分词好的文件存档,后面再运行就不用重复分词了

print "构建文本对象结束!!"      

# 持久化后生成一个train_set.dat文件,保存着所有训练集文件的所有分类信息
# 保存着每个文件的文件名,文件所属分类和词向量

红色部分便是匹配上搜索关键词的部分,一个页面能够展示 10 个条目,每个条目的标题就是相应网站网站的的 title,对应网页的 <title></title> 中间的内容,每个条目所对应的剩下文字部分便是网站的 deion,是网页中诸如 <meta name="deion" content= 的部分。

1,模块分类:

1)分类和回归算法:广义线性模型,支持向量机,kNN,朴素贝叶斯,决策树,特征选择
2)聚类算法:K-means
3)维度约简:PCA
4)模型选择:交叉验证
5)数据预处理:标准化,去除均值率和方差缩放,正规化,二值化,编码分类特征,缺失值的插补

本文由太阳集团所有网址16877发布于太阳集团所有网址16877,转载请注明出处:用机器学习怎样鉴别不可描述的网站

您可能还会对下面的文章感兴趣: