Wvtool学习(三):实现wvtool停词过滤的功能-白红宇

Wvtool学习(三):实现wvtool停词过滤的功能

阅读量：6348 次

发布时间：2019-06-22

本文共 3324 字，大约阅读时间需要 11 分钟。

已经分好词的文本中还有许多与我们需要无关的词，这就需要我们进行停词过滤了，而wvtool已经实现了这样的功能！废话不多说，上代码吧：

import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileReader;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.io.Reader;

import java.io.StringReader;

import edu.udo.cs.wvtool.config.WVTConfiguration;

import edu.udo.cs.wvtool.generic.inputfilter.SelectingInputFilter;

import edu.udo.cs.wvtool.generic.loader.UniversalLoader;

import edu.udo.cs.wvtool.generic.tokenizer.NGramTokenizer;

import edu.udo.cs.wvtool.generic.tokenizer.SimpleTokenizer;

import edu.udo.cs.wvtool.generic.wordfilter.StopWordFilterFile;

import edu.udo.cs.wvtool.main.WVTDocumentInfo;

import edu.udo.cs.wvtool.util.TokenEnumeration;

* 这个程序实现把html文档解码成纯文本的形式

* 原html文档：text.html

* 内容：

<html>

<head>

<title>雅虎新闻

</title>

</head>

<body>

这是测试文档。

</body>

</html>

* */

public class Demo01_1 {

public static String pathString="D:\\工作管理\\weka学习\\wvtool-1.1\\wvtool-1.1\\examples\\data\\";

public static void main(String[] args) throws Exception {

* 1、实例化一个加载器

* */

UniversalLoader loader=new UniversalLoader();

* 2、实例化一个文档信息类

* */

WVTDocumentInfo info=new WVTDocumentInfo(pathString+"text.html", "html", "utf-8", "chinese");

* 3、把文档以输入流的方式加载到内存中

* */

InputStream stream=loader.loadDocument(info);

* 4、实例化一个过滤器

* InputFilter that automatically selects an appropriate filter

* according to the the file ending. The following rules are used.

* HTM, HTML, htm, html -> SimpleTagIgnoringReader

*XML, xml -> XMLInputFilter

*PDF, pdf -> PDFInputFilter

*all other -> TextInputFilter

* */

SelectingInputFilter filter=new SelectingInputFilter();

* 5、把html文档进行解码成纯文本文件

* */

Reader readers=filter.convertToPlainText(stream,info);

* 6、将解码的文档输出

* */

BufferedReader reader=new BufferedReader(readers);

String string=reader.readLine().toString();

//由于解码出来的文档中包含了大量的空格，而且奇怪的是这些

//空格的char值是9(十进制),所以就只能以这样的方式输出了

string=string.replace(string.valueOf((char)9), "");

//这里需要把string重新包装成Reader

Reader reader2=new StringReader(string);

// System.out.println(string);

* 7、分词

* 我个人觉得这个分词其实很弱，好像只是依据你所设定的规则把句子断开，而不是真正意义上的分词

* */

NGramTokenizer tokenizer=new NGramTokenizer(1,new SimpleTokenizer());

// NGramTokenizer tokenizer=new NGramTokenizer(2,new SimpleTokenizer());

TokenEnumeration enumeration=tokenizer.tokenize(reader2, info);

// while(enumeration.hasMoreTokens()){

// System.out.print(enumeration.nextToken()+"|");

// }

File file=new File(pathString+"ext_stopword.dic");

//对于中文时常会出现的乱码问题，解决的方法就是下面的代码

* 对于词典文件的编码方式明确指定即可，不然无法实现过滤的功能

* */

Reader reader3=new InputStreamReader(new FileInputStream(file),"unicode");

* 8、停词过滤

* 由于wvtool并不支持直接的中文停词，所以需要从外部文件中加载进来，

* 只是加载的词典有这样的约束：每个词必须单独一行

* 我从网上下载到的IK_Analyzer中找到了这样的一个停词词典：

文件名：ext_stopword.dic

于是呢就想着用这个词典过滤一下吧！

但是由于以前分成的词都是两个一组的，为了测试，先分成单字词吧：

把这句代码：NGramTokenizer tokenizer=new NGramTokenizer(2,new SimpleTokenizer());

中的2换成1就可以了

* */

StopWordFilterFile filter1=new StopWordFilterFile(1, reader3);

TokenEnumeration enumeration2=filter1.filter(enumeration, info);

//输出结果

while(enumeration2.hasMoreTokens()){

System.out.print(enumeration2.nextToken()+"/");

}

System.out.println();

//结果为：雅/虎/新/闻/这/测/试/文/档/

* 如果细心，就可以发现 “是” 字已经没有了！实现更多的过滤，

* 只需要把需要过滤的词加入词典文件就可以了

* */

}

}

弄了这么久，终于可以慢慢深入进去了！

转载地址：http://gxpla.baihongyu.com/

你可能感兴趣的文章

[原][osgEarth]添加自由飞行漫游器

[日常] Go语言圣经--示例: 并发的Echo服务

查看>>

BZOJ1969: [Ahoi2005]LANE 航线规划(LCT)

查看>>

linux内存管理之malloc、vmalloc、kmalloc的区别

查看>>

GreenDao 数据库升级连接多个DB文件或者指定不同的model&dao目录

查看>>

M1卡破解(自从学校升级系统之后，还准备在研究下)【转】

OpenSSL 提取 pfx 数字证书公钥与私钥

查看>>

Keepalived详解（四）：通过vrrp_script实现对集群资源的监控【转】

查看>>

CollapsingToolbarLayoutDemo【可折叠式标题栏，顺便带有CardView卡片式布局】

查看>>

CentOS7.4安装配置mysql5.7 TAR免安装版

查看>>

解决IE二级链接无法打开故障

查看>>

Windows phone应用开发[16]-数据加密

查看>>

SQL Server 迁移数据到MySQL

查看>>

通用数据压缩算法简介

查看>>

The next Industry Standard in IT Monitoring, a python implementation Nagios like tool --- Shinken

查看>>