contenttokenstream.java

爬虫数据的改进,并修正了一些bug

/*
 * 创建日期 2005-2-17
 *
 * TODO 要更改此生成的文件的模板，请转至
 * 窗口 － 首选项 － Java － 代码样式 － 代码模板
 */
package net.nutch.analysis;

import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
/**
 * @author Administrator
 *
 * TODO 要更改此生成的类型注释的模板，请转至
 * 窗口 － 首选项 － Java － 代码样式 － 代码模板
 */
public class ContentTokenStream extends TokenStream{
	
	private ContentTokenizer tokenizer;
	
	public ContentTokenStream(ContentTokenizer tokenizer){
		this.tokenizer = tokenizer;
	}

	public Token next() {
		try{
			return tokenizer.next();
		}catch(Exception e){
			return null;
		}
	}
	
	public Token next(boolean skipStopword){
		try{
			return tokenizer.next(skipStopword);
		}catch(Exception e){
			return null;
		}
	}
	
	public static void main(String[] args) {
	}
}