contentanalyzer.java

爬虫数据的改进,并修正了一些bug

/*
 * 创建日期 2005-2-17
 *
 * TODO 要更改此生成的文件的模板，请转至
 * 窗口 － 首选项 － Java － 代码样式 － 代码模板
 */
package net.nutch.analysis;

import java.io.Reader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;

/**
 * @author Administrator
 *
 * TODO 要更改此生成的类型注释的模板，请转至
 * 窗口 － 首选项 － Java － 代码样式 － 代码模板
 */
public class ContentAnalyzer extends Analyzer{
	
	public TokenStream tokenStream(String fieldName, Reader reader){
		try{
			ContentTokenizer ct = new ContentTokenizer(reader);
			return new ContentTokenStream(ct);
		}catch(Exception e){
			return null;
		}
	  }

	public static void main(String[] args) {
	}
}