filepreprocesstest.java

对网页进行解析并抓取

package ch2.lucenedemo.test;

import java.io.File;

import ch2.lucenedemo.preprocess.FilePreprocess;

public class FilePreprocessTest {
	public static void main(String[] args) {
		// 设置需要被预处理的源文件位置
		String inputFile = "d:\\book.txt";
		// 设置处理后的文件存放位置
		String outputDir = "d:\\testfolder\\";
		// 判断处理后文件存放文件夹是否存在，如果不存在则创建文件夹
		if (!new File(outputDir).exists())
			new File(outputDir).mkdirs();
		// 创建一个FilePreprocess类，并调用preprocess方法进行预处理
		FilePreprocess filePreprocess = new FilePreprocess();
		filePreprocess.preprocess(new File("d:\\book.txt"), "d:\\testfolder\\");
	}
}