createhtmlfile.java

网页抓取。 实现对指定网址的网页内容进行抓取。网页抓取。 实现对指定网址的网页内容进行抓取。网页抓取。 实现对指定网址的网页内容进行抓取。

/*
 * File name : CreateFile.java
 * Create Time : 2006-5-23 9:16:37
 * Author : 生成HTML文件
 * Descript : 
 * Version : 
 */
package com.snoics.reptile.file;

import com.snoics.base.interfaces.log.Log;
import com.snoics.base.util.StringClass;
import com.snoics.base.util.file.SnoicsFile;
import com.snoics.reptile.link.ILink;
import com.snoics.reptile.link.Link;
import com.snoics.reptile.system.common.Common;
import com.snoics.useclass.SnoicsClass;

public class CreateHTMLFile implements ICreateFile{
	private String resolvedUrl="";
	private String relativizeUrl="";
	private String resolvedFile="";
	private String relativizeFile="";
	private String htmlString="";
	private ILink link=new Link();
	private SnoicsFile snoicsFile=new SnoicsFile();
	private Log log=null;
	
	public CreateHTMLFile(){
		SnoicsClass snoicsClass=new SnoicsClass();
		log=snoicsClass.getLog();
		log.getLogger("[ CreateHTMLFile ]");
	}
	
	/**
	 * 获取html字符串
	 * @return String
	 */
	public String getHtmlString() {
		return htmlString;
	}

	/**
	 * 设置HTML字符串
	 * @param htmlString
	 */
	public void setHtmlString(String htmlString) {
		this.htmlString = htmlString;
	}
	
	/**
	 * 获取生成文件存放的相对的本地路径
	 * @return String
	 */
	public String getRelativizeFile() {
		return relativizeFile;
	}
	
	/**
	 * 设置生成文件存放的相对的本地路径
	 * @param relativizeFile
	 */
	public void setRelativizeFile(String relativizeFile) {
		this.relativizeFile = relativizeFile;
	}
	
	/**
	 * 获取重新生成后的相对与website路径URL
	 * @return String
	 */
	public String getRelativizeUrl() {
		return relativizeUrl;
	}
	
	/**
	 * 设置重新生成后的相对与website路径URL
	 * @param relativizeUrl
	 */
	public void setRelativizeUrl(String relativizeUrl) {
		this.relativizeUrl = relativizeUrl;
	}
	
	/**
	 * 获取需要生成文件的完整的路径
	 * @return String
	 */
	public String getResolvedFile() {
		return resolvedFile;
	}
	
	/**
	 * 设置需要生成文件的完整的路径
	 * @param resolvedFile
	 */
	public void setResolvedFile(String resolvedFile) {
		this.resolvedFile = resolvedFile;
	}
	
	/**
	 * 获取重新生成后的完全路径URL
	 * @return String
	 */
	public String getResolvedUrl() {
		return resolvedUrl;
	}
	
	/**
	 * 设置重新生成后的完全路径URL
	 * @param resolvedUrl
	 */
	public void setResolvedUrl(String resolvedUrl) {
		this.resolvedUrl = resolvedUrl;
	}
	
	/**
	 * 生成文件
	 *
	 */
	public void create(){
		relativizeUrl=StringClass.getPreString(relativizeUrl,"#");
		if(Common.createHtmlFileList.contains(relativizeUrl)){
			return;
		}else{
			if(link.getLink(relativizeUrl)==null){
				resolvedFile=StringClass.getPreString(resolvedFile,"#");
				snoicsFile.stringToFile(htmlString,resolvedFile);
				//tempLink.addLink(relativizeUrl,relativizeFile);
				Common.createHtmlFileCount++;
				log.info("Create html file "+resolvedUrl+" To "+resolvedFile);
			}

			Common.createHtmlFileList.add(relativizeUrl);
		}
	}
}