common.java

java写的搜索引擎网络爬虫 java写的搜索引擎网络爬虫 java写的搜索引擎网络爬虫

/* 
 * FileName Common.java
 * Create Time 2005-7-29 10:08:31
 * Author shiwei
 * Descript 存放系统公用变量
 * Version 
 */
package com.snoics.reptile.system.common;

import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;

import com.snoics.useclass.SnoicsClass;
public class Common {
	/**
	 * 系统对象池名称
	 */
	public static final String REPTILE_OBJECTPOOL_NAME="REPTILE_OBJECTPOOL_NAME_reptileobjectpool";

	public static final String REPTILE_SPRING_CONFIG_FILE="snoics-reptile-urlregex";
	
	/**
	 * 系统配置字符串分割符
	 */
	public static final String STRING_SEPARATE_FLAG=";";
	
	//缓存文件的类型
	public static final String REPTILE_FILETYPE="reptile";
	
	//将存放所有的存放URL的HashMap存放到这个ArrayList中保存
	public static ArrayList urlhmlist=new ArrayList();
	
	//不改变链接的文件类型
	public static final String DEFAULT_UNDOWNLOADFILETYPE="reptile-undownloadfiletype";
	//需要下载到本地的文件类型
	public static final String DEFAULT_DOWNLOADFILETYPE="reptile-downloadfiletype";
	
	//默认的缓存文件夹
	public static final String DEFAULT_CACHE_DIRECTORY="cache";
	
	//默认的抓取文件保存文件夹
	public static final String DEFAULT_FILE_DIRECTORY="file";
	
	//默认的缓存大小
	public static final String DEFAULT_CACHESIZE="10000";
	
	//默认的线程状态
	public static final String DEFAULT_THREAD_ISACTIVE="FALSE";
	//默认线程调用类
	public static final String DEFAULT_THREAD_CLASSNAME="com.rongji.reptile.main.ReptileDoImpl";
	//默认的looptime
	public static final String DEFAULT_THREAD_LOOPTIME="";
	//默认线程sleep时间
	public static final String DEFAULT_THREAD_SLEEPTIME="600000";
	
	//默认的日志类型
	public static final String DEFAULT_LOGTYPE="4";
	
	//存放不改变链接的文件类型的对象名
	public static final String COMMON_OBJECT_UNRELINKTYPE="unlinktyp";
	//存放需要下载到本地的文件类型的对象名
	public static final String COMMON_OBJECT_DOWNLOADFILETYPE="downloadfiletype";
	
	//存放ConfigInfo的对象名
	public static final String COMMON_OBJECT_CONFIGINFO="configinfo";
	//存放系统缓存的对象名
	public static final String COMMON_OBJECT_CACHE="reptilecache";
	//存放系统临时缓存的对象名
	public static final String COMMON_OBJECT_TEMPCACHE="tempcache";
	//Reptile线程
	public static final String COMMON_OBJECT_REPTILETHREAD="reptilethread";
	
	//生成的景泰文件类型
	public static final String DEFAULT_STATICFILETYPE=".html";
	//系统配置文件节点名
	public static final String CONFIGFILE_NODE_ROOT="reptile";
    //抓取的站点名
	public static final String CONFIGFILE_NODE_WEBSITENAME="websitename"; 
    //站点地址
	public static final String CONFIGFILE_NODE_WEBSITE="website"; 
	
	public static final String CONFIGFILE_NODE_CHARSETNAME="charsetName";
	
    //起始页面
	public static final String CONFIGFILE_NODE_STARTPAGE="startpage"; 
	
    //要抓取的URL
	public static final String CONFIGFILE_NODE_URL="url";
	
//	要抓取的URL
	public static final String CONFIGFILE_NODE_REMOTEURLFLAG="remoteurlflag";  
	
//	URL正则表达式
	public static final String CONFIGFILE_NODE_URLREGEX="urlregex";  
	
//	不抓取的部分
	public static final String CONFIGFILE_FORBIDURL="forbidurl"; 
	
//	缓存文件
	public static final String CONFIGFILE_NODE_CACHEFILE="cachefile"; 
	
//	抓取文件保存路径
	public static final String CONFIGFILE_NODE_FILEROOTPATH="filerootpath"; 
	
//	首页文件名
	public static final String CONFIGFILE_NODE_INDEXPAGE="indexpage";  
	
//	抓取下的文件名长度
	public static final String CONFIGFILE_NODE_FILENAMELENGTH="filenamelength"; 
	
	
//	缓存大小
	public static final String CONFIGFILE_NODE_CACHEUNITSIZE="cacheunitsize";  
	
	public static final String CONFIGFILE_NODE_VALUE_TRUE="TRUE";
	
	public static final String CONFIGFILE_NODE_VALUE_FALSE="FALSE";
    
	public static final String REMOTE_DOWNLOADFILE_SAVE_PATH="remotedownloadfile";
	
	public static final String REPLACEREGEXURL_FLAG="reptile-replace-string";

	public static List createHtmlFileList=new ArrayList();
	public static Set createBinFileList=new HashSet();
	public static int createHtmlFileCount=0;
	public static int createBinfFileCount=0;
	
    /**
     * 获取系统路径
     * @return String
     */
    public static String getConfigHome(){
    	SnoicsClass snoicsClass=new SnoicsClass();
    	return snoicsClass.getConfigHome();
    }
}