imakeupurl.java

java写的搜索引擎网络爬虫 java写的搜索引擎网络爬虫 java写的搜索引擎网络爬虫

/* 
 * FileName IMakeUpUrl.java
 * Create Time 2006-5-17 15:33:05
 * Author shiwei
 * Descript 组织单前页面的URL
 * Version 
 */

package com.snoics.reptile.regex.url;

import java.util.List;
import java.util.Set;

public interface IMakeUpUrl {
	public void setParentUrl(String parentUrl);
	
	public String getParentUrl();
	
	public void setHtmlString(String htmlString);
	
	public String getHtmlString();
	/**
	 * 设置当前页面的所有URL
	 * @param allHtmlUrl
	 */
	public void setAllHtmlUrl(Set allHtmlUrl);
	/**
	 * 获取单前页面的所有URL
	 * @return Set
	 */
	public Set getAllHtmlUrl();
	/**
	 * 获取所有远程URL
	 * @return List
	 */
	public List getRemoteUrl();
	/**
	 * 获取处于解析范围之内的URL
	 * @return List
	 */
	public List getRangeUrl();
	/**
	 * 获取处于解析范围之内，但不被抓取的URL
	 * @return List
	 */
	public List getForbidUrl();
	/**
	 * 获取不被抓取的二进制文件URL
	 * @return List
	 */
	public List getUnDownloadUrl();
	/**
	 * 获取将被抓取到本地的二进制文件URL
	 * @return List
	 */
	public List getDownloadUrl();
	
	/**
	 * 设置解析当前页面使用到的正则表达式
	 * @param urlRegexList
	 */
	public void setUrlRegexList(List urlRegexList);
	
	/**
	 * 获取解析当前页面使用到的正则表达式
	 * @return List
	 */
	public List getUrlRegexList();
	
	/**
	 * 执行组织操作
	 *
	 */
	public void makeUp();
}