idfilter.java

来自「用来为垂直搜索引擎抓取数据的采集系统」· Java 代码 · 共 52 行

package org.indigo.parser;

import java.io.UnsupportedEncodingException;
import java.net.URLDecoder;
import java.util.Date;
/**
 * 处理动态默认值用到的类。
 * @author wbz
 *
 */
public class IdFilter {

	/**
	 * 对id进行处理，然后把从id需要的内容存储到pageManager对象中。
	 * 供采集用。
	 * @param id
	 * @param pageManager
	 * @return
	 */
	public static String Filter(String id,PageParserManager pageManager)
	{
		
		//String dd="detail.asp?province=1&area=5|%B1%B1%BE%A9%B2%FD%C6%BD%CB%AE%CD%CD%C5%FA%B7%A2%CA%D0%B3%A1";
		int k=-1;
		k=id.indexOf("|");
		if(k!=-1)
		{
			//id=id.substring(0,k);
			String market=id.substring(k+1);
			try {
				market=URLDecoder.decode(market,"gb2312");
			} catch (UnsupportedEncodingException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
			pageManager.setDefaultValue("market",market);
			//System.out.println(market);
		}
		//System.out.print(id);
		Date date=new Date();
		java.sql.Date d=new java.sql.Date(date.getTime());
		String thedate="&thedate="+d.toString();
		return id+thedate;
		//return dd;
	}
	public static void main(String args[])
	{
		
	//	System.out.print(d.toString());
	}
}