ipseeker.java

社区文章采用的是平板、树形自由选择的两种展示方式

/*
 * Created on 2005-8-29
 *
 * TODO To change the template for this generated file go to
 * Window - Preferences - Java - Code Style - Code Templates
 */
package com.yeqiangwei.club.ip;

import org.apache.log4j.Logger;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.thesaurus.AnalyzerUtils;

import com.yeqiangwei.club.service.ServiceLocator;
import com.yeqiangwei.club.service.ServiceWrapper;
import com.yeqiangwei.club.service.search.AnalyzerFactory;
import com.yeqiangwei.club.service.util.BasicInfoService;
import com.yeqiangwei.io.File;
import com.yeqiangwei.util.Validator;

/*
* LumaQQ - Java QQ Client
*
* Copyright (C) 2004 luma <[e-mail]>
*
* This program is free software; you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation; either version 2 of the License, or
* (at your option) any later version.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program; if not, write to the Free Software
* Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
*/


import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.ByteOrder;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.util.ArrayList;
import java.util.Hashtable;
import java.util.List;

/**
 * <pre>
 * 用来读取QQwry.dat文件，以根据ip获得好友位置，QQwry.dat的格式是
 * 一. 文件头，共8字节
 * 	   1. 第一个起始IP的绝对偏移， 4字节
 *     2. 最后一个起始IP的绝对偏移， 4字节
 * 二. "结束地址/国家/区域"记录区
 *     四字节ip地址后跟的每一条记录分成两个部分
 *     1. 国家记录
 *     2. 地区记录
 *     但是地区记录是不一定有的。而且国家记录和地区记录都有两种形式
 *     1. 以0结束的字符串
 *     2. 4个字节，一个字节可能为0x1或0x2
 * 		  a. 为0x1时，表示在绝对偏移后还跟着一个区域的记录，注意是绝对偏移之后，而不是这四个字节之后
 *        b. 为0x2时，表示在绝对偏移后没有区域记录
 *        不管为0x1还是0x2，后三个字节都是实际国家名的文件内绝对偏移
 * 		  如果是地区记录，0x1和0x2的含义不明，但是如果出现这两个字节，也肯定是跟着3个字节偏移，如果不是
 *        则为0结尾字符串
 * 三. "起始地址/结束地址偏移"记录区
 *     1. 每条记录7字节，按照起始地址从小到大排列
 *        a. 起始IP地址，4字节
 *        b. 结束ip地址的绝对偏移，3字节
 *
 * 注意，这个文件里的ip地址和所有的偏移量均采用little-endian格式，而java是采用
 * big-endian格式的，要注意转换
 * </pre>
 *
 * @author 马若劼
 */
public class IPSeeker {
	/**
	 * Logger for this class
	 */
	private static final Logger logger = Logger.getLogger(IPSeeker.class);

	/**
	 * <pre>
	 * 用来封装ip相关信息，目前只有两个字段，ip所在的国家和地区
	 * </pre>
	 *
	 * @author 马若劼
	 */
	private class IPLocation {
		/**
		 * Logger for this class
		 */
		private final Logger logger = Logger.getLogger(IPLocation.class);

		public String country;
		public String area;

		public IPLocation() {
		    country = area = "";
		}

		public IPLocation getCopy() {
			if(logger.isDebugEnabled())
			{
				logger.debug("getCopy() - start");
			}
		    IPLocation ret = new IPLocation();
		    ret.country = country;
		    ret.area = area;

			if(logger.isDebugEnabled())
			{
				logger.debug("getCopy() - end");
			}
		    return ret;
		}
	}

	private static String IP_FILE = null;
	
	static{
		if(IP_FILE==null){
			IP_FILE = getBasicService().findOnly().getSitePath()+"WEB-INF"+File.separator+"index"+File.separator+"QQWry.Dat";
		}
	}
	
	public static BasicInfoService getBasicService() {
		return ServiceWrapper.<BasicInfoService>getSingletonInstance(ServiceLocator.BASICINFO);
	}
	
	// 一些固定常量，比如记录长度等等
	private static final int IP_RECORD_LENGTH = 7;
	private static final byte AREA_FOLLOWED = 0x01;
	private static final byte NO_AREA = 0x2;

 	// 用来做为cache，查询一个ip时首先查看cache，以减少不必要的重复查找
	private Hashtable<String,IPLocation> ipCache;
	// 随机文件访问类
	private RandomAccessFile ipFile;
	// 内存映射文件
	private MappedByteBuffer mbb;
	// 单一模式实例
	private static IPSeeker instance = new IPSeeker();
	// 起始地区的开始和结束的绝对偏移
	private long ipBegin, ipEnd;
	// 为提高效率而采用的临时变量
	private IPLocation loc;
	private byte[] buf;
	private byte[] b4;
	private byte[] b3;

	/**
	 * 私有构造函数
	 */
	private IPSeeker()  {
		ipCache = new Hashtable<String,IPLocation>();
		loc = new IPLocation();
		buf = new byte[100];
		b4 = new byte[4];
		b3 = new byte[3];
		try {
			if(logger.isDebugEnabled())
			{
				logger.debug("IPSeeker() - " + IP_FILE);
			}
			ipFile = new RandomAccessFile(IP_FILE, "r");
		} catch (FileNotFoundException e) {
			logger.error("IPSeeker()", e);

			if(logger.isDebugEnabled())
			{
				logger.debug("IPSeeker() - "
						+ IPSeeker.class.getResource("/QQWry.dat").toString());
			}
			if(logger.isDebugEnabled())
			{
				logger.debug("IPSeeker() - " + IP_FILE);
			}
			if(logger.isDebugEnabled())
			{
				logger.debug("IPSeeker() - IP地址信息文件没有找到，IP显示功能将无法使用");
			}
			ipFile = null;

		}
		// 如果打开文件成功，读取文件头信息
		if(ipFile != null) {
			try {
				ipBegin = readLong4(0);
				ipEnd = readLong4(4);
				if(ipBegin == -1 || ipEnd == -1) {
					ipFile.close();
					ipFile = null;
				}
			} catch (IOException e) {
				logger.error("IPSeeker()", e);

				if(logger.isDebugEnabled())
				{
					logger.debug("IPSeeker() - IP地址信息文件格式有错误，IP显示功能将无法使用");
				}
				ipFile = null;
			}
		}
		
	}

	/**
	 * @return 单一实例
	 */
	public static IPSeeker getInstance() {
		if(logger.isDebugEnabled())
		{
			logger.debug("getInstance() - start");
		}

		if(logger.isDebugEnabled())
		{
			logger.debug("getInstance() - end");
		}
		
		return instance;
	}

	/**
	 * 给定一个地点的不完全名字，得到一系列包含s子串的IP范围记录
	 * @param s 地点子串
	 * @return 包含IPEntry类型的List
	 */
	public List<IPEntry> getIPEntriesDebug(String s) {
		if(logger.isDebugEnabled())
		{
			logger.debug("getIPEntriesDebug(String) - start");
		}

	    List<IPEntry> ret = new ArrayList<IPEntry>();
	    long endOffset = ipEnd + 4;
	    for(long offset = ipBegin + 4; offset <= endOffset; offset += IP_RECORD_LENGTH) {
	        // 读取结束IP偏移
	        long temp = readLong3(offset);
	        // 如果temp不等于-1，读取IP的地点信息
	        if(temp != -1) {
	            IPLocation loc = getIPLocation(temp);
	            // 判断是否这个地点里面包含了s子串，如果包含了，添加这个记录到List中，如果没有，继续
	            if(loc.country.indexOf(s) != -1 || loc.area.indexOf(s) != -1) {
	                IPEntry entry = new IPEntry();
	                entry.country = loc.country;
	                entry.area = loc.area;
	                // 得到起始IP
	    	        readIP(offset - 4, b4);
	                entry.beginIp = IPUtils.getIpStringFromBytes(b4);
	                // 得到结束IP
	                readIP(temp, b4);
	                entry.endIp = IPUtils.getIpStringFromBytes(b4);
	                // 添加该记录
	                ret.add(entry);
	            }
	        }
	    }

		if(logger.isDebugEnabled())
		{
			logger.debug("getIPEntriesDebug(String) - end");
		}
	    return ret;
	}

	/**
	 * 给定一个地点的不完全名字，得到一系列包含s子串的IP范围记录
	 * @param s 地点子串
	 * @return 包含IPEntry类型的List
	 */
	public List<IPEntry> getIPEntries(String s) {
		if(logger.isDebugEnabled())
		{
			logger.debug("getIPEntries(String) - start");
		}

	    List<IPEntry> ret = new ArrayList<IPEntry>();
	    try {
	        // 映射IP信息文件到内存中
	        if(mbb == null) {
			    FileChannel fc = ipFile.getChannel();
	            mbb = fc.map(FileChannel.MapMode.READ_ONLY, 0, ipFile.length());
	            mbb.order(ByteOrder.LITTLE_ENDIAN);
	        }

		    int endOffset = (int)ipEnd;
            for(int offset = (int)ipBegin + 4; offset <= endOffset; offset += IP_RECORD_LENGTH) {
                int temp = readInt3(offset);
                if(temp != -1) {
    	            IPLocation loc = getIPLocation(temp);
    	            // 判断是否这个地点里面包含了s子串，如果包含了，添加这个记录到List中，如果没有，继续
    	            if(loc.country.indexOf(s) != -1 || loc.area.indexOf(s) != -1) {
    	                IPEntry entry = new IPEntry();
    	                entry.country = loc.country;
    	                entry.area = loc.area;
    	                // 得到起始IP
    	    	        readIP(offset - 4, b4);
    	                entry.beginIp = IPUtils.getIpStringFromBytes(b4);
    	                // 得到结束IP
    	                readIP(temp, b4);
    	                entry.endIp = IPUtils.getIpStringFromBytes(b4);
    	                // 添加该记录
    	                ret.add(entry);
    	            }
                }
            }
        } catch (IOException e) {
			logger.error("getIPEntries(String)", e);

			if(logger.isDebugEnabled())
			{
				logger.debug("getIPEntries() - " + e.getMessage());
			}
        }

		if(logger.isDebugEnabled())
		{
			logger.debug("getIPEntries(String) - end");
		}
        return ret;
	}

	/**
	 * 从内存映射文件的offset位置开始的3个字节读取一个int
	 * @param offset
	 * @return
	 */
	private int readInt3(int offset) {
		if(logger.isDebugEnabled())
		{
			logger.debug("readInt3(int) - start");
		}

	    mbb.position(offset);
		int returnint = mbb.getInt() & 0x00FFFFFF;
		if(logger.isDebugEnabled())
		{
			logger.debug("readInt3(int) - end");
		}
	    return returnint;
	}

	/**
	 * 从内存映射文件的当前位置开始的3个字节读取一个int
	 * @return
	 */
	private int readInt3() {
		if(logger.isDebugEnabled())
		{
			logger.debug("readInt3() - start");
		}

		int returnint = mbb.getInt() & 0x00FFFFFF;
		if(logger.isDebugEnabled())
		{
			logger.debug("readInt3() - end");
		}
	    return returnint;
	}

	/**
	 * 根据IP得到国家名
	 * @param ip ip的字节数组形式
	 * @return 国家名字符串
	 */
	public String getCountry(byte[] ip) {
		if(logger.isDebugEnabled())
		{
			logger.debug("getCountry(byte[]) - start");
		}
		
		// 检查ip地址文件是否正常
		if(ipFile == null) return "错误的IP数据库文件";
		// 保存ip，转换ip字节数组为字符串形式
		String ipStr = IPUtils.getIpStringFromBytes(ip);
		
		// 先检查cache中是否已经包含有这个ip的结果，没有再搜索文件
		if(ipCache.containsKey(ipStr)) {
			IPLocation loc = (IPLocation)ipCache.get(ipStr);
			if(logger.isDebugEnabled())
			{
				logger.debug("getCountry(byte[]) - end");
			}
			return loc.country;
		} else {
			IPLocation loc = getIPLocation(ip);
			ipCache.put(ipStr, loc.getCopy());
			if(logger.isDebugEnabled())
			{
				logger.debug("getCountry(byte[]) - end");
			}
			return loc.country;
		}
	}

	/**
	 * 根据IP得到国家名
	 * @param ip IP的字符串形式
	 * @return 国家名字符串
	 */
	public String getCountry(String ip) {
		
		if(logger.isDebugEnabled())
		{
			logger.debug("getCountry(String) - start");
		}
		
		String returnString = getCountry(IPUtils.getIpByteArrayFromString(ip));
		
		if(logger.isDebugEnabled())
		{
			logger.debug("getCountry(String) - end");
		}
	    return returnString;
	}

	/**
	 * 根据IP得到地区名
	 * @param ip ip的字节数组形式
	 * @return 地区名字符串
	 */
	public String getArea(byte[] ip) {
		if(logger.isDebugEnabled())
		{
			logger.debug("getArea(byte[]) - start");
		}

		// 检查ip地址文件是否正常
		if(ipFile == null) return "错误的IP数据库文件";
		// 保存ip，转换ip字节数组为字符串形式
		String ipStr = IPUtils.getIpStringFromBytes(ip);
		// 先检查cache中是否已经包含有这个ip的结果，没有再搜索文件
		if(ipCache.containsKey(ipStr)) {
			IPLocation loc = (IPLocation)ipCache.get(ipStr);

			if(logger.isDebugEnabled())
			{
				logger.debug("getArea(byte[]) - end");
			}
			return loc.area;
		} else {
			IPLocation loc = getIPLocation(ip);
			ipCache.put(ipStr, loc.getCopy());

			if(logger.isDebugEnabled())
			{
				logger.debug("getArea(byte[]) - end");
			}
			return loc.area;
		}
	}

	/**
	 * 根据IP得到地区名
	 * @param ip IP的字符串形式
	 * @return 地区名字符串
	 */
	public String getArea(String ip) {
		if(logger.isDebugEnabled())
		{
			logger.debug("getArea(String) - start");
		}

		String returnString = getArea(IPUtils.getIpByteArrayFromString(ip));
		if(logger.isDebugEnabled())
		{
			logger.debug("getArea(String) - end");
		}
	    return returnString;
	}

	/**
	 * 根据ip搜索ip信息文件，得到IPLocation结构，所搜索的ip参数从类成员ip中得到
	 * @param ip 要查询的IP
	 * @return IPLocation结构
	 */
	private IPLocation getIPLocation(byte[] ip) {
		if(logger.isDebugEnabled())
		{
			logger.debug("getIPLocation(byte[]) - start");
		}

		IPLocation info = null;
		long offset = locateIP(ip);
		if(offset != -1)
			info = getIPLocation(offset);
		if(info == null) {
			info = new IPLocation();
			info.country = "未知国家";
			info.area = "未知地区";
		}

		if(logger.isDebugEnabled())
		{
			logger.debug("getIPLocation(byte[]) - end");
		}
		return info;
	}

	/**
	 * 从offset位置读取4个字节为一个long，因为java为big-endian格式，所以没办法
	 * 用了这么一个函数来做转换
	 * @param offset
	 * @return 读取的long值，返回-1表示读取文件失败
	 */
	private long readLong4(long offset) {
		if(logger.isDebugEnabled())
		{
			logger.debug("readLong4(long) - start");
		}

		long ret = 0;
		try {
			ipFile.seek(offset);
			ret |= (ipFile.readByte() & 0xFF);
			ret |= ((ipFile.readByte() << 8) & 0xFF00);
			ret |= ((ipFile.readByte() << 16) & 0xFF0000);
			ret |= ((ipFile.readByte() << 24) & 0xFF000000);

			if(logger.isDebugEnabled())
			{
				logger.debug("readLong4(long) - end");
			}
			return ret;
		} catch (IOException e) {
			logger.error("readLong4(long)", e);

			long returnlong = -1;
			if(logger.isDebugEnabled())
			{
				logger.debug("readLong4(long) - end");
			}