crawlermgr.h

概述：数据的纵向收集

//[e-mail]
#pragma once

#include "ThreadMgr.h"
#include <atlstr.h>
#include "SynSet.h"
#include "SynHashSet.h"
#include "iocs.h"
#include "PageStat.h"

class CCrawlerMgr : public CThreadMgr
{
	friend CThreadMgr;
public:
	virtual ~CCrawlerMgr();
	virtual void StopAll();

//任务调度
protected:
	virtual BOOL DoWork(int nIndex);
	BOOL HandleTask(CPageStat& objTask);

protected:
	CCrawlerMgr();
	CCrawlerMgr(const CCrawlerMgr&);
	CCrawlerMgr& operator=(const CCrawlerMgr&);

//初始化任务和重新分配任务
protected:
	void AssignTask();					//分配任务
	void AssignTaskFromTemplate();		//解析模版得到初始种子
	void AssignTaskFromPageStat();		//从PageStat加载
	BOOL m_bTaskAssigned;				//是否已经分配初始种子任务

//容器
private:
	CSynHashSet<CString>	m_arrTaskError;
	CSynSet<CString>		m_arrTaskDoing;
};