⭐ 欢迎来到虫虫下载站！ | 📦 资源下载 📁 资源专辑 ℹ️ 关于我们
⭐ 虫虫下载站
📤 上传资源

📄 如何用c#语言构造网络蜘蛛程序2.htm

📁 如何用C#语言构造网络蜘蛛程序1.htm
💻 HTM
📖 第 1 页 / 共 4 页
字号:
🔍
1234 

<html>
<head>
<title>如何用C#语言构造网络蜘蛛程序|搜索引擎,网络蜘蛛,程序,算法,C#-中国源码网</title>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<meta http-equiv="Refresh" content=600>
<meta name="keywords" content="搜索引擎,网络蜘蛛,程序,算法,C#">
<meta name="description" content="如何用C#语言构造网络蜘蛛程序">
<link rel="stylesheet" href="/templates/yobo/style/default/style.css" type="text/css" media="all" />
</head><body oncontextmenu='return false' ondragstart='return false' onselectstart ='return false' onselect='document.selection.empty()' oncopy='document.selection.empty()' onbeforecopy='return false'>
<a name="top"></a>
<!--页面头部信息-->
<div id="header">
  <div id="topmenu">
    <div class="left">
      <div id="topdate"><a href="http://www.yuanma.org/rss.php" target="_blank" title="中国源码 RSS 订阅 "><img src="/images/rss.gif" border="0"></a>=>中国源码：全球著名开源项目大本营</div>
    </div>
    <div class="right">
      <div id="topnavlist">
        <ul>
                    <li><a href="/member.php?action=reg" title="注册会员">注册会员</a></li>
          <li><a href="/member.php?action=login" title="会员登录">会员登录</a></li>
          <li><a href="/member.php?action=manage" title="控制面板">控制面板</a></li>
          <li><a href="#" onClick="this.style.behavior= 'url(#default#homepage)';this.setHomePage ('http://www.yuanma.org');">设为首页</a></li>
          <li><a href="#" onClick="window.external.addFavorite('http://www.yuanma.org','中国源码-全球著名开放源代码大本营')">加入收藏</a></li>
          <li><a href="http://cgi.alexa.com/client/mail_this_site/cgi-bin/mail_this_site.cgi?url=yuanma.org" title="推荐本站" target=_blank>推荐本站</a></li>
                  </ul>
      </div>
    </div>
  </div>
  <div id="maintop">
<div id="LogoSide1">
<a href="/blog/"><img src="/images/blog.gif" alt="博客" /></a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<a href="/download/"><img src="/images/download.gif" alt="下载" /></a><br />
博客&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;下载
</div>
    <div id="Logo"><a href="/"><img src="/images/logo.gif" alt="中国源码 首页" /></a></div>
<div id="LogoSide2">
<a href="/bbs/"><img src="/images/forum.gif" alt="论坛" /></a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<a href="/lilina/" target=_blank><img src="/images/rss_reader.gif" alt="最新开源项目" /></a><br />
&nbsp;&nbsp;论坛&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;开源项目
</div>
  </div>
  <div class="navline">&nbsp;</div>
  <div class="navup">
    <div id="nav-up-left"><a href="/" class="mainmenu">首页</a>  &#183;<a href='/data/osupdate/' target='_self' title='开源社区最新动态、新闻' class="mainmenu">开源动态</a>
 &#183;<a href='/data/osprojects/' target='_self' title='世界知名开源社区著名开源项目、软件介绍和使用文章' class="mainmenu">应用软件</a>
 &#183;<a href='/data/osprojectsos/' target='_self' title='开放源代码操作系统 Linux FreeBSD OpenBSD..' class="mainmenu">开源操作系统</a>
 &#183;<a href='/data/osprojectssd/' target='_self' title='介绍程序设计方法、事例、教程
software development' class="mainmenu">程序设计</a>
 &#183;<a href='/data/osarticles/' target='_self' title='开放源代码社区文章、评论' class="mainmenu">开源文章</a>
 &#183;<a href='/data/yuanmaprotocol/' target='_self' title='介绍网络协议、RFC及安全' class="mainmenu">网络协议与安全</a>
·<a href="/data/special/" class="mainmenu">专题</a>·<a href="/mypage.php?action=picture" class="mainmenu">图片文章</a>·<a href="/search.php" title="搜索" class="mainmenu">搜索</a>· <a href="/contribute.php" title="投稿" class="mainmenu">投稿</a> </div>
  </div>
  <div class="navline">&nbsp;</div>
</div>

<SCRIPT language=javascript type=text/javascript>
var currentpos,timer;

function initialize()
{
timer=setInterval("scrollwindow()",2);
}
function sc(){
clearInterval(timer);
}
function scrollwindow()
{
currentpos=document.body.scrollTop;
window.scroll(0,++currentpos);
if (currentpos != document.body.scrollTop)
sc();
}
document.onmousedown=sc
document.ondblclick=initialize
</SCRIPT>
<script language="JavaScript">
function fontZoom(size)
{
 document.getElementById('fontzoom').style.fontSize=size+'px'
}

function doCheck(){

// 检测表单的有效性
// 如：标题不能为空，内容不能为空，等等....
if (myform.username.value=="") {
alert("请输入姓名!");
myform.username.focus();
return false;
}

if (myform.content.value=="") {
alert("请输入评论内容!");
myform.content.focus();
return false;
}
if (myform.checkcode.value=="") {
alert("请输入验证码!");
myform.checkcode.focus();
return false;
}
return true;
}
</script>
<div class="mainline">&nbsp;</div>
<div class="maincolumn">
<div class="navadimg">
<script type="text/javascript"><!--
google_ad_client = "pub-4357927283882197";
google_ad_width = 728;
google_ad_height = 90;
google_ad_format = "728x90_as";
google_ad_type = "image";
google_ad_channel = "";
//--></script>
<script type="text/javascript"
  src="http://pagead2.googlesyndication.com/pagead/show_ads.js">
</script>
</div>
</div>
<div class="mainline">&nbsp;</div>
<div class="maincolumn">
  <div id="flist">
    <div class="ftitleico">&nbsp;</div>
    <div class="ftitlebg">
      <div class="ftitlename">当前位置: <a href='/' class='position'>首页</a> >> <a href='/data/osprojectssd/' class='position'>程序设计</a>  &gt;&gt; 如何用C#语言构造网络蜘蛛程序</div>
    </div>
    <div class="clear">&nbsp;</div>
    <div id="newsview">
        <div class="title">
          <h1>如何用C#语言构造网络蜘蛛程序</h1>
                    <h2><strong>作者：</strong><a href="/member.php?action=show&username=webmaster" target="_blank"></a>            &nbsp;&nbsp;&nbsp;&nbsp; <strong>来源：</strong><a href="http://blog.csdn.net/smildlzj/archive/2006/09/21/1260758.aspx" target="_blank">zz</a>&nbsp;&nbsp;&nbsp;&nbsp; <strong>发表时间：</strong>2006-09-21&nbsp;&nbsp;&nbsp;&nbsp;
            <strong>浏览次数：</strong>
            <script language=Javascript src="/view.php?articleid=1570"></script>
            &nbsp;&nbsp;&nbsp;&nbsp; <strong>字号：</strong><a href="javascript:fontZoom(16)" class=black>大</a>&nbsp;&nbsp;<a href="javascript:fontZoom(14)" class=black>中</a>&nbsp;&nbsp;<a href="javascript:fontZoom(12)" class=black>小</a></h2>
        </div>
                <div id="fontzoom" class="content">
          <p><BR>这里，searchWeb()公平的确定它是否有值得搜索的URL，接着它为搜索树创建一个新节点，添加到树中，打开一个输入流解析文件。下面的章节涉及很多关于解析HTML文件，处理相关URL和控制递归的细节。<BR><BR>1、解析HTML文件<BR><BR>这里有两个为了查找A HREF来解析HTML文件方法——一个麻烦的方法和一个简单的方法。<BR><BR>如果你选择麻烦的方法，你将使用Java的StreamTokenizer类创建你自己的解析规则。使用这些技术，你必须为StreamTokenizer对象指定单词和空格，接着去掉&lt;和&gt;符号来查找标签，属性，在标签之间分割文字。太多的工作要做。<BR><BR>简单的方法是使用内置的ParserDelegator类，一个HTMLEditorKit.Parser抽象类的子类。这些类在Java文档中没有完善的文档。使用ParserDelegator有三个步骤：首先为你的URL创建一个InputStreamReader对象，接着创建一个ParserCallback对象的实例，最后创建一个ParserDelegator对象的实例并调用它的public方法parse()：<BR><BR><BR><BR>UrlTreeNode newnode = new UrlTreeNode(url); // Create the data node <BR>InputStream in = url.openStream(); // Ask the URL object to create an input stream<BR>InputStreamReader isr = new InputStreamReader(in); // Convert the stream to a reader<BR>DefaultMutableTreeNode treenode = addNode(parentnode, newnode); <BR>SpiderParserCallback cb = new SpiderParserCallback(treenode); // Create a callback object<BR>ParserDelegator pd = new ParserDelegator(); // Create the delegator<BR>pd.parse(isr,cb,true); // Parse the stream<BR>isr.close(); // Close the stream<BR>parse()接受一个InputStreamReader，一个ParseCallback对象实例和一个指定CharSet标签是否忽略的标志。parse()方法接着读和解码HTML文件，每次完成解码一个标签或者HTML元素后调用ParserCallback对象的方法。<BR><BR>在示例代码中，我实现了ParserCallback作为Spider的一个内部类，这样就允许ParseCallback访问Spider的方法和属性。基于ParserCallback的类可以覆盖下面的方法：<BR><BR>■ handleStartTag()：当遇到起始HTML标签时调用，比如&gt;A &lt;<BR><BR>■ handleEndTag()：当遇到结束HTML标签时调用，比如&gt;/A&lt;<BR><BR>■ handleSimpleTag()：当遇到没有匹配结束标签时调用<BR><BR>■ handleText()：当遇到标签之间的文字时调用<BR><BR><BR>在示例代码中，我覆盖了handleSimpleTag()以便我的代码可以处理HTML的BASE和IMG标签。BASE标签告诉当处理相关的URL引用时使用什么URL。如果没有BASE标签出现，那么当前URL就用来处理相关的引用。HandleSimpleTag()接受三个参数，一个HTML.Tag对象，一个包含所有标签属性的MutableAttributeSet，和在文件中的相应位置。我的代码检查标签来判断它是否是一个BASE对象实例，如果是则HREF属性被提取出来并保存在页面的数据节点中。这个属性以后在处理链接站点的URL地址中被用到。每次遇到IMG标签，页面图片数就被更新。<BR><BR>我覆盖了handleStartTag以便程序可以处理HTML的A和TITLE标签。方法检查t参数是否是一个事实上的A标签，如果是则HREF属性将被提取出来。<BR><BR>fixHref()被用作清理大量的引用(改变反斜线为斜线，添加缺少的结束斜线)，链接的URL通过使用基础URL和引用创建URL对象来处理。接着递归调用searchWeb()来处理链接。如果方法遇到TITLE标签，它就清除存储最后遇到文字的变量以便标题的结束标记具有正确的值(有时网页的title标签之间没有标题)。<BR><BR>我覆盖了handleEndTag()以便HTML的TITLE结束标记可以被处理。这个结束标记指出前面的文字(存在lastText中)是页面的标题文字。这个文字接着存在页面的数据节点中。因为添加标题信息到数据节点中将改变树中数据节点的显示，nodeChanged()方法必须被调用以便树可以更新。<BR><BR>我覆盖了handleText()方法以便HTML页面的文字可以根据被搜索的任意关键字或者短语来检查。HandleText()接受一个包含一个子符数组和该字符在文件中位置作为参数。HandleText()首先将字符数组转换成一个String对象，在这个过程中全部转换为大写。接着在搜索列表中的每个关键字/短语根据String对象的indexof()方法来检查。如果indexof()返回一个非负结果，则关键字/短语在页面的文字中显示。如果关键字/短语被显示，匹配被记录在匹配列表的节点中，统计数据被更新：<BR><BR>public class SpiderParserCallback extends HTMLEditorKit.ParserCallback {<BR><BR>/**<BR><BR>* Inner class used to html handle parser callbacks<BR><BR>*/<BR><BR><BR>public class SpiderParserCallback extends HTMLEditorKit.ParserCallback {<BR><BR>/** URL node being parsed */<BR><BR>private UrlTreeNode node;<BR><BR>/** Tree node */<BR><BR>private DefaultMutableTreeNode treenode;<BR><BR>/** Contents of last text element */<BR><BR>private String lastText = "";<BR><BR>/**<BR><BR>* Creates a new instance of SpiderParserCallback<BR><BR>* @param atreenode search tree node that is being parsed<BR>*/<BR><BR>public SpiderParserCallback(DefaultMutableTreeNode atreenode) {<BR><BR>treenode = atreenode;<BR>node = (UrlTreeNode)treenode.getUserObject();<BR><BR>}<BR><BR>/**<BR>* Handle HTML tags that don't have a start and end tag<BR>* @param t HTML tag<BR>* @param a HTML attributes<BR>* @param pos Position within file<BR>*/ <BR>public void handleSimpleTag(HTML.Tag t,<BR><BR>MutableAttributeSet a,<BR>int pos)<BR><BR>{<BR>if(t.equals(HTML.Tag.IMG))<BR><BR>{<BR>node.addImages(1);<BR>return;<BR>}<BR><BR>if(t.equals(HTML.Tag.BASE))<BR>{<BR>Object value = a.getAttribute(HTML.Attribute.HREF);<BR><BR>if(value != null)<BR>node.setBase(fixHref(value.toString())); <BR>} <BR>}<BR><BR>/**<BR><BR>* Take care of start tags<BR><BR>* @param t HTML tag<BR><BR>* @param a HTML attributes<BR><BR>* @param pos Position within file<BR>*/<BR>public void handleStartTag(HTML.Tag t,<BR><BR>MutableAttributeSet a,<BR><BR>int pos)<BR>{<BR>if(t.equals(HTML.Tag.TITLE))<BR>{<BR><BR>lastText="";<BR>return;<BR><BR>}<BR><BR>if(t.equals(HTML.Tag.A))<BR><BR>{<BR><BR>Object value = a.getAttribute(HTML.Attribute.HREF);<BR>if(value != null)<BR>{<BR>node.addLinks(1); <BR>String href = value.toString();<BR>href = fixHref(href);<BR>try{<BR>URL referencedURL = new URL(node.getBase(),href);<BR>searchWeb(treenode, referencedURL.getProtocol()+"://"+referencedURL.getHost()+referencedURL.getPath());<BR>}<BR>catch (MalformedURLException e)<BR><BR>{<BR>messageArea.append(" Bad URL encountered : "+href+"\n\n"); return; <BR>}<BR>}<BR>}<BR>}<BR>/**<BR>* Take care of start tags<BR>* @param t HTML tag<BR>* @param pos Position within file<BR><BR>*/<BR>public void handleEndTag(HTML.Tag t,<BR>int pos)<BR><BR>{<BR>if(t.equals(HTML.Tag.TITLE) &amp;&amp; lastText != null)<BR>{<BR>node.setTitle(lastText.trim());<BR>DefaultTreeModel tm = (DefaultTreeModel)searchTree.getModel();<BR><BR>tm.nodeChanged(treenode);<BR><BR>}<BR><BR>}<BR><BR>/**<BR><BR>* Take care of text between tags, check against keyword list for matches, if<BR>* match found, set the node match status to true<BR>* @param data Text between tags<BR>* @param pos position of text within Webpage<BR>*/<BR>public void handleText(char[] data, int pos)<BR>{<BR><BR>lastText = new String(data);<BR>node.addChars(lastText.length());<BR>String text = lastText.toUpperCase();<BR>for(int i = 0; i &lt; keywordList.length; i++)<BR>{<BR>if(text.indexOf(keywordList) &gt;= 0)<BR>{<BR>if(!node.isMatch())<BR>{<BR>sitesFound++;<BR>updateStats();<BR>}<BR>node.setMatch(keywordList); <BR>return;<BR>}<BR>}<BR>}<BR><BR>}<BR><BR>2、处理和补全URL<BR><BR>当遇到相关页面的链接，你必须在它们基础URL上创建完整的链接。基础URL可能通过BASE标签在页面中明确的定义，或者暗含在当前页面的链接中。Java的URL对象为你解决这个问题提供了构造器，提供了根据它的链接结构创建相似的。<BR>URL(URL context, String spec)接受spec参数的链接和context参数的基础链接。如果spec是一个相关链接，构建器将使用context来创建一个完整引用的URL对象。URL它推荐URL遵循严格的(Unix)格式。使用反斜线，在Microsoft Windows中，而不是斜线，将是错误的引用。如果spec或者context指向一个目录(包含index.html或default.html)，而不是一个HTML文件，它必须有一个结束斜线。fixHref()方法检查这些引用并且修正它们：<BR><BR><BR>public static String fixHref(String href)<BR>{<BR><BR>String newhref = href.replace('\\', '/'); // Fix sloppy Web references<BR><BR>int lastdot = newhref.lastIndexOf('.');<BR><BR>int lastslash = newhref.lastIndexOf('/');<BR>if(lastslash &gt; lastdot)<BR>{<BR>if(newhref.charAt(newhref.length()-1) != '/')<BR>newhref = newhref+"/"; // Add missing /<BR><BR>}<BR>return newhref; <BR><BR>}<BR><BR><BR>3、 控制递归<BR><BR>searchWeb()开始是为了搜索用户指定的起始Web地址而被调用的。它接着在遇到HTML链接时调用自身。这形成了深度优先搜索的基础，也带来了两种问题。首先非常危险的内存/堆栈溢出问题将因为太多的递归调用而产生。如果出现环形的引用，这个问题就将发生，也就是说，一个页面链接另外一个链接回来的连接，这是WWW中常见的事情。为了预防这种现象，searchWeb()检查搜索树(通过urlHasBeenVisited()方法)来确定是否引用的页面已经存在。如果已经存在，这个链接将被忽略。如果你选择实现一个没有搜索树的蜘蛛，你仍然必须维护一个以访问站点的列表(在Vector或数组中)以便你可以判断是否你正在重复访问站点。<BR><BR>递归的第二个问题来自深度优先的搜索和WWW的结构。根据选择的入口，深度优先的搜索在初始页面的初始链接在完成处理以前造成大量的递归调用。这就造成了两种不需要的结果：首先内存/堆栈溢出可能发生，第二被搜索过的页面可能很久才被从初始入口众多的结果中删除。为了控制这些，我为蜘蛛添加了最大搜索深度设置。用户可以选择可以达到的深度等级(链接到链接到链接)，当遇到每个链接时，当前深度通过调用depthLimitExceeded()方法进行检查。如果达到限制，链接就被忽略。测试仅仅检查JTree中节点的级别。<BR><BR>示例程序也增加了站点限制，用户来指定，可以在特定数目的URL被检查以后停止搜索，这样确保程序可以最后停止！站点限制通过一个简单的数字计数器sitesSearched来控制，这个数字每次调用searchWeb()后都被更新和检查。<BR><BR>4、UrlTreeNode和UrlNodeRenderer<BR><BR>UrlTreeNode和UrlNodeRenderer是用来在SpiderControl用户界面中创建JTree中个性化的树节点的类。UrlTreeNode包含每个搜索过的站点钟的URL信息和统计数据。UrlTreeNode以作为用户对象属性的标准DefaultMutableTreeNode对象形式存储在JTree中。数据包括节点中跟踪关键字出现的能力，节点的URL，节点的基础URL，链接的数量，图片的数量和字符的个数，以及节点是否符合搜索规则。<BR><BR>UrlTreeNodeRenderer是DefaultTreeCellRenderer界面的实现。UrlTreeNodeRenderer使节点包含匹配关键字显示为蓝色。UrlTreeNodeRenderer也为JtreeNodes加入了个性化的图标。个性化的显示通过覆盖getTreeCellRendererComponent()方法(如下)实现。这个方法在树中创建了一个Component对象。大部分的Component属性通过子类来进行设置，UrlTreeNodeRenderer改变了文字的颜色(前景色)和图标：<BR><BR><BR><BR>public Component getTreeCellRendererComponent(<BR>JTree tree,<BR>Object value,<BR>boolean sel,<BR>boolean expanded,<BR>boolean leaf,<BR>int row,<BR>boolean hasFocus) {<BR><BR>super.getTreeCellRendererComponent(<BR><BR>tree, value, sel,<BR>expanded, leaf, row,<BR>hasFocus);<BR>UrlTreeNode node = (UrlTreeNode)(((DefaultMutableTreeNode)value).getUserObject());<BR>if (node.isMatch()) // Set color<BR>setForeground(Color.blue);<BR>else <BR>setForeground(Color.black);<BR><BR>if(icon != null) // Set a custom icon<BR>{<BR>setOpenIcon(icon);<BR>setClosedIcon(icon);<BR>setLeafIcon(icon);<BR>}<BR>return this;<BR>}<BR><BR>5、 总结<BR><BR>这篇文章向你展示了如何创建网络蜘蛛和控制它的用户界面。用户界面使用JTree来跟踪蜘蛛的进展和记录访问过的站点。当然，你也可以使用Vector来记录访问过的站点和使用一个简单的计数器来显示进展。其他增强可以包含通过数据库记录关键字和站点的接口，增加通过多个入口搜索的能力，用大量或者很少的文字内容来显现站点，以及为搜索引擎提供同义搜索的能力。<BR><BR>这篇文章中展示的Spider类使用递归调用搜索程序，当然，一个新蜘蛛的独立线程可以在遇到每个链接时开始。这样的好处是允许链接远程URL并发执行，提高速度。然而记住那些叫做DefaultMutableTreeNode的JTree对象，不是线程安全的，所以程序员必须自己实现同步。&nbsp;</p>
        </div>
                <div class="content">
          <p align="center">[<a href=/data/2006/0921/article_1570.htm>1</a>] <b>[2]</b> </p>
        </div>
                <div class="content">
          <p align="right">责任编辑 webmaster</p>
        </div>

<div class="mainline">&nbsp;</div>
<div class="maincolumn">
<div class="navadimg">
<script type="text/javascript"><!--
google_ad_client = "pub-4357927283882197";
google_ad_width = 728;
google_ad_height = 90;
google_ad_format = "728x90_as";
google_ad_type = "image";
google_ad_channel = "";
//--></script>
<script type="text/javascript"
  src="http://pagead2.googlesyndication.com/pagead/show_ads.js">
</script>
</div>
</div>


                <div class="content">
          <p align="left"><b>相关链接</b><br>
1234

⌨️ 快捷键说明

复制代码 Ctrl + C
搜索代码 Ctrl + F
全屏模式 F11
切换主题 Ctrl + Shift + D
显示快捷键 ?
增大字号 Ctrl + =
减小字号 Ctrl + -