1、锁定某个主题抓取； 2、能够产生日志文本文件 - 免费下载

Java编程资源文件大小：1868 K

📋 资源详细信息

文件格式

RAR

所属分类

Java编程

上传用户

gjq2000

上传时间

2013-12-22 05:34

文件大小

1868 K

所需积分

2 积分

推荐指数

⭐⭐⭐⭐⭐ (5/5)

💡 温馨提示：本资源由用户 gjq2000 上传分享，仅供学习交流使用。如有侵权，请联系我们删除。

资源简介

1、锁定某个主题抓取； 2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL； 3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限） 4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟； 5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页； 6、能够对spider/crawler程序的一些基本参数进行设置，包括：抓取深度(depth)、种子URL等； 7、使用User-agent向服务器表明自己的身份； 8、产生抓取统计信息：包括抓取速度、抓取完成所需时间、抓取网页总数；重要变量和所有类、方法加注释； 9、请遵守编程规范，如类、方法、文件等的命名规范， 10、可选：GUI图形用户界面、web界面，通过界面管理spider/crawler，包括启停、URL增删等

源码文件列表

📂 共 17 个源码文件点击文件名可在线查看源代码

1 ☕

htmlparse.java

大小: 172 B

📦 1、锁定某个主题抓取； 2、能够产生日志文本文件 - 免费下载

📋 资源详细信息

📄 资源简介

💻 源码文件列表

💾 立即下载此资源

📖 资源说明

📥 下载说明

📦 使用说明

🎁 积分获取

🏷️ 相关标签

🔗 相关资源推荐

1、锁定某个主题抓取； 2、能够产生日志文本文件 - 免费下载

资源简介

源码文件列表

立即下载此资源

资源说明

相关标签

相关资源推荐