本资源包含 17 个源码文件 支持在线预览，点击文件名即可查看
温馨提示：点击文件名或"查看源码"按钮可在线浏览源代码，支持语法高亮显示。
资源详细信息
1、锁定某个主题抓取； 2、能够产生日志文本文件 - 资源详细说明
1、锁定某个主题抓取；
2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL；
3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限）
4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟；
5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页；
6、能够对spider/crawler程序的一些基本参数进行设置，包括：抓取深度(depth)、种子URL等；
7、使用User-agent向服务器表明自己的身份；
8、产生抓取统计信息：包括抓取速度、抓取完成所需时间、抓取网页总数；重要变量和所有类、方法加注释；
9、请遵守编程规范，如类、方法、文件等的命名规范，
10、可选：GUI图形用户界面、web界面，通过界面管理spider/crawler，包括启停、URL增删等
1、锁定某个主题抓取； 2、能够产生日志文本文件 - 源码文件列表
立即下载 1、锁定某个主题抓取； 2、能够产生日志文本文件
提示：下载后请用压缩软件解压，推荐使用 WinRAR 或 7-Zip
下载说明与使用指南
下载说明
- 本资源需消耗 2积分
- 24小时内重复下载不扣分
- 支持断点续传功能
- 资源永久有效可用
使用说明
- 下载后使用解压软件解压
- 推荐使用 WinRAR 或 7-Zip
- 如有密码请查看资源说明
- 解压后即可正常使用
积分获取方式
- 上传优质资源获得积分
- 每日签到免费领取积分
- 邀请好友注册获得奖励
- 查看详情 →