虫虫开发者 虫虫开发者 电子工程与源码社区
热门搜索： STM32 开关电源 FPGA 51单片机 电路图 Altium Modbus 热搜词库 »
上传资料
已收录 669,824 份工程资料
技术文档 Java编程 人工审核无毒

1、锁定某个主题抓取； 2、能够产生日志文本文件

所属分类 Java编程
文件大小 1868 K
文件格式 RAR 文件
累计下载 77 次
分享作者
发布日期

资料详细技术说明

1、锁定某个主题抓取； 2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL； 3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限） 4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟； 5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页； 6、能够对spider/crawler程序的一些基本参数进行设置，包括：抓取深度(depth)、种子URL等； 7、使用User-agent向服务器表明自己的身份； 8、产生抓取统计信息：包括抓取速度、抓取完成所需时间、抓取网页总数；重要变量和所有类、方法加注释； 9、请遵守编程规范，如类、方法、文件等的命名规范， 10、可选：GUI图形用户界面、web界面，通过界面管理spider/crawler，包括启停、URL增删等

压缩包内文件清单（共 12 个文件）

已自动扫描归档包内目录结构与文件清单 源码与文本文档支持点击「在线阅读」，二进制/媒体文件请下载压缩包后使用
1 FILE
htmlparse.java 172 B
包内组件
2 FILE
日志文件[money.163.com].rar 41.7 KB
包内组件
3 FILE
日志文件[www.scut.edu.cn].rar 19.3 KB
包内组件
4 FILE
spider.java 25 KB
包内组件
5 FILE
ispiderreportable.java 274 B
包内组件
6 FILE
tforeign_u8.txt 781 B
包内组件
7 FILE
sforeign_u8.txt 755 B
包内组件
8 FILE
tnotname_u8.txt 188 B
包内组件
9 FILE
snumbers_u8.txt 246 B
包内组件
10 FILE
ssurname_u8.txt 1.7 KB
包内组件
11 FILE
tsurname_u8.txt 1.7 KB
包内组件
12 FILE
tnumbers_u8.txt 245 B
包内组件

相关Java编程资料推荐

下载与解压说明

下载积分规则

  • 本资源下载仅需 2 积分
  • 24 小时内重复下载免扣积分
  • VIP 会员享专属免积分高速通道

文件解压指南

  • 推荐使用 7-Zip 或新版 WinRAR 解压
  • 原理图与 PCB 请使用对应 EDA 软件打开
  • 压缩包内源码可直接在上方在线预览

免费获取积分