1、锁定某个主题抓取; 2、能够产生日志文本文件,格式为:时间戳(timestamp)、URL; 3、抓取某一URL时最多允许建立2个连接(注意:本地作网页解析的线程数则不限) 4、遵守文明蜘蛛规则:必须分析robots.txt文件和meta tag有无限制;一个线程抓完一个网页后要sleep 2秒钟; 5、能对HTML网页进行解析,提取出链接URL,能判别提取的URL是否已处理过,不重复解析已crawl过的网页; 6、能够对spider/crawler程序的一些基本参数进行设置,包括:抓取深度(depth)、种子URL等; 7、使用User-agent向服务器表明自己的身份; 8、产生抓取统计信息:包括抓取速度、抓取完成所需时间、抓取网页总数;重要变量和所有类、方法加注释; 9、请遵守编程规范,如类、方法、文件等的命名规范, 10、可选:GUI图形用户界面、web界面,通过界面管理spider/crawler,包括启停、URL增删等
资源简介:1、锁定某个主题抓取; 2、能够产生日志文本文件,格式为:时间戳(timestamp)、URL; 3、抓取某一URL时最多允许建立2个连接(注意:本地作网页解析的线程数则不限) 4、遵守文明蜘蛛规则:必须分析robots.txt文件和meta tag有无限制;一个线程抓完一个网页...
上传时间: 2013-12-21
上传用户:wang5829
资源简介:在V1.42版本基础上进行了如下更新: 1、解决以前版本的BUG; 2、制作双文章系统(文章及教程,后台可自由关闭其中一个系统,默认教程系统关闭); 3、设置20多个标签,可在任何页面、任何部位调用,使FeitecCMS Free成为了一个积木式的程序,为风格制作...
上传时间: 2013-12-30
上传用户:siguazgb
资源简介:1、手持设备机器人——应用端; 2、基于蓝牙传输;
上传时间: 2013-12-02
上传用户:bruce
资源简介:level set及PDE方法处理图形图像 包括三个部分:1、level set理论基础介绍;2、数值离散化方法 3、应用 每一部分配有详细的图表说明,并给出了多篇参考文献(其中很多涉及到“三维物体修复”)
上传时间: 2015-12-31
上传用户:脚趾头
资源简介:使用源码注意项: 1、Windows2000 Professional SP3、DELPHI 6.0、SQL Server2000的开发环境; 2、开发目录为:D:PieceRate,数据库备份存放于Data目录中,还原SQL Server后名为PieceRate; 3、目前客户3站点在使用,初次运行时服务器名、客户机名的设置大家...
上传时间: 2017-01-28
上传用户:yiwen213
资源简介:1、 定义栈的存储结构。 2、 编写程序实现双向栈的基本操作:1)初始化;2)判断栈是否为空;3)判断栈是否已满;4)入栈;5)出栈;6)清空栈;7)取栈顶元素。 3、 所写源代码编程风格良好,有详细注释。 4、 程序运行界面良好,使用菜单实现每个基本操...
上传时间: 2013-12-13
上传用户:exxxds
资源简介:linux下很好的截图工具。 抓取整个桌面、某个指定的窗口、以及选择的矩形区域。
上传时间: 2014-12-08
上传用户:sxdtlqqjl
资源简介:计数排序是一个非基于比较的线性时间排序算法。它对输入的数据有附加的限制条件: 1、输入的线性表的元素属于有限偏序集S; 2、设输入的线性表的长度为n,|S|=k(表示集合S中元素的总数目为k),则k=O(n)。 在这两个条件下,计数排序的复杂性为O...
上传时间: 2015-10-29
上传用户:chenxichenyue
资源简介:1、编制程序显示印章图像(24位真彩色位图); 2、读出位图中每一像素点的(R,G,B)样本值; 3、以RGB其中某两个(或三个)为坐标,取一定数量的图像点为分析样本,分析其坐标系中的分布; 4、采用本章学习的方法找到分类判别函数,对这些样本进行分类;...
上传时间: 2016-11-03
上传用户:zhangjinzj
资源简介:包括: 1、校内新闻:发表有关本校的校内新闻; 2、视听平台:管理员可以从后台添加FLASH、Mp3、RM、 WAV、MID、asf、mpg等音乐、影视、动画文件; 3、软件下载:当前流行的或需要的一些软件提供的下载; 4、精萃美文:本校师生投稿或从网上摘录的一...
上传时间: 2017-01-13
上传用户:rocwangdp
资源简介:奇数N 阶魔方阵问题: 奇数N 阶魔方阵的构造规则如下: 1、在第一行的正中间填入1; 2、如果左上角能够移动,则往左上角填入后继的数;如果左上角不 能移动,则顺移到该列最下方左边的一列中最靠近该列的位置; 3、如果左上角不能移动,同时在该列位置的最下...
上传时间: 2015-02-14
上传用户:lyy1234
资源简介:应用Delphi开发的GPS程序。DSC(Data Service Center)用来接收和处理DTU发送过来的数据 本DSC DEMO包括三部分功能: 1、 作为数据服务中心的功能; 2、 注册功能; 3、 短信功能;
上传时间: 2013-12-12
上传用户:李彦东
资源简介:1、由浅入深的介绍领先的asp.net技术; 2、坚实的基础知识阐述,是读者进入.net技术的必经之门; 3、理论与实践相结合的典范,大量的例子详细地阐明每一个技术重点; 4、详细的数据库访问、操作说明和例子; 5、详细的高级应用、Web Service等技术带领你...
上传时间: 2013-12-31
上传用户:cc1015285075
资源简介:1、 进一步掌握和利用C语言进行程序设计的能力; 2、 进一步理解和运用结构化程设计的思想和方法; 3、 初步掌握开发一个小型实用系统的基本方法;
上传时间: 2014-01-12
上传用户:皇族传媒
资源简介:完善字符串类的运算符功能 1、 利用运算符重载完善字符串类的运算符功能。如: 串+整数;整数+串;浮点数+串;串-串;串/串 等; 2、 编制一个带菜单的小系统,演示该类的运算符操作。
上传时间: 2015-06-11
上传用户:ecooo
资源简介:主要内容:1、GNU/Linux编程工具的使用;2、系统编程;3、进程,TCP/IP编程;4、用户接口编程。
上传时间: 2015-06-11
上传用户:caixiaoxu26
资源简介:功能介绍: 1、支持文章内容分页采集; 2、支持UTF-8转换到GB2312,可采集内容字符格式为UTF-8的目标; 3、支持把文章内容保存到本地; 4、支持站点+栏目管理方式,使采集管理一目了然; 5、支持文章链接替换功能; 6、支持采集器设置无限过滤功能; ...
上传时间: 2014-01-07
上传用户:熊少锋
资源简介:1、全面展示宾馆的自然情况和服务内容; 2、介绍宾馆信息,帮助客人了解宾馆相关信息; 3、为客户提供宾馆所在地旅游景点的详细信息; 4、向客户全面提供宾馆客服信息; 5、实现网上在线定房业务,方便客人订房; 6、实现留言板功能,客人可以随时通过...
上传时间: 2015-09-05
上传用户:anng
资源简介:预算成本管理系统需求框架 1、 做好年度各预算项目的编制、审批、落实、汇总各环节; 2、 对相关单位的年度预算在年内各月的落实情况进行控制;对于需要签订维护合同的跟踪进度, 3、 掌握分析各专业各类预算成本的历年变化情况; 4、 根据年度各预算的相...
上传时间: 2014-08-27
上传用户:yimoney
资源简介:matlab绘图教程(1、 学习MATLAB的各种二维绘图; 2、 学习MATLAB的三维绘图; 3、 MATLAB的绘图修饰; 4、 基本句柄绘图操作。 )
上传时间: 2014-01-19
上传用户:wangdean1101
资源简介:系统特点: 1、可自设网站栏目、文章分类; 2、提供用户注册、审核模块(可选是否开放); 3、提供HTML和Ajax两种版本;Ajax版本子页面不含Google广告栏。 4、主页文章分类采用Ajax技术,无刷新页面,速度更快; 5、提供留言模块,以及游客留言(均可...
上传时间: 2013-12-17
上传用户:thesk123
资源简介:1、数独游戏源代码; 2、简单; 3、容易Porting到嵌入式设备;
上传时间: 2013-12-31
上传用户:whenfly
资源简介:1、手持设备的机器人--服务器端; 2、通过蓝牙通讯;
上传时间: 2014-01-19
上传用户:yyq123456789
资源简介:1、利用SQL Server2000+delphi完成的药品进存销管理系统; 2、系统功能:用户管理、进货商管理、销售商管理、进货销售管理、财务管理等,并且可以绘制年度销售曲线 3、可在此基础上开发或扩展类似数据库系统,修复某些教程源码的BUG
上传时间: 2016-01-19
上传用户:李彦东
资源简介:学生学籍管理系统(B/S)的设计与开发主要实现以下功能1.学生基本信息的管理; 2、学生增减; 3、课程管理:课程的增加、修改、删除、查询等; 4、基础数据管理.
上传时间: 2013-12-23
上传用户:二驱蚊器
资源简介:中科院开源的ictprop源码,使用方法: 1、修改源码中的InputComboBox.cpp文件 InvokeAction里面的txt文件路径换成你的本地路径; 2、入口在帮助里面,先G_A,再G_B,然后P;结果就出来了,那几个子窗口不要关了,就可以看到句子的分析结果; 注:InvokeActi...
上传时间: 2013-12-24
上传用户:851197153
资源简介:本设计是一个简单的行编辑器。它主要能实现五个主要内容: 1、字符的按行录入及储存;2、文件内容的显示;3、文件内容的查找;4、文件内容的替换5、文件的修改。 设计按数标准I/O下文件系统软件工程的方法进行,系统应具有良好的界面、必要的交互信息和较好...
上传时间: 2016-02-27
上传用户:朗朗乾坤
资源简介:1、能够方便的管理多个页面不同类型的多个投票; 2、投票类型丰富,能够创建多选或单选的普通投票、图片投票、调查问卷、多类型混合等多种类型的投票;
上传时间: 2014-01-26
上传用户:wangyi39
资源简介:主要功能与特点: 1、本站个人主页是一个多功能的主页系统; 2、它有添加、修改、删除作品、相片、歌曲、日记等功能; 3、还可以添加flash、电影等,实现在线播放; 4、基本信息设置功能; 5、图片、flash上传功能(支持jpg、gif、swf); 6、显示、隐藏功能...
上传时间: 2013-12-23
上传用户:ANRAN
资源简介:1、通过串口连接手机或短信终端发送短信; 2、内置Access数据库,建立通讯录; 3、通讯录与短信发送整合;
上传时间: 2016-04-03
上传用户:徐孺