1、锁定某个主题抓取; 2、能够产生日志文本文件,格式为:时间戳(timestamp)、URL; 3、抓取某一URL时最多允许建立2个连接(注意:本地作网页解析的线程数则不限) 4、遵守文明蜘蛛规则:必须分析robots.txt文件和meta tag有无限制;一个线程抓完一个网页后要sleep 2秒钟; 5、能对HTML网页进行解析,提取出链接URL,能判别提取的URL是否已处理过,不重复解析已crawl过的网页; 6、能够对spider/crawler程序的一些基本参数进行设置,包括:抓取深度(depth)、种子URL等; 7、使用User-agent向服务器表明自己的身份; 8、产生抓取统计信息:包括抓取速度、抓取完成所需时间、抓取网页总数;重要变量和所有类、方法加注释; 9、请遵守编程规范,如类、方法、文件等的命名规范, 10、可选:GUI图形用户界面、web界面,通过界面管理spider/crawler,包括启停、URL增删等
标签: 日志
上传时间: 2013-12-22
上传用户:wang5829
红外线遥控是目前使用最广泛的一种通信和遥控手段。由于红外线遥控装置具有体积小、功耗低、功能强、成本低等特点,因而,继彩电、录像机之后,在录音机、音响设备、空凋机以及玩具等其它小型电器装置上也纷纷采用红外线遥控。工业设备中,在高压、辐射、有毒气体、粉尘等环境下,采用红外线遥控不仅完全可靠而且能有效地隔离电气干扰。
上传时间: 2015-11-05
上传用户:watch100
先进飞机正朝着多电、全电方向发展,供电系统成为了未来飞机发展的关键。按照功能飞机供电系统分为电源系统和配电系统两大部分。先进配电系统由电源系统处理机(PSP)、电气负载管理中心(ELMC)、固态功率控制器(SSPC)和远程终端(RT)组成,实现飞机配电的智能化,其中电源系统处理机是配电系统的核心。
上传时间: 2015-11-10
上传用户:fnhhs
《Grid Computing: Making the Global Infrastructure a Reality》 由 Fran Berman、Geoffrey Fox 和 Tony Hey 共同编辑的这本书,由 Wiley 于 2003 年 3 月出版。这本大部头的书共 1000 多页,它包含了从各种科学与技术角度研究网格计算的文章和评论,其中包括:网格的历史、语义网格、网格体系结构的概述、网格部署模型、OGSA 和对等网格数据库等许多内容。
标签: Infrastructure Computing Geoffrey Reality
上传时间: 2015-11-12
上传用户:heart520beat
1、较复杂的数独游戏,多种难度; 2、优美的界面; 3、清晰的编码及注释;
标签:
上传时间: 2013-12-18
上传用户:duoshen1989
用凌阳SPCE061A在LCD上显示文字、图形 A0-A7连接LCD的DB0-DB7,B3、B4、B5连接LCD的A0、R/W、EP,LCD的CS可连接到DGND
上传时间: 2013-12-22
上传用户:2404
《数字信号处理技术的算法分析与应用》本书按照确定性信号、随机信号和时变信号的分析逐步展开,内容包括信号采样技术、数字滤波技术、傅里叶变换和应用、功率谱估计、多采样率信号处理、短时傅里叶变换和小波变换等。
上传时间: 2013-11-29
上传用户:baitouyu
長高44b0xi BIOS源碼 FS44B0II BIOS具有啟動、引導,下載、燒寫,設置日期、時間,設置工作頻率等多種功能,並且支持各種參數的存儲和自動調用。 可以用flashpgm等軟件將BIOS燒寫到Flash中去,BIOS的自身駐留地址位于NOR FLASH的0x1f0000處,系統參數保存在0x1ff000以上區域中。所以在燒寫完BIOS,上電復位后先要執一定要執行backup命令把BIOS本身拷貝到NOR FLASH的高端1f0000去。
上传时间: 2013-12-25
上传用户:ainimao
主要功能如下:1、不用注册也可以发言,注册的话保留用户名;2、可以设置多个管理员;3、两种留言显示方式:留言本式和讨论区式,并可进行固定设置;4、管理员可以删除、固顶、锁定、提前和反向操作留言;5、留言可选心情图标;6、发帖人IP记录,管理员可查看;7、注册用户可以修改自己的留言;8、留言可按留言主题、留言内容、回复内容、留言人进行搜索;9、可设置是否必须注册才能留言;10、可设置是否只能管理员或版主才能回复;11、可设置过滤词语;12、可设置被过滤词语后是否禁止该用户再次留言; 13、留言锁定功能,使锁定留言不能回复;14、可设定是否要经过认证才能显示留言;15、可同时对多个留言进行管理操作;16、用户可发悄悄话,只有该用户和管理员或版主才能查看;17、防灌水功能,可设置用户留言时间间隔;18、可禁止一些IP用户的留言;19、两级管理员,版主只有对留言管理的权力,管理员有所有权力;20、带计数器功能,可在留言板后台设置;21、多用户回复留言功能,类似微型论坛;22、图文编辑混排功能,强大的文本编辑器
标签:
上传时间: 2013-12-28
上传用户:zuozuo1215
对小学生算术加法程序的改进 具体要求如下: 1)、输入题数 2)、随机出题 3)、立即判对错,可随时退出 4)、最后给出总分 5、界面修饰。
上传时间: 2015-12-13
上传用户:lmeeworm