A web crawler (also known as a web spider or web robot) is a program or automated script which browses the in a methodical, automated manner. Other less frequently used names for web crawlers are ants, automatic indexers, bots, and worms (Kobayashi and Takeda, 2000).来源。
标签: web automated crawler program
上传时间: 2016-02-01
上传用户:钓鳌牧马
Simple Web Spider - This spider can fetch weblink from a starting webpage.
标签: starting weblink webpage Simple
上传时间: 2016-06-03
上传用户:jqy_china
java web-spider out world program
标签: web-spider program world java
上传时间: 2013-12-21
上传用户:wpt
本文主要研究采用以太网接口芯片RTL8019AS和TCP/IP协议实现嵌入式WEB服务器,此服务器可以使各种带串口的工控设备和数据采集设备很容易地连接到Internet,这样就能够利用Internet实现对各种嵌入式设备的低成本远程访问和资源共享。 本研究实现的嵌入式WEB服务器以STC89C51系列单片机为核心,用其串口作为与嵌入式设备的接口,用RTL8019AS芯片和RJ-45作为以太网接口,并通过软件实现RS-232与TCP/IP协议的转换,通过以太网实现嵌入式设备与远程计算机之间的双向数据通信,给出了硬件设计和软件实现方案。硬件主要研究微控制器和以太网控制芯片之间的接口设计和以太网控制芯片RTL8019AS的驱动。软件部分研究实现了TCP/IP的各层协议,包含了ARP、IP、ICMP、UDP、TCP、HTTP等,在实际中得以应用,如对于蓄电池电压的远程检测等。 研究结果表明,利用嵌入式WEB服务器将嵌入式设备连入Internet网络是切实可行的。经实验测试整个系统占用资源少,成本较低、移植性较好,能够完成常用的相关网络通讯功能,网络数据传输可靠性较好。
上传时间: 2013-04-24
上传用户:liucf
近年来,监控系统从鲜为人知的幕后走进了前台、走进了人们的生活,监控技术己从第一代全模拟系统发展到第三代完全数字化的阶段。目前,随着微处理器技术和计算机网络技术的进步,基于嵌入式Web的网络视频监控系统逐渐得到了人们的广泛关注,以网络为基础的数字视频监控系统已经发展成为视频监控系统发展的主流。 本文在分析视频监控的现状和发展趋势之后,针对当前视频监控系统的不足,结合市场应用前景设计了一种较好的远程视频监控的应用方案。该方案是在当前非常流行的ARM微处理器上,利用强实时操作系统VxWorks与高性能开源的嵌入式Web服务器和嵌入式数据库相结合,建立高效的、可及时响应的嵌入式视频监控服务器,该系统支持USB摄像设备、文件存储、数据库管理,具有较高的性价比。 论文详细阐述了视频监控系统软硬件的总体设计,主要致力于嵌入式操作系统在S3C2410开发板上的移植,深入研究了闪存文件系统TFFS、以太网卡的工作机制、VxWorks USB协议栈,并实现了硬件上对应的驱动程序。在嵌入式操作系统成功实现后,完成了嵌入式Web服务器GoAhead和嵌入式数据库Berkeley DB的移植。同时,在软件层次上设计和实现了基于Web视频监控的前端服务CGI程序的功能模块。 本系统是ARM技术、VxWorks操作系统、网络技术在嵌入式领域的综合应用,本系统可应用于交通控制、实时探测、安全检查等领域,并对视频监控在其他领域的应用有一定的参考价值。
标签: ARMVxWorks Web 视频监控系统
上传时间: 2013-04-24
上传用户:fanghao
文章介绍了一个基于WEB的GSM短信服务系统的设计;阐述了系统应用的关键技术;讨论了系统实现的几种方式,通过对比这几种方式的优劣,提出一种适合中小型应用的系统实现方案。根据上述技术开发的GSM
上传时间: 2013-04-24
上传用户:manking0408
近年来,随着嵌入式系统的快速发展,越来越多的嵌入式设备被用于工业控制、智能家居等领域。同时伴随着网络技术的发展,嵌入式设备通过网络接入局域网或者Internet已经逐步成为发展的趋势。通过在嵌入式设备中内置Web服务器,用户可以在任何一台联网的计算机上通过浏览器来获取设备的信息,用户还可以通过网络对设备进行配置和管理。因此研究和开发嵌入式Web服务器具有重要的实际意义和应用价值。 本文在S3C44BOX开发板上使用μClinux操作系统作为开发平台,开发并实现了嵌入式Web服务器。文中提出了2种实现方案,一种是基于boa的嵌入式Web服务器,所做的主要工作是boa在gClinux中的移植和CGI的编写,在此基础上实现了动、静态页面的生成和简单的控制功能。另一种方案是基于HTTP协议和socket编程所开发的嵌入式Web服务器,在此方案中实现了HTTP协议的GET和POST请求方式,能够生成简单的动态页面,实现了历史数据的保存功能,还能够根据用户在浏览器端的请求进行相应的控制和管理。 论文首先对嵌入式Web服务器的体系结构进行了分析,然后介绍了S3C44BOX硬件开发平台,并分析了bootloader的基本原理和实现过程。随后对μClinux操作系统的特点和网卡驱动程序进行了分析,并着重介绍了μClinux的移植过程。在第五章,论文详细分析了TCP/IP和HTTP的原理和工作机制,并介绍了Web服务器中CGI的工作原理,最后分析了boa服务器的移植和CGI程序的编写以及Web服务器的测试等。在第六章,在HTTP协议分析和网络编程的基础上,提出了嵌入式Web服务器的设计思想、程序流程图,重点分析了Web服务器主程序流程、动态页面的生成、历史数据查询的实现等,也分析了Web服务器中各种控制功能的实现流程,最后给出了Web服务器的测试结果。
上传时间: 2013-05-17
上传用户:ice_qi
随着嵌入式技术和网络技术的发展,通过嵌入Web服务器来管理和控制设备成为嵌入式设备管理的一种发展趋势。越来越多的嵌入式系统将Web服务器引入其中,可方便有效地管理这些挂接在网络上的嵌入式设备,用户可以使用浏览器通过互联网来控制它们。本文所设计的嵌入式Web服务器就是基于HTTP协议和TCP/IP协议上的一种界面友好的Web服务器。 本文首先介绍了嵌入式Web系统的基本概念、历史和发展状况,同时阐述了设计及实现嵌入式Web服务器的关键技术和相关的理论基础。然后介绍了本系统的软硬件开发平台及其建立:选择了一款具有优秀网络性能并且开源的操作系统—uClinux,为其在宿主机上搭建开发和编译环境,并介绍了如何进行内核配置;确定使用以S3C44BOX为处理器的开发平台为系统硬件平台,并提出了嵌入式Web服务器的实现方案。本系统在boa服务器的基础上实现了动态Web技术,完成了真正的人机交互功能,用户可以通过Web浏览器监控嵌入式设备。为了实现用户对嵌入式产品数据进行更有效的管理,在基于ARM的嵌入式Web服务器中内嵌一小型数据库sqlite,用户能够借此在嵌入式产品中方便地插入、删除或修改数据,在服务器端应用程序中调用数据库提供的API函数完成服务器对数据库的访问与更新,进一步扩展嵌入式Web服务器的功能。为了使所设计的嵌入式Web服务器能动态保存少量的数据,本文对uClinux系统进行了适当的改动,实现了一个可读写的文件系统,使JFFS2文件系统在嵌入式Web服务器中得到应用。文章最后将该嵌入式Web服务器应用于智能家居管理,给出了智能家居管理数据库的设计及实现,并探讨了该嵌入式Web服务器潜在的应用前景。
上传时间: 2013-07-29
上传用户:shuiyuehen1987
·详细说明:书名:嵌入式系统Web服务器TCP-IPLean本书是一本TCP/IP网络的指导手册,书中不仅详细介绍了TCP/IP协议的原理,而且通过大量的源码展示TCP/IP协议和嵌入式系统中Web服务器的创建方法。
上传时间: 2013-07-19
上传用户:duoshen1989
·《嵌入式系统 Web 服务器:TCP/IP Lean》
上传时间: 2013-07-16
上传用户:han0097