基于流水线负载平衡模型的并行爬虫研究
针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型(PLB),将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程
平面型技术资料下载专区,收录500份相关技术文档、开发源码、电路图纸等优质工程师资源,全部免费下载。
针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型(PLB),将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程
·摘要: 本文研制了一种低成本基于微处理器的经济型数据采集平台.完成了总体方案设计与数据采集平台各部分的硬件设计工作,对系统DSP最小系统,AD转换电路、以及系统显控和上位机通讯电路三部份进行了详细的设计,开发设计了基于微处理器...
·摘 要:近年来,随着角膜数学模型研究的深入,人们已经认识到角膜表面可用椭球面方程来描述。由于数学模型比较抽象,缺乏直观性,现有的角膜地形图仪也只能提供角膜的二维平面图,不具立体感。本研究在数学模型的基础上利用Matlab开发工具构建角膜三...
在云计算中,对大规模的资源提供一种安全有效的访问是其一个很重要的组成部分。在传统的分布式访问控制模型中,服务请求者将主体属性或能力等披露给提供资源者,访问控制决策完全取决于以资源请求者能力和安全策略为输入的一致性证明。但是,这些主体属性与能...
特点: 精确度0.05%滿刻度±1位數 可量測交直流電流/交直流电压/電位計/傳送器/Pt-100/热电偶/荷重元/電阻等信号 显示范围-19999-99999可任意规划 具有自动归零或保持或开根号或双显示功能 小数点可任意规...