比较全的dx.jar，从csdn花钱下载来的，比较稀有
上传时间： 2019-05-04
上传用户：sovaint
以后再也不用担心写爬虫ip被封，不用担心没钱买代理ip的烦恼了 在使用python写爬虫时候，你会遇到所要爬取的网站有反爬取技术比如用同一个IP反复爬取同一个网页，很可能会被封。如何有效的解决这个问题呢？我们可以使用代理ip，来设置代理ip池。 现在教大家一个可获取大量免费有效快速的代理ip方法，我们访问西刺免费代理ip网址 这里面提供了许多代理ip，但是我们尝试过后会发现并不是每一个都是有效的。所以我们现在所要做的就是从里面提供的筛选出有效快速稳定的ip。 以下介绍的免费获取代理ip池的方法： 优点：免费、数量多、有效、速度快 缺点：需要定期筛选 主要思路： 从网址上爬取ip地址并存储 验证ip是否能使用-（随机访问网址判断响应码） 格式化ip地址 代码如下： 1.导入包 import requests from lxml import etree import time 1 2 3 2.获取西刺免费代理ip网址上的代理ip def get_all_proxy(): url = 'http://www.xicidaili.com/nn/1' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36', } response = requests.get(url, headers=headers) html_ele = etree.HTML(response.text) ip_eles = html_ele.xpath('//table[@id="ip_list"]/tr/td[2]/text()') port_ele = html_ele.xpath('//table[@id="ip_list"]/tr/td[3]/text()') proxy_list = [] for i in range(0,len(ip_eles)): proxy_str = 'http://' + ip_eles[i] + ':' + port_ele[i] proxy_list.append(proxy_str) return proxy_list 1 2 3 4 5 6 7 8 9 10 11 12 13 14 3.验证获取的ip def check_all_proxy(proxy_list): valid_proxy_list = [] for proxy in proxy_list: url = 'http://www.baidu.com/' proxy_dict = { 'http': proxy } try: start_time = time.time() response = requests.get(url, proxies=proxy_dict, timeout=5) if response.status_code == 200: end_time = time.time() print('代理可用：' + proxy) print('耗时:' + str(end_time - start_time)) valid_proxy_list.append(proxy) else: print('代理超时') except: print('代理不可用--------------->'+proxy) return valid_proxy_list 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 4.输出获取ip池 if __name__ == '__main__': proxy_list = get_all_proxy() valid_proxy_list = check_all_proxy(proxy_list) print('--'*30) print(valid_proxy_list) 1 2 3 4 5 技术能力有限欢迎提出意见，保证积极向上不断学习 ———————————————— 版权声明：本文为csdn博主「彬小二」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/qq_39884947/article/details/86609930
上传时间： 2019-11-15
上传用户：fygwz1982
C算法(第一卷)-带目录.pdfC语言数值算法程序大全（第二版）.pdfC语言经典算法大全.pdfff6f5d529e875d2bec2713adc98d25b477aa8a63.pdfIntroduction to Algorithms(3rd Edition).pdfMATLAB语言常用算法程序集.pdfNetflix Prize中的协同过滤算法.pdfp范数正则化支持向量机分类算法_刘建伟.pdf[数据结构与算法分析C.描述].(美国)Mark.Allen.Weiss.扫描版.pdf[程序语言的奥妙：算法解读（四色全彩）].(杉浦贤).李克秋.扫描版.pdf《算法导论(原书第3版)》.pdf【爱生活的程序员-气宗】算法导论（第三版）.pdf【算法（第4版）迷你书】.pdf一种基于灰度变换的红外图像增强算法.pdf一种改进的支持向量机的文本分类算法.pdf一种静态图像压缩编码算法的改进.pdf个性化搜索引擎推荐算法研究.pdf分布式计算——原理、算法和系统.pdf十五个经典算法研究与总结、目录+索引by_July (1).pdf十五个经典算法研究与总结、目录+索引by_July.pdf十大滤波算法程序大全（Arduino精编无错版） - Powered by Discuz!.pdf图论及其算法.pdf基于模拟退火与遗传算法结合的神经网络图像分割.pdf大数据算法.PDF嵌入式系统软件设计中的常用算法 （周航慈 清晰.pdf支持向量机通俗导论（理解SVM的三层境界） - 结构之法 算法之道 - 博客频道 - csdn.pdf支持向量机：理论、算法与拓展.pdf改进的基于DCT的自适应水印算法(重要).pdf数学建模MATLAB算法大全.pdf数学建模竞赛中应当掌握的十类算法.pdf数据挖掘十大算法(英).pdf数据结构与算法分析 C++描述(高清非扫描).pdf最优化理论与算法(第2版).pdf机器学习十大算法(9)：朴素贝叶斯.pdf算法 英文版第4版 Robert Sedgewick .pdf.pdf算法(algorithm)手写代码必备手册(C++版).pdf算法导论(CLRS)笔记.p...
标签： 算法
上传时间： 2022-06-06
上传用户：
估计是全站唯一高清《微电子电路》中文第五版，对刚csdn百元会员费。因为文件100m以上，所以分多批上传。上册part1：http://dl.21ic.com/download/1565416017-314802.html part2：http://dl.21ic.com/download/5-314803.html part3：http://dl.21ic.com/download/5-314804.html 下册： http://dl.21ic.com/download/5-314805.html
上传时间： 2022-07-03
上传用户：
估计是全站唯一高清《微电子电路》中文第五版，对刚csdn百元会员费。因为文件100m以上，所以分多批上传。上册part1：http://dl.21ic.com/download/1565416017-314802.html part2：http://dl.21ic.com/download/5-314803.html part3：http://dl.21ic.com/download/5-314804.html 下册： http://dl.21ic.com/download/5-314805.html
上传时间： 2022-07-03
上传用户：
估计是全站唯一高清《微电子电路》中文第五版，对刚csdn百元会员费。因为文件100m以上，所以分多批上传。上册part1：http://dl.21ic.com/download/1565416017-314802.html part2：http://dl.21ic.com/download/5-314803.html part3：http://dl.21ic.com/download/5-314804.html 下册： http://dl.21ic.com/download/5-314805.html
上传时间： 2022-07-03
上传用户：
估计是全站唯一高清《微电子电路》中文第五版，对刚csdn百元会员费。因为文件100m以上，所以分多批上传。上册part1：http://dl.21ic.com/download/1565416017-314802.html part2：http://dl.21ic.com/download/5-314803.html part3：http://dl.21ic.com/download/5-314804.html 下册： http://dl.21ic.com/download/5-314805.html
上传时间： 2022-07-03
上传用户：
最近一段时间除了学习Qt，翻译Qt文档之外，由于工作和兴趣的原因，开始着手看Qt OpenGL编程。在网上搜索了有关OpenGL的教程，发现NeHe的OpenGL教程的还很不错，作者是NeHe。上面有很多种语言的实现，但是没有Qt和Gtk的，所以我就想着手写这个Qt OpenGL教程，每课的内容和NeHe是一样的。另外，介绍NeHe的一个中文翻译站点csdn-CKer翻译的NeHe的OpenGL教程，翻译人是CKer，在我学习这个教程的过程中，给了我很大的帮助。下面就是Qt OpenGL教程的内容：Qt OpenGL的准备工作因为本教程是从NelHe的OpenGL教程迁移过来的，代码变为Qt实现的。所以有的课程一时还没有实现成功，所以可能有些教程是跳跃的。因本人时间有限，所以难免有错误出现，如果您发现了这些错误，或者有什么建议，请来信指教，谢谢。
上传时间： 2022-07-25
上传用户：
