电脑桌面
添加蜗牛文库到电脑桌面
安装后可以在桌面快捷访问

3-11本章知识点复习与总结(1).pdfVIP免费

3-11本章知识点复习与总结(1).pdf_第1页
3-11本章知识点复习与总结(1).pdf_第2页
3-11本章知识点复习与总结(1).pdf_第3页
1.代理代理IP的选择和属性介绍的选择和属性介绍代理IP的类型非常多,这里指的是常见的几种类型,常见类型说明如下:静态IP:IP+端口动态IP:动态转发,随机帮你选择出口IP,按次数或者流量收费隧道IP:隧道周期计费,IP自行提取,时效自由在选择代理IP供爬虫使用的时候,要注意一下几个特殊的参考选项:1.IP总量:越多越好。1.IP量越多,则代理服务商的实力越强大。2.如果实在找不到,选择多个代理IP服务商是一样的。2.IP所在地区:越多越好。1.使用IP就是为了藏匿爬虫的地区信息,所以IP所在地区的可选择项越多越好。3.提取方式:通常是白名单或者账号密码验证。1.这个主要看爬虫的架构大小,以及提取IP的爬虫所在地区。2.账号密码是最保险的,但是也容易泄密。3.白名单是根据请求IP来定,所以白名单限制个数越多越好。4.IP质量:通常分为独享和共享,私有的肯定更贵,可用率也会非常的高。说到代理IP的质量,这里需要额外说明一下:1.代理IP的质量,在服务商那里,分三类,分别是共享、独享、物理主机【一台专有的服务器】2.独享和共享都说过了,私家车和公交车的概念,专属的价格,票价更贵。3.物理主机的IP,就是给你分享单独的一个物理主机,你可以使用这个主机的IP来做代理请求,价格是非常高的。4.同样,物理主机是最贵的,基本上就等于你买了个稳定的私有IP服务,但是主机你不能动。2.自建代理服务自建代理服务代理IP的来源,除了购买市面上的代理IP服务商的IP,还可以通过自建代理服务,来给自己的项目,提供专属IP服务。本章介绍的代理软件是Squid,Squid是一个高性能的代理缓存服务器。通过Docker版的Squid镜像,可以快速的搭建一个代理服务,给爬虫使用。首先搭建一个免密的squid代理服务,配置文件是参考资料的squid.conf,内容如下:aclallsrc0.0.0.0/0.0.0.0aclSSL_portsport443aclSafe_portsport80#httpaclSafe_portsport443#httpsaclCONNECTmethodCONNECThttp_accessallowallhttp_port3128visible_hostnameproxy将文件挂载到/etc/squid/squid.conf配置文件上即可。在配置加密的squid代理服务时,需要额外的配置一个加密文件squid_passwd。且配置文件也要进行更新,其中允许全部的配置就要做一个关闭,而且还得指定特定的账号密码文件,做账号密码的认证处理。详见参考资料里面的squi_pass.conf。3.代理代理IP池技术方案池技术方案1单个的代理IP服务,直接使用squid即可。但是IP池管理系统,就需要大量的代理IP,以及一个管理分发...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

蜗牛文库的最新文档

二年级数学下册其中检测卷二年级数学下册其中检测卷附答案#期中测试卷.pdf
10.00金币
0下载
二年级数学下册期末质检卷(苏教版)二年级数学下册期末质检卷(苏教版)#期末复习 #期末测试卷 #二年级数学 #二年级数学下册#关注我持续更新小学知识.pdf
10.00金币
0下载
二年级数学下册期末混合运算专项练习二年级数学下册期末混合运算专项练习#二年级#二年级数学下册#关注我持续更新小学知识 #知识分享 #家长收藏孩子受益.pdf
10.00金币
1下载
二年级数学下册年月日三类周期问题解题方法二年级数学下册年月日三类周期问题解题方法#二年级#二年级数学下册#知识分享 #关注我持续更新小学知识 #家长收藏孩子受益.pdf
10.00金币
0下载
二年级数学下册解决问题专项训练二年级数学下册解决问题专项训练#专项训练#解决问题#二年级#二年级数学下册#知识分享.pdf
10.00金币
1下载
二年级数学下册还原问题二年级数学下册还原问题#二年级#二年级数学#关注我持续更新小学知识 #知识分享 #家长收藏孩子受益.pdf
10.00金币
1下载
二年级数学下册第六单元考试卷家长打印出来给孩子测试测试争取拿到高分!#小学二年级试卷分享 #二年级第六单考试数学 #第六单考试#二年级数学下册.pdf
10.00金币
0下载
二年级数学下册必背顺口溜口诀汇总二年级数学下册必背顺口溜口诀汇总#二年级#二年级数学下册 #知识分享 #家长收藏孩子受益 #关注我持续更新小学知识.pdf
10.00金币
0下载
二年级数学下册《重点难点思维题》两大问题解决技巧和方法巧算星期几解决周期问题还原问题强化思维训练老师精心整理家长可以打印出来给孩子练习#家长收藏孩子受益 #学霸秘籍 #思维训练 #二年级 #知识点总结.pdf
10.00金币
0下载
二年级数学下册 必背公式大全寒假提前背一背开学更轻松#二年级 #二年级数学 #二年级数学下册 #寒假充电计划 #公式.pdf
10.00金币
0下载
蜗牛文库+ 关注
实名认证
内容提供者

提供各种专业文档内容

确认删除?
QQ
  • QQ点击这里给我发消息
微信客服
  • 微信客服
回到顶部