课程知识总结Courseknowledgesummary第2节(⽹络爬⾍下载器)L2⽹络爬⾍⽹络爬⾍:按照⼀定的规则,⾃动下载互联⽹信息的程序。⽹络下载功能⽹络请求模块:urllib.request⽹络下载功能:urlretrieve参数:1下载⽂件的⽹址2保存的⽂件名importurllib.requestasrequrl='http://show.ybccode.com/emojis1/0.gif'p='爱你.gif'req.urlretrieve(url,p)例如:str功能转成字符串功能有限循环的设置打印5次“我们最棒!”Google与⽹络爬⾍我们知道,⽹络爬⾍是⼀段可以帮助我们⾃动下载⽹络信息的程序。⾕歌搜索引擎的设计师就是利⽤⽹络爬⾍的这种能⼒,来下载⼀个⽹⻚上⾯的所有信息,然后⽤程序浏览⻚⾯上的内容,找到⽹⻚中的那些指向其他⽹站的链接,然后再通过链接进⼊新的⽹⻚,继续下载新的⽹⻚内容,寻找链接。⽣活中,我们经常会⽤到搜索引擎查询信息。⽐如,当我们想查询⼀⾸优美的古诗,我们可以在搜索框中输⼊古诗的名字,点击搜索,和这⾸诗相关的⽹⻚链接就出现了,我们可以点击链接,进⼊⽹⻚,就可以看到内容了,往往排在越靠前的链接被⽤的越多,内容也越好。⾕歌公司(Google)是全球最有名的搜索引擎公司,它的搜索引擎⾮常厉害,⼈们都觉得⾮常好⽤。其实,⾕歌的搜索引擎就运⽤了我们学到的⽹络爬⾍技术。通过这种⽅式,我们发现,⽹⻚之间是相互联系的,⼀个⽹⻚可以把我们引到另⼀个⽹⻚上。这种现象可以看作是⼀种推荐。就好像我们总喜欢把⾃⼰觉得好的东⻄推荐给别⼈,⽽不会把坏东⻄分享出去。同样的道理,⽤户⼀般会把认为有⽤的⽹⻚链接放在⽹上,分享给别⼈。分享的⼈越多,意味着这个⽹⻚越好,越有⽤。💦💦为了让搜索结果更好⼀些,还设定有加分项。如果是被有名⽓、⼝碑好的⽹站推荐,那我们就认定被推荐的⽹⻚或⽹站更可靠,给它加分,让它的排名更靠前⼀些。这就像我们都更喜欢听取⽐⾃⼰更聪明、更厉害的⼈给的建议⼀样,他们的推荐往往⽐其他⼈更有分量。利⽤最基础的⽹络爬⾍技术,以及对⼈们偏好的细⼼观察,就可以做出厉害的程序,让我们的⽣活更便利!这书写的真不错,壮猿也读读看吧!妈妈最爱看书了,她推荐的肯定不错!利⽤⼈们的使⽤偏好与分享规律,⾕歌的搜索引擎帮助我们把被推荐最多的链接放在搜索结果的最前⾯,增加让更多⼈看到的机会,这就是⾕歌搜索引擎的与众不同之处。