初识爬虫
入门编程的小白们总是对计算机领域的各种“黑科技”感到好奇,其中“爬虫”对于小白来说算是一个高大上的技术,所以今天我将为大家揭开爬虫神秘的面纱,同时带领大家和我一起写一个简单爬虫小程序。下面就让我们我们一起来学习爬虫吧。
爬虫的定义
网络爬虫是一种按照一定的规则自动爬取爬取网络信息的程序或者脚本。简单来说,网络爬虫就是就是根据一定的算法实现编程开发,主要通过URL实现数据的抓取和发掘。
爬虫的类型和原理
通用爬虫又称全网爬虫,爬行对象从一些初始URL扩充到整个网站。其实现的原理如图:
增量式网络爬虫是指对已下载网页采取增量式更新和只爬行新产生或者已经发生变化的网页的爬虫,它能够在一定程度上保证所爬行的页面尽可能是新的页面。
深层网络爬虫是大部分内容不能通过静态URL获取的、隐藏在搜索表单后的、只有用户提交一些关键词才能获得的网络页面。
实践操作
在了解完了网络爬虫的原理我们下面就进入实战环节吧
运行程序后会在文件同级目录下生成爬取的文件。大家赶紧试试吧。
下周将为大家讲解urllib,并且将持续更新相关的爬虫文章哦,希望大家多多关注,一起点个赞吧。
END
主 编 | 张祯悦
责 编 | 官学琦