所谓爬虫,就是通过编写程序获取互联网上的资源!
1.导入Python包
打开PyCharm,导入Python包,具体代码如下所示:
from urllib.request import urlopen
就是在urllib库中找到request库,从request库中导入urlopen
2.得到相应
导入Python包后,需要确定要爬取的网址,这里以爬取百度为例,然后可以用urlopen从请求路径中得到相应,具体代码如下所示:
# 确定要爬取网址的路径
url = "http://"
# 访问网址得到相应
resp = urlopen(url)
3.解析主体内容并保存到文件
我们直接从上一步得到的是内容字节,需要字节转字符串,因此我们需要对得到的响应进行解码并保存到文件中,并且要防止中文乱码!具体代码如下所示:
with open("mybaidu.html", mode="w", encoding="utf-8") as f:
f.write(resp.read().decode("utf-8")) # 从响应中读取到页面源代码
print("保存结束")
4.展示爬取效果
执行前三步后,便将百度中爬取的主体内容保存到同级目录下的mybaidu.html中,我们直接点击进入该文件,右键执行即可看见百度官网的样式,看路径可以发现,这个不是百度官网的url,而是我们的项目路径具体如下所示:
5.展示全部代码
# 需求:用程序模拟浏览器,输入一个网址,从该网址中获取到资源或者内容
from urllib.request import urlopen
# 确定要爬取网址的路径
url = "http://"
# 访问网址得到相应
resp = urlopen(url)
# 想得到内容
# decode 就是为了解码,以utf-8的形式解码
# print(resp.read().decode("utf-8"))
with open("mybaidu.html", mode="w", encoding="utf-8") as f:
f.write(resp.read().decode("utf-8")) # 从响应中读取到页面源代码
print("保存结束")