前几天在交流群问了一个Python
网络爬虫的问题,提问截图如下:
其实这个就是在抓知乎,知乎上是有反爬的,而且是那种JS加密的,属于有点难度的了。
二、实现过程
他需要爬这个小说所有章节名,id
号。
这里【甯同学】给了一个代码,后来发现是粉丝自己在请求的时候参数不全,导致没拿到数据。
知乎的请求参数中确实是有一个参数是加密的了。
关于知乎抓取,一般我推荐使用八爪鱼,另外就是使用补环境的方法,把加密的JS文件单独放本地,然后去发起请求。这个代码网上倒是挺多的,应该还是可以用的。
三、总结
这篇文章主要盘点了一个Python
网络爬虫的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。