「Python」爬虫实战,零基础初试爬虫下载图片

2022-03-13 00:31栏目:互联网
TAG:

爬虫,全称网络爬虫,就是通过技术手段从网络获取数据的程序或者脚本

人生苦短,我选python。本次就用python来进行实现对一个壁纸网站的图片下载

本篇文章就是直接爬虫实战。通过本文,带你了解requests库的基本使用,并且完成壁纸网站的图片爬取

Requests库是python一个很好用的http请求库。封装得很好~在我们爬虫的时候常常也会用到。

Requests的官方介绍说到,让HTTP服务人类。有一说一,这是个非常容易使用的库。本次咱们的爬虫也会用到这个库。

关于requests库的介绍,可以看一下官方文档

Requests: 让 HTTP 服务人类 - Requests 2.18.1 文档

使用前记得安装requests库

pip install requests

进入目标网站

随便点开一张图,查看它的url,

先留意一下这个网址,后面会用到

回到浏览器,打开F12,通过目标元素检查工具,点击刚刚我们点过的图片。通过它的元素我们可以知道a标签里的属性值href的链接就是上面我们访问图片的链接地址

我们在大图的页面,同样用f12点击一下,找到图片的链接地址

访问图片链接发现是咱们要的大图。至此,对于网站的分析完毕。

综上所述,咱们目标网站是一个壁纸图片网站,编程做到的步骤如下:

访问首页定位到每个图片的详情链接访问详情链接定位到图片对应的大图链接。下载,保存图片

看起来是不是很容易,开干

4.1 访问首页

url =open(index.html, wb) as f:

通过requests库发起get请求,请求壁纸网站的首页。并把结果保存在index.html文件里面

打开保存的文件一看,我们把首页给下载下来了。

4.2 定位元素

这里我们通过xpath方式。这里用到的是lxml库。不懂lxml库的话,参考下文

【Python】爬虫解析利器Xpath,由浅入深快速掌握(附源码例子)

PS:谷歌渲染的页面的xpath和requests请求回来的xpath会有不一样。有时需要保存下来进行xpath分析

对于元素进行定位。把a标签的href值全部拿出来,而且也把对应的名称取出来

tree = etree.HTML(resp.content)node_list = tree.xpath(/html/body/div[2]/div[2]/div[3]/ul/li)if len(node.xpath(./a/@href)) > 0:sub_url = node.xpath(./a/@href)[0]if len(node.xpath(./a/@href)) > 0:title = node.xpath(./a/b/text())[0]sub_url_list.append((sub_url, title))

4.3 访问详情页

base_url =sub_url, title in sub_url_list:s_page = base_url + sub_urls_resp = requests.get(s_page)with open(s.html, wb) as f:xxxxxxxxxxbr base_url =sub_url, title in sub_url_list:s_page = base_url + sub_urls_resp = requests.get(s_page)with open(s.html, wb) as f:

4.4 定位图片链接并下载

img = s_tree.xpath(/html/body/div[2]/div[2]/div[3]/div/p/a/img/@src)[0]suffix = img.split(.)[-1]img_content = requests.get(img).contentwith open(f./image/{title}.{suffix}, wb) as f:xxxxxxxxxxbr img = s_tree.xpath(/html/body/div[2]/div[2]/div[3]/div/p/a/img/@src)[0]suffix = img.split(.)[-1]img_content = requests.get(img).contentwith open(f./image/{title}.{suffix}, wb) as f:

下载完效果图

4.5 完整源码

if __name__ == __main__:url =open(index.html, wb) as f:tree = etree.HTML(resp.content)node_list = tree.xpath(/html/body/div[2]/div[2]/div[3]/ul/li)if len(node.xpath(./a/@href)) > 0:sub_url = node.xpath(./a/@href)[0]if len(node.xpath(./a/@href)) > 0:title = node.xpath(./a/b/text())[0]sub_url_list.append((sub_url, title))base_url =sub_url, title in sub_url_list:s_page = base_url + sub_urls_resp = requests.get(s_page)s_tree = etree.HTML(s_resp.content)img = s_tree.xpath(/html/body/div[2]/div[2]/div[3]/div/p/a/img/@src)[0]suffix = img.split(.)[-1]img_content = requests.get(img).contentwith open(f./image/{title}.{suffix}, wb) as f:xxxxxxxxxxbr if __name__ == __main__:url =open(index.html, wb) as f:tree = etree.HTML(resp.content)node_list = tree.xpath(/html/body/div[2]/div[2]/div[3]/ul/li)if len(node.xpath(./a/@href)) > 0:sub_url = node.xpath(./a/@href)[0]if len(node.xpath(./a/@href)) > 0:title = node.xpath(./a/b/text())[0]sub_url_list.append((sub_url, title))base_url =sub_url, title in sub_url_list:s_page = base_url + sub_urls_resp = requests.get(s_page)s_tree = etree.HTML(s_resp.content)img = s_tree.xpath(/html/body/div[2]/div[2]/div[3]/div/p/a/img/@src)[0]suffix = img.split(.)[-1]img_content = requests.get(img).contentwith open(f./image/{title}.{suffix}, wb) as f:

妈妈再也不用担心我的学习了。

本文来自网络,不代表山斋月平台立场,转载请注明出处: https://www.shanzhaiyue.top