写于 2018.01.24

项目地址:github.com/jrainlau/wa…

前言

好久没有写文章了,因为最近都在适应新的岗位,以及利用闲暇时间学习 python。这篇文章是最近的一个 python 学习阶段性总结,开发了一个爬虫批量下载某壁纸网站的高清壁纸。

注意:本文所属项目仅用于 python 学习,严禁作为其他用途使用!

初始化项目

项目使用了virtualenv来创建一个虚拟环境,避免污染全局。使用pip3直接下载即可:

pip3 install virtualenv
复制代码

然后在合适的地方新建一个wallpaper-downloader目录,使用virtualenv创建名为venv的虚拟环境:

virtualenv venv

. venv/bin/activate

复制代码

接下来创建依赖目录:

echo bs4 lxml requests > requirements.txt
复制代码

最后 yun 下载安装依赖即可:

pip3 install -r requirements.txt
复制代码

分析爬虫工作步骤

为了简单起见,我们直接进入分类为“aero”的壁纸列表页:wallpaperswide.com/aero-deskto…

可以看到,这一页里面一共有 10 张可供下载的壁纸。但是由于这里显示的都是缩略图,作为壁纸来说清晰度是远远不够的,所以我们需要进入壁纸详情页,去找到高清的下载链接。从第一张壁纸点进去,可以看到一个新的页面:

因为我机器是 Retina 屏幕,所以我打算直接下载体积最大的那个以保证高清(红圈所示体积)。

了解了具体的步骤以后,就是通过开发者工具找到对应的 dom 节点,提取相应的 url 即可,这个过程就不再展开了,读者自行尝试即可,下面进入编码部分。

访问页面

新建一个download.py文件,然后引入两个库:

from bs4 import BeautifulSoup
import requests
复制代码

接下来,编写一个专门用于访问 url,然后返回页面 html 的函数:

def visit_page(url):
    headers = {
      'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
    }
    r = requests.get(url, headers = headers)
    r.encoding = 'utf-8'
    return BeautifulSoup(r.text, 'lxml')
复制代码

为了防止被网站反爬机制击中,所以我们需要通过在 header 添加 UA 把爬虫伪装成正常的浏览器,然后指定 utf-8 编码,最后返回字符串格式的 html。

提取链接

在获取了页面的 html 以后,就需要提取这个页面壁纸列表所对应的 url 了:

def get_paper_link(page):
    links = page.select('#content > div > ul > li > div > div a')
    return [link.get('href') for link in links]
复制代码

这个函数会把列表页所有壁纸详情的 url 给提取出来。

下载壁纸

有了详情页的地址以后,我们就可以进去挑选合适的 size 了。在对页面的 dom 结构分析后可以知道,每一个 size 都对应着一个链接:

所以第一步,就是把这些 size 对应的链接提取出来:

wallpaper_source = visit_page(link)
wallpaper_size_links = wallpaper_source.select('#wallpaper-resolutions > a')
size_list = [{
    'size': eval(link.get_text().replace('x', '*')),
    'name': link.get('href').replace('/download/', ''),
    'url': link.get('href')
} for link in wallpaper_size_links]
复制代码

size_list就是这些链接的一个集合。为了方便接下来选出最高清(体积最大)的壁纸,在size中我使用了eval方法,直接把这里的5120x3200给计算出来,作为size的值。

获取了所有的集合之后,就可以使用max()方法选出最高清的一项出来了:

biggest_one = max(size_list, key = lambda item: item['size'])
复制代码

这个biggest_one当中的url就是对应 size 的下载链接,接下来只需要通过requests库把链接的资源下载下来即可:

result = requests.get(PAGE_DOMAIN + biggest_one['url'])

if result.status_code == 200:
open(‘wallpapers/’ + biggest_one[‘name’], ‘wb’).write(result.content)

复制代码

注意,首先你需要在根目录下创建一个wallpapers目录,否则运行时会报错。

整理一下,完整的download_wallpaper函数长这样:

def download_wallpaper(link):
    wallpaper_source = visit_page(PAGE_DOMAIN + link)
    wallpaper_size_links = wallpaper_source.select('#wallpaper-resolutions > a')
    size_list = [{
        'size': eval(link.get_text().replace('x', '*')),
        'name': link.get('href').replace('/download/', ''),
        'url': link.get('href')
    } for link in wallpaper_size_links]
biggest_one = max(size_list, key = lambda item: item[<span class="hljs-string">'size'</span>])
<span class="hljs-built_in">print</span>(<span class="hljs-string">'Downloading the '</span> + str(index + 1) + <span class="hljs-string">'/'</span> + str(total) + <span class="hljs-string">' wallpaper: '</span> + biggest_one[<span class="hljs-string">'name'</span>])
result = requests.get(PAGE_DOMAIN + biggest_one[<span class="hljs-string">'url'</span>])

<span class="hljs-keyword">if</span> result.status_code == 200:
    open(<span class="hljs-string">'wallpapers/'</span> + biggest_one[<span class="hljs-string">'name'</span>], <span class="hljs-string">'wb'</span>).write(result.content)
复制代码

批量运行

上述的步骤仅仅能够下载第一个壁纸列表页第一张壁纸。如果我们想下载多个列表页全部壁纸,我们就需要循环调用这些方法。首先我们定义几个常量:

import sys

if len(sys.argv) != 4:
print(‘3 arguments were required but only find ‘ + str(len(sys.argv) - 1) + ’!’)
exit()

category = sys.argv[1]

try:
page_start = [int(sys.argv[2])]
page_end = int(sys.argv[3])
except:
print(‘The second and third arguments must be a number but not a string!’)
exit()

复制代码

这里通过获取命令行参数,指定了三个常量category, page_startpage_end,分别对应着壁纸分类,起始页页码,终止页页码。

为了方便起见,再定义两个 url 相关的常量:

PAGE_DOMAIN = 'http://wallpaperswide.com'
PAGE_URL = 'http://wallpaperswide.com/' + category + '-desktop-wallpapers/page/'
复制代码

接下来就可以愉快地进行批量操作了,在此之前我们来定义一个start()启动函数:

def start():
    if page_start[0] <= page_end:
        print('Preparing to download the' + str(page_start[0])  + 'page of all the"' + category + '" wallpapers...')
        PAGE_SOURCE = visit_page(PAGE_URL + str(page_start[0]))
        WALLPAPER_LINKS = get_paper_link(PAGE_SOURCE)
        page_start[0] = page_start[0] + 1
    <span class="hljs-keyword">for</span> index, link <span class="hljs-keyword">in</span> enumerate(WALLPAPER_LINKS):
        download_wallpaper(link, index, len(WALLPAPER_LINKS), start)
复制代码

然后把之前的download_wallpaper函数再改写一下:

def download_wallpaper(link, index, total, callback):
    wallpaper_source = visit_page(PAGE_DOMAIN + link)
    wallpaper_size_links = wallpaper_source.select('#wallpaper-resolutions > a')
    size_list = [{
        'size': eval(link.get_text().replace('x', '*')),
        'name': link.get('href').replace('/download/', ''),
        'url': link.get('href')
    } for link in wallpaper_size_links]
biggest_one = max(size_list, key = lambda item: item[<span class="hljs-string">'size'</span>])
<span class="hljs-built_in">print</span>(<span class="hljs-string">'Downloading the '</span> + str(index + 1) + <span class="hljs-string">'/'</span> + str(total) + <span class="hljs-string">' wallpaper: '</span> + biggest_one[<span class="hljs-string">'name'</span>])
result = requests.get(PAGE_DOMAIN + biggest_one[<span class="hljs-string">'url'</span>])

<span class="hljs-keyword">if</span> result.status_code == 200:
    open(<span class="hljs-string">'wallpapers/'</span> + biggest_one[<span class="hljs-string">'name'</span>], <span class="hljs-string">'wb'</span>).write(result.content)

<span class="hljs-keyword">if</span> index + 1 == total:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">'Download completed!\n\n'</span>)
    callback()
复制代码

最后指定一下启动规则:

if __name__ == '__main__':
     start()
复制代码

运行项目

在命令行输入如下代码开始测试:

python3 download.py aero 1 2
复制代码

然后可以看到下列输出:

拿 charles 抓一下包,可以看到脚本正在平稳地运行中:

此时,下载脚本已经开发完毕,终于不用担心壁纸荒啦!

  • python

    Python (发音:[ paiθ(ə)n; (US) paiθɔn ]n. 蟒蛇,巨蛇 ),是一种面向对象的解释性的计算机程序设计语言,也是一种功能强大而完善的通用型语言,已经具有十多年的发…

    7952 引用 • 22 回帖 • 2 关注
感谢    赞同    分享    收藏    关注    反对    举报    ...