Python爬虫初阶

一、数据采集

1.1、requests简介

import requests

resp = requests.get('https://www.sohu.com/')
if resp.status_code == 200:
    print(resp.text)

1.2、requests.get参数详解

requests.get(url=url,headers=headers,timeout=10,params=params,auth=auth,verify=False,proxies=proxies)

# url: 需要抓取的URL地址
# headers: 请求头，从浏览器中获取
# timeout: 超时时间；数值或元组类型；超过时间会抛出异常；如果只给一个数字，则会自动处理为这个数字组成的二维元组；如给10为参数值，
# 		     会被处理为（10，10），此时两个数字分别表示连接超时和读取超时，所以也可以直接给元组作为参数，可以设定两个不同的值；如（10，15）
# params: 查询参数；字典类型；将字典中键值对作为查询参数拼接到url参数的地址上，此时的url为基准的url地址，不包含查询参数
# auth: Web客户端验证参数；元组类型（'username','password'）；针对于需要web客户端用户名密码认证的网站
# verify: SSL证书认证参数；布尔类型；True(默认)检查证书认证；False（常用）忽略证书认证；
# 		    SSL证书认证参适用于没有经过证书认证机构认证的https类型网站，一般这种网站会抛出SSLError异常则考虑使用此参数
# proxies: 网络代理参数；字典类型；代替你原来的IP地址去对接网络的IP地址。隐藏自身真实IP，避免被封。
# allow_redirects: 是否重定向；布尔类型；True(默认)是；False（常用）否；
# stream: 是否重定向；布尔类型；True(常用)是；False（默认）否；
# 		    默认情况下是stream=Ffalse，他会立即开始下载文件并存放到内存当中，倘若文件过大就会导致内存不足的情况．
# 		    详情参考：[requests 中的参数 stream - 天马行宇 - 博客园](https://www.cnblogs.com/yuanyongqiang/p/12609860.html)

res = requests.get('http://www.baidu.com/')
print(res.encoding)         # 查看网站的编码格式
print(res.status_code)      # 查看响应码 200
print(res.url)              # 查看访问的URL地址 https://www.baidu.com/

# text属性获取响应内容（字符串）网站源码
res.encoding = 'utf-8'
html = res.text

# content属性获取响应内容（字节串 bytes）网站源码；通常用于非结构化数据的保存，如压缩文件zip、图片文件等；下文会详细介绍保存方法。
html = res.content.decode('utf-8')

二、数据解析

2.1、正则解析

import random
import re
import time

import requests

for page in range(1, 11):
    resp = requests.get(
        url=f'https://movie.douban.com/top250?start={(page - 1) * 25}',
        # 如果不设置HTTP请求头中的User-Agent，豆瓣会检测出不是浏览器而阻止我们的请求。
        # 通过get函数的headers参数设置User-Agent的值，具体的值可以在浏览器的开发者工具查看到。
        # 用爬虫访问大部分网站时，将爬虫伪装成来自浏览器的请求都是非常重要的一步。
        headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'}
    )
    # 通过正则表达式获取class属性为title且标签体不以&开头的span标签并用捕获组提取标签内容
    pattern1 = re.compile(r'<span class="title">([^&]*?)</span>')
    titles = pattern1.findall(resp.text)
    # 通过正则表达式获取class属性为rating_num的span标签并用捕获组提取标签内容
    pattern2 = re.compile(r'<span class="rating_num".*?>(.*?)</span>')
    ranks = pattern2.findall(resp.text)
    # 使用zip压缩两个列表，循环遍历所有的电影标题和评分
    for title, rank in zip(titles, ranks):
        print(title, rank)
    # 随机休眠1-5秒，避免爬取页面过于频繁
    time.sleep(random.random() * 4 + 1)

2.2、XPath 解析

pip install lxml

from lxml import etree
import requests

for page in range(1, 11):
    resp = requests.get(
        url=f'https://movie.douban.com/top250?start={(page - 1) * 25}',
        headers={'User-Agent': 'BaiduSpider'}
    )
    tree = etree.HTML(resp.text)
    # 通过XPath语法从页面中提取电影标题
    title_spans = tree.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]')
    # 通过XPath语法从页面中提取电影评分
    rank_spans = tree.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/div/span[2]')
    for title_span, rank_span in zip(title_spans, rank_spans):
        print(title_span.text, rank_span.text)

tree.xpath('xpath表达式')   # 返回的是列表

/：表示从根节点开始定位，表示一个层级；实例：tree.xpath('/html/body/div')
//：//在中间,表示多个层级（两个或两个以上）；实例：tree.xpath('/html//div')
//：//在开头,表示从任意位置开始定位；实例tree.xpath('//div')
[@]：属性定位；实例：tree.xpath("//div[@class='song']")；tree.xpath("//tag[@attrName='attrValue']")
[n]：索引定位：实例：tree.xpath("//div[@class='song']/p[3]")  索引是从1开始的
/text()：获取直系文本；实例：tree.xpath('//div[class="tang"]//li[5]/a/text()')[0]
//text()：获取非直系文本（标签下所有文本）；实例：tree.xpath('//li[7]//text()')
/@attrName：获取属性；实例：tree.xpath('//div[class="song"]/img/@src')

2.3、CSS 选择器解析

pip install beautifulsoup4

import bs4
import requests

for page in range(1, 11):
    resp = requests.get(
        url=f'https://movie.douban.com/top250?start={(page - 1) * 25}',
        headers={'User-Agent': 'BaiduSpider'}
    )
    # 创建BeautifulSoup对象
    soup = bs4.BeautifulSoup(resp.text, 'lxml')
    # 通过CSS选择器从页面中提取包含电影标题的span标签
    title_spans = soup.select('div.info > div.hd > a > span:nth-child(1)')
    # 通过CSS选择器从页面中提取包含电影评分的span标签
    rank_spans = soup.select('div.info > div.bd > div > span.rating_num')
    for title_span, rank_span in zip(title_spans, rank_spans):
        print(title_span.text, rank_span.text)

2.4、简单的总结

三、数据存储

import requests

resp = requests.get('https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png')
with open('baidu.png', 'wb') as file:
    file.write(resp.content)

四、重要的其他内容

4.1、用Selenium抓取网页动态内容

4.1.1、Selenium简介

4.1.2、Selenium使用

pip install selenium

from selenium import webdriver

# 创建Chrome浏览器对象
browser webdriver.Chrome(executable_path='/***/chromedriver',)   # executable_path驱动文件的位置
# 加载指定的页面
browser.get('https://www.baidu.com/')

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
# 通过元素ID获取元素
kw_input = browser.find_element(By.ID, 'kw')
# 模拟用户输入行为
kw_input.send_keys('Python')
# 通过CSS选择器获取元素
su_button = browser.find_element(By.CSS_SELECTOR, '#su')
# 模拟用户点击行为
su_button.click()

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless') # 添加无头参数
bro = webdriver.Chrome(options=chrome_options)

# 设置浏览器路径
filepath_options = webdriver.ChromeOptions()   # 浏览器首选项
prefs = {
    'profile.default_content_settings.popups': 0,  # 设置为 0 禁止弹出窗口
    'excludeSwitches': ['enable-automation'],   # 用来规避门户网站识别selenium请求
    'savefile.default_directory': f'/***/{img_folder}',  # 设置保存路径
    'download.default_directory': f'/***/{img_folder}'  # 设置下载路径
}
filepath_options.add_experimental_option('prefs', prefs)

# 初始化浏览器对象，传入浏览器驱动
# service = 
bro = webdriver.Chrome(executable_path='/***/chromedriver',
                    chrome_options=filepath_options)

4.1.3、常用的属性和方法

 

4.1.4、360图片下载实例

import os
import time
from concurrent.futures import ThreadPoolExecutor

import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

DOWNLOAD_PATH = 'images/'


def download_picture(picture_url: str):
    """
    下载保存图片
    :param picture_url: 图片的URL
    """
    filename = picture_url[picture_url.rfind('/') + 1:]
    resp = requests.get(picture_url)
    with open(os.path.join(DOWNLOAD_PATH, filename), 'wb') as file:
        file.write(resp.content)


if not os.path.exists(DOWNLOAD_PATH):
    os.makedirs(DOWNLOAD_PATH)
browser = webdriver.Chrome()
browser.get('https://image.so.com/z?ch=beauty')
browser.implicitly_wait(10)
kw_input = browser.find_element(By.CSS_SELECTOR, 'input[name=q]')
kw_input.send_keys('苍老师')
kw_input.send_keys(Keys.ENTER)
for _ in range(10):
    browser.execute_script(
        'document.documentElement.scrollTop = document.documentElement.scrollHeight'
    )
    time.sleep(1)
imgs = browser.find_elements(By.CSS_SELECTOR, 'div.waterfall img')
with ThreadPoolExecutor(max_workers=32) as pool:
    for img in imgs:
        pic_url = img.get_attribute('src')
        pool.submit(download_picture, pic_url)

4.1.5、实操案例：使用操作链保存图片

import warnings
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
import pyautogui # 操作鼠标键盘

surs = []
for n, url in enumerate(surs):
    """
    先使用requests模块拿到链接和标题，根据标题创建文件夹，然后再把创建后的文件夹路径设置为浏览器的默认路径，大功告成！
    """
    img_folder = pag_num + '——' + pag_title

    """
    拿到下载路径之后，开始请求下载
    """
    # warnings.simplefilter('ignore',ResourceWarning)   # 去除开头警告
    # 设置浏览器路径
    filepath_options = webdriver.ChromeOptions()   # 浏览器首选项
    prefs = {
        'profile.default_content_settings.popups': 0,  # 设置为 0 禁止弹出窗口
        'excludeSwitches': ['enable-automation'],   # 用来规避门户网站识别selenium请求
        'savefile.default_directory': f'/Users/ayd/Downloads/其他/20230204/spider/photos18/{img_folder}',  # 设置保存路径
        'download.default_directory': f'/Users/ayd/Downloads/其他/20230204/spider/photos18/{img_folder}'  # 设置下载路径
    }
    filepath_options.add_experimental_option('prefs', prefs)

    # 初始化浏览器对象，传入浏览器驱动
    # service = 
    bro = webdriver.Chrome(executable_path='/Users/ayd/package/Chrome插件/chromedriver_mac_arm64（selenium驱动）/chromedriver',
                        chrome_options=filepath_options)   # 

    # 让浏览器发起请求
    bro.get(url=url)
    pag_text = bro.page_source # 获取网站源码数据
    # print('这里是pag_text：',pag_text)

    # 下载图片
    for i,img_url in enumerate(img_list):
        # 通过执行js代码，将图片url在新的标签页中打开
        js = f"window.open(\'{img_url}\')"
        bro.execute_script(js)

        # 切换窗口：bro.window_handles获取所有窗口组成的列表；bro.switch_to.window切换窗口
        bro.switch_to.window(bro.window_handles[-1])
        time.sleep(1)   # 等待图片加载1s

        # 保存图片系列操作
        pic = bro.find_element(By.XPATH, '/html/body/img')   # 获取元素
        action = ActionChains(bro).move_to_element(pic)   # 移动到图片
        action.context_click(pic).perform()   # 右击并执行
        pyautogui.typewrite(['s','down','enter']) # 操作键盘输入s（这里输入什么都行，只是为了选中右键出来的菜单），然后输入方向键选择“图片另存为”，最后输入回车确认
        time.sleep(1)  # 等待保存窗口弹出
        pyautogui.typewrite(['enter'])   # 回车确认
        # time.sleep(1)
        bro.close() # 关闭标签页

        bro.switch_to.window(bro.window_handles[-1])   # 切换回初始标签页，不然会报错
        # time.sleep(1)

        print(f'{img_folder}——{n+1}/{len(surs)}完成进度:{i+1}/{len(img_list)}')
    
    bro.quit()   # 完成一个页面之后退出浏览器
    print(f'{img_folder}的{len_original}个文件已完成，整体完成进度：{n+1}/{len(surs)}')

print('所有页已完成！')

4.2、Scrapy框架

4.2.1、Scrapy的组件

1. Scrapy 引擎（Engine）：用来控制整个系统的数据处理流程。

2. 调度器（Scheduler）：调度器从引擎接受请求并排序列入队列，并在引擎发出请求后返还给它们。

3. 下载器（Downloader）：下载器的主要职责是抓取网页并将网页内容返还给蜘蛛（Spiders）。

4. 蜘蛛程序（Spiders）：蜘蛛是用户自定义的用来解析网页并抓取特定URL的类，每个蜘蛛都能处理一个域名或一组域名，简单的说就是用来定义特定网站的抓取和解析规则的模块。

5. 数据管道（Item Pipeline）：管道的主要责任是负责处理有蜘蛛从网页中抽取的数据条目，它的主要任务是清理、验证和存储数据。当页面被蜘蛛解析后，将被发送到数据管道，并经过几个特定的次序处理数据。每个数据管道组件都是一个 Python 类，它们获取了数据条目并执行对数据条目进行处理的方法，同时还需要确定是否需要在数据管道中继续执行下一步或是直接丢弃掉不处理。数据管道通常执行的任务有：清理 HTML 数据、验证解析到的数据（检查条目是否包含必要的字段）、检查是不是重复数据（如果重复就丢弃）、将解析到的数据存储到数据库（关系型数据库或 NoSQL 数据库）中。

6. 中间件（Middlewares）：中间件是介于引擎和其他组件之间的一个钩子框架，主要是为了提供自定义的代码来拓展 Scrapy 的功能，包括下载器中间件和蜘蛛中间件。

4.2.2、数据处理流程

1. 引擎询问蜘蛛需要处理哪个网站，并让蜘蛛将第一个需要处理的 URL 交给它。

2. 引擎让调度器将需要处理的 URL 放在队列中。

3. 引擎从调度那获取接下来进行爬取的页面。

4. 调度将下一个爬取的 URL 返回给引擎，引擎将它通过下载中间件发送到下载器。

5. 当网页被下载器下载完成以后，响应内容通过下载中间件被发送到引擎；如果下载失败了，引擎会通知调度器记录这个 URL，待会再重新下载。

6. 引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理。

7. 蜘蛛处理响应并返回爬取到的数据条目，此外还要将需要跟进的新的 URL 发送给引擎。

8. 引擎将抓取到的数据条目送入数据管道，把新的 URL 发送给调度器放入队列中。

4.2.3、安装和使用

pip install scrapy

scrapy startproject demo

demo
|____ demo
|________ spiders
|____________ __init__.py
|________ __init__.py
|________ items.py
|________ middlewares.py
|________ pipelines.py
|________ settings.py
|____ scrapy.cfg

scrapy genspider douban movie.douban.com

import scrapy

class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['movie.douban.com']
    start_urls = (
        'http://movie.douban.com/',
    )

    def parse(self, response):
        pass

# name = "" : 这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
# allow_domains = []: 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
# start_urls = (): 爬取的URL元祖/列表。爬虫从这里开始抓取数据，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
# parse(self, response): 解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，
						# 主要作用如下：负责解析返回的网页数据(response.body)，提取结构化数据(生成item)生成需要下一页的URL请求。

import scrapy

class DoubanItem(scrapy.Item):
    title = scrapy.Field()
    score = scrapy.Field()
    motto = scrapy.Field()

import scrapy
from scrapy import Selector, Request
from scrapy.http import HtmlResponse

from demo.items import MovieItem


class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250?start=0&filter=']
		# 将start_urls的值修改为需要爬取的第一个url

		# 解析数据函数
    def parse(self, response: HtmlResponse):
        sel = Selector(response)   # 也可以使用 XPath 或正则表达式进行页面解析
        movie_items = sel.css('#content > div > div.article > ol > li')
        for movie_sel in movie_items:
            item = MovieItem()
            item['title'] = movie_sel.css('.title::text').extract_first()
            item['score'] = movie_sel.css('.rating_num::text').extract_first()
            item['motto'] = movie_sel.css('.inq::text').extract_first()
            yield item

        hrefs = sel.css('#content > div > div.article > div.paginator > a::attr("href")')  # 获取翻页按钮对应的a标签的href属性
        for href in hrefs:
            full_url = response.urljoin(href.extract())   # 将href链接拼接到不带参数的start_urls上
            yield Request(url=full_url)   # 修改下次请求的Request的URL属性为拼接后的URL
				# 这里比较难懂，主要是要理解yield的运行规则和parse函数是自动调用的，并且url拼接是要去掉初始URLstart_urls的参数再拼接
				# 推荐阅读
					# [从原理到实战，一份详实的 Scrapy 爬虫教程-腾讯云](https://cloud.tencent.com/developer/article/1856557)
					# [如何理解Python中的yield用法? - 知乎](https://zhuanlan.zhihu.com/p/268605982)

scrapy crawl douban   # 这里的文件名要和name 属性对应

# 用户浏览器
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'

# 并发请求数量 
CONCURRENT_REQUESTS = 4

# 下载延迟
DOWNLOAD_DELAY = 3
# 随机化下载延迟
RANDOMIZE_DOWNLOAD_DELAY = True

# 是否遵守爬虫协议
ROBOTSTXT_OBEY = True

# 配置数据管道
ITEM_PIPELINES = {
   'demo.pipelines.MovieItemPipeline': 300,
}