动态渲染方案（Selenium/Playwright）的详细介绍

以下是关于动态渲染方案（Selenium/Playwright）的详细介绍，以及如何利用手动登录的Cookie跳过模拟登录流程的完整说明：

🔧 一、动态渲染方案：Selenium vs Playwright

1. 核心功能与适用场景

Selenium：
- 原理：通过浏览器驱动（如ChromeDriver）控制真实浏览器，模拟用户操作（点击、输入、滚动等）。
- 优点：
  - 兼容性广：支持老旧浏览器（如IE）及多操作系统。
  - 生态成熟：社区资源丰富，长期维护稳定。
- 缺点：
  - 速度慢：基于HTTP协议通信，渲染等待需手动实现（如WebDriverWait）。
  - 资源消耗高：浏览器实例占用内存大，高并发时易崩溃。
Playwright：
- 原理：通过WebSocket协议直接控制Chromium/Firefox/WebKit内核，内置浏览器二进制无需额外驱动。
- 优点：
  - 速度快：异步支持，无头模式请求耗时仅50-150ms（Selenium需200-500ms）。
  - 智能等待：click()等操作自动等待元素就绪，减少Flaky问题。
  - 高级功能：内置网络拦截、设备模拟（如iPhone 13）、多上下文隔离Cookie。
- 缺点：
  - 对老旧浏览器支持有限，Python生态较新（文档可能不全）。

2. 性能与反爬能力对比

指标	Selenium	Playwright
成功率（100次请求）	82%	95%
平均耗时	慢3.7倍	快（异步优化）
反爬绕过	依赖代理IP+UA轮换	内置Stealth模式隐藏自动化特征
典型用例	需兼容IE的测试	高并发爬取、复杂SPA页面

💡 建议选型：优先用Playwright处理动态渲染；若需兼容旧浏览器或复杂交互（如滑块验证），配合Selenium突破。

🍪 二、手动登录Cookie跳过模拟登录流程

1. 核心原理

网站登录后，服务器返回Cookie（如session_id）作为身份凭证。后续请求携带此Cookie即可直接访问受限数据，无需重复登录。

2. 操作步骤

获取手动登录后的Cookie：
- 浏览器开发者工具（F12 → Network → 刷新页面 → 复制Request Headers中的Cookie值）。
- 插件导出：使用EditThisCookie等插件导出JSON格式Cookie。

在代码中注入Cookie：

Selenium示例：

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")  # 先访问域名以设置Cookie作用域
# 添加Cookie字典（需包含name/value/domain/path）
driver.add_cookie({
    "name": "session_id",
    "value": "手动复制的Cookie值",
    "domain": "example.com",
    "path": "/"
})
driver.refresh()  # 刷新页面生效
driver.get("https://example.com/protected_data")  # 直接访问受保护页面

Playwright示例：

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch()
    context = browser.new_context()
    # 批量添加Cookie
    context.add_cookies([{
        "name": "session_id",
        "value": "手动复制的Cookie值",
        "domain": "example.com",
        "path": "/"
    }])
    page = context.new_page()
    page.goto("https://example.com/protected_data")  # 无需登录直接访问
    print(page.content())

3. 关键注意事项

Cookie过期：手动获取的Cookie可能失效（通常几小时~几天），需定期更新。
作用域限制：Cookie需匹配目标页面的域名（domain）和路径（path），否则无效。
安全校验：部分网站绑定Cookie与IP或User-Agent，需保持一致。
动态Token：若网站使用JWT等Token认证，需从LocalStorage提取而非Cookie。

⚡ 三、实战优化：结合动态渲染与Cookie方案

1. 高效架构设计

graph TD
    A[用户手动登录] -->|获取Cookie| B(存储至数据库/文件)
    B --> C{爬虫启动}
    C -->|注入Cookie| D[Playwright渲染页面]
    C -->|Token过期| E[Selenium处理重新登录]
    D --> F[提取动态数据]
    E -->|更新Cookie| B
    F --> G[数据持久化]

优势：避免每次爬取都模拟登录，减少验证码触发概率，提升速度。

2. 代码示例（Playwright + Cookie复用）

import asyncio
from playwright.async_api import async_playwright

async def crawl_protected_data(cookie_value):
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True)
        context = await browser.new_context()
        await context.add_cookies([{
            "name": "session", 
            "value": cookie_value,
            "domain": "target-site.com",
            "path": "/"
        }])
        page = await context.new_page()
        await page.goto("https://target-site.com/dynamic-content")
        # 等待异步加载
        await page.wait_for_selector(".data-table", timeout=10000)
        data = await page.evaluate("""() => {
            return document.querySelector('.data-table').innerHTML;
        }""")
        print(data)
        await browser.close()

# 从文件读取手动登录的Cookie
with open("cookie.txt") as f:
    cookie = f.read().strip()
asyncio.run(crawl_protected_data(cookie))

🛡️ 四、反爬策略与稳定性保障

IP轮换：每5~10次请求更换代理IP（如亿牛云服务），避免被封禁。
行为模拟：
- Playwright使用slow_mo参数模拟真人操作间隔。
- Selenium通过ActionChains模拟鼠标轨迹。

Cookie动态刷新：

# 监测到Cookie过期时自动重新登录
if "login_page" in page.content():
    page.fill("#username", "user")
    page.fill("#password", "pass")
    page.click("#submit")
    new_cookies = await page.context.cookies()
    update_cookie_db(new_cookies)  # 存储新Cookie

💎 总结

动态渲染选型：优先Playwright（高效异步+智能等待），兼容性需求选Selenium。
Cookie跳过登录：适用于会话保持，但需注意作用域匹配与过期刷新。
混合架构：手动Cookie初始化 + Playwright渲染 + Selenium处理验证码，兼顾效率与稳定性。

实测数据表明，该方案在亚航等反爬严格场景下，成功率可达95%以上。建议首次部署时用无头模式调试，稳定后转为Headless运行。