1. 项目概述与核心价值

如果你也和我一样，经常需要从Sci-Hub上批量下载文献，那么手动复制粘贴DOI、等待页面加载、点击下载链接的过程，绝对是一种对时间和耐心的双重消耗。尤其是在写综述或者进行系统性文献调研时，面对几十甚至上百篇目标论文，这种重复劳动不仅效率低下，还容易出错。这个项目就是为了彻底解决这个痛点而生的：利用Python和Selenium，打造一个全自动的论文批量下载工具。

简单来说，这个工具的核心逻辑是：你只需要提供一个包含所有目标论文DOI（数字对象标识符）的列表文件，比如一个txt或者Excel，剩下的工作——打开浏览器、访问Sci-Hub镜像站、输入DOI、解析页面、定位并下载PDF文件——全部交给程序自动完成。它就像一位不知疲倦的研究助理，7x24小时为你高效工作。这个方案特别适合研究生、科研工作者以及任何需要大量获取学术文献的朋友。它不仅支持当前主流的Chrome浏览器，还兼容了微软新一代的Edge浏览器，并提供了详细的配置指南，确保无论你的主力浏览器是哪一款，都能快速上手。

2. 技术选型与工具解析：为什么是Python+Selenium？

在自动化领域，尤其是网页自动化，可选的工具不少。为什么最终敲定Python + Selenium这个组合？这背后是基于易用性、稳定性、社区生态和项目需求的综合考量。

2.1 Python：胶水语言的自动化优势

Python几乎是自动化脚本的首选语言，原因有三。第一是语法简洁，上手快。即使你不是计算机科班出身，花上几天时间学习基础语法，就能看懂并修改脚本，这对于科研人员来说门槛极低。第二是生态丰富。处理文件（ csv , pandas ）、网络请求（ requests ）、路径操作（ os , pathlib ）都有成熟且易用的库，能让我们专注于核心逻辑，而非底层细节。第三是跨平台。无论是Windows、macOS还是Linux，Python脚本通常只需极少量修改甚至无需修改就能运行，保证了工具的通用性。

2.2 Selenium：模拟真人操作的浏览器自动化利器

相比直接使用 requests 库抓取网页，Sci-Hub的页面结构相对动态，且可能有简单的反爬机制（如检查JavaScript执行环境）。 requests 更适合获取静态HTML内容，而对于需要加载、点击、等待页面元素出现的场景，就显得力不从心。Selenium的核心价值在于，它能驱动一个真实的浏览器（如Chrome、Edge）进行所有操作，完全模拟人类用户的行为。这意味着：

1. 绕过简单前端验证 ：任何在浏览器中能正常显示的页面，Selenium都能“看到”并与之交互。
2. 处理JavaScript渲染 ：对于依赖JS动态加载内容的页面（Sci-Hub的下载按钮很可能就是动态生成的），Selenium可以等待其加载完成后再进行操作。
3. 下载管理 ：通过设置浏览器下载偏好，我们可以让PDF文件自动保存到指定目录，无需处理复杂的网络响应流。

2.3 备选方案简析：Playwright与Requests-HTML

在项目构思时，我也考虑过其他方案。 Playwright 是微软开源的新一代自动化工具，号称比Selenium更快、更稳定，API设计也更现代。它的确是个优秀的选择，但对于新手而言，其生态和中文资料丰富度目前略逊于Selenium。考虑到本项目的目标是“稳定、易复现”，选择拥有最庞大社区和无数解决方案的Selenium，在遇到问题时更容易找到答案。

Requests-HTML 库则是一个有趣的折中方案，它内置了一个简易的浏览器内核来解析JavaScript。但对于需要精确点击、处理可能弹出的新窗口或标签页、以及管理浏览器下载行为等复杂交互，它依然不如Selenium直接控制一个完整浏览器来得强大和直观。因此，综合来看，Python + Selenium是实现“模拟真人批量下载”这一目标的最稳妥、最直观的技术栈。

3. 环境准备与浏览器驱动配置

工欲善其事，必先利其器。在编写代码之前，我们需要搭建好稳定的运行环境。这一步是后续所有操作的基础，配置不当会导致脚本根本无法启动。

3.1 Python环境安装与包管理

如果你还没有安装Python，请前往其官方网站下载最新稳定版本（如Python 3.10+）。安装时务必勾选“Add Python to PATH”选项，这样才可以在命令行中直接使用 python 和 pip 命令。

安装完成后，打开命令行（Windows上是CMD或PowerShell，macOS/Linux上是Terminal），通过以下命令验证安装并安装必要的库：

python --version
pip install selenium pandas

这里我们主要安装 selenium 库。同时安装 pandas 是因为它处理表格数据（如从Excel读取DOI列表）非常方便，虽然不是核心必需，但能极大提升脚本的灵活性。我建议创建一个独立的虚拟环境来管理本项目依赖，避免与其他项目产生包版本冲突，可以使用 venv 模块。

3.2 浏览器驱动下载与配置：Edge/Chrome双版本详解

这是Selenium工作的关键。Selenium需要通过一个名为“WebDriver”的桥梁来与具体的浏览器对话。这个驱动必须与你的浏览器版本严格匹配。

对于Google Chrome用户：

1. 打开Chrome，在地址栏输入 chrome://settings/help ，查看你的Chrome版本号（例如：119.0.6045.160）。
2. 访问ChromeDriver官方下载站点。你需要下载与你的Chrome主版本号完全一致的驱动（例如，Chrome 119对应ChromeDriver 119.x.x.x）。
3. 下载对应你操作系统的文件（Windows是 chromedriver-win64.zip ， macOS是 chromedriver-mac-arm64.zip 或 chromedriver-mac-x64.zip ， Linux是 chromedriver-linux64.zip ）。
4. 解压后，你会得到一个名为 chromedriver.exe （Windows）或 chromedriver （macOS/Linux）的可执行文件。

对于Microsoft Edge用户：

1. 打开Edge，在地址栏输入 edge://settings/help ，查看你的Edge版本号。
2. 访问Microsoft Edge WebDriver官方下载页面。同样，选择与你的Edge版本号匹配的驱动下载。
3. 解压后，得到 msedgedriver.exe （Windows）或 msedgedriver （macOS/Linux）。

驱动的放置与路径配置： 有两种常用方法配置驱动路径：

• 方法一：放入系统PATH 。将解压得到的驱动文件（ chromedriver 或 msedgedriver ）直接放置到系统环境变量 PATH 包含的任一目录下，例如 C:\Windows\ （Windows）或 /usr/local/bin/ （macOS/Linux）。这样，Selenium就能自动找到它。
• 方法二：在代码中指定路径 。将驱动文件放在你的项目文件夹内，然后在初始化浏览器时通过 executable_path 参数指定其完整路径。这种方法更利于项目管理和移植。

注意 ：浏览器会频繁自动更新，而驱动版本必须匹配。如果某天脚本突然报错“无法启动浏览器”，首先应该检查浏览器版本是否升级，然后重新下载对应版本的驱动进行替换。这是一个非常常见的“坑”。

3.3 构建DOI列表：你的任务清单

自动化脚本需要知道要下载哪些论文。我们准备一个纯文本文件 doi_list.txt ，每行一个DOI。

10.1016/j.cell.2020.03.001
10.1038/s41586-021-03670-5
10.1126/science.abf2370

你也可以使用Excel或CSV文件，然后用 pandas 库读取其中某一列。这种方式在从文献管理软件导出清单时特别方便。确保DOI格式正确，这是脚本能成功定位论文的前提。

4. 核心脚本设计与代码逐行解析

接下来，我们进入核心部分，一步步构建自动化脚本。我将以Edge浏览器为例进行说明，Chrome版本的差异仅在于浏览器驱动的初始化部分。

4.1 脚本骨架与浏览器初始化

首先，我们导入必要的库，并设置一些关键参数。

import time
import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, NoSuchElementException

# 配置
DOWNLOAD_DIR = r"D:\Literature\Downloaded"  # 指定PDF下载目录
DOI_FILE = "doi_list.txt"  # DOI列表文件
BASE_URL = "https://sci-hub.se/"  # Sci-Hub镜像站地址，可替换为其他可用地址
EDGE_DRIVER_PATH = r".\msedgedriver.exe"  # Edge驱动路径，如果已加入PATH则可省略

# 创建下载目录（如果不存在）
os.makedirs(DOWNLOAD_DIR, exist_ok=True)

这里的关键是 DOWNLOAD_DIR ，你需要将其修改为你本地希望保存PDF的文件夹路径。 BASE_URL 是Sci-Hub的入口，由于镜像站地址可能变化，如果这个失效，你需要替换成当前可用的地址（如 sci-hub.st , sci-hub.ru 等）。

接下来，初始化Edge浏览器，并设置下载偏好，让PDF直接保存到指定文件夹，而不是弹出“另存为”对话框。

# 配置Edge浏览器选项
edge_options = webdriver.EdgeOptions()
prefs = {
    "download.default_directory": DOWNLOAD_DIR,
    "download.prompt_for_download": False,  # 禁止下载提示
    "plugins.always_open_pdf_externally": True,  # 直接下载PDF，不在浏览器内打开
    "download.directory_upgrade": True,
    "safebrowsing.enabled": True
}
edge_options.add_experimental_option("prefs", prefs)
# 可选：启用无头模式（不显示浏览器界面），适合在服务器后台运行
# edge_options.add_argument("--headless")

# 初始化浏览器驱动
driver = webdriver.Edge(executable_path=EDGE_DRIVER_PATH, options=edge_options)
driver.implicitly_wait(10)  # 设置隐式等待，全局查找元素超时时间
wait = WebDriverWait(driver, 20)  # 设置显式等待对象，用于特定条件

代码解析 ：

• download.default_directory ：这是最重要的设置，告诉浏览器下载文件的默认位置。
• download.prompt_for_download : False：关闭下载确认对话框，实现全自动保存。
• plugins.always_open_pdf_externally : True：确保PDF文件被下载，而不是在浏览器标签页内直接打开。
• implicitly_wait(10) ：隐式等待。它会在查找任何元素时，如果未立即找到，会等待最多10秒，期间持续尝试。这有助于应对网络延迟导致的元素加载慢的问题。
• WebDriverWait(driver, 20) ：显式等待。它更精确，用于等待某个特定条件成立（如某个按钮出现、可点击）。我们后面会用到。

对于Chrome用户 ，只需将上述代码中的 webdriver.Edge 替换为 webdriver.Chrome ，将 EdgeOptions 替换为 ChromeOptions ，并指定对应的 chromedriver 路径即可，配置字典 prefs 完全通用。

4.2 DOI读取与自动化下载循环

现在，我们读取DOI列表，并开始核心的自动化循环。

# 读取DOI列表
with open(DOI_FILE, 'r', encoding='utf-8') as f:
    doi_list = [line.strip() for line in f if line.strip()]

print(f"共读取到 {len(doi_list)} 篇文献DOI。开始自动下载...")

for idx, doi in enumerate(doi_list, 1):
    print(f"\n[{idx}/{len(doi_list)}] 正在处理: {doi}")
    
    try:
        # 1. 访问Sci-Hub主页
        driver.get(BASE_URL)
        
        # 2. 定位搜索框并输入DOI
        # Sci-Hub主页的搜索框通常是一个id为‘input’或‘request’的input元素
        search_box = wait.until(EC.presence_of_element_located((By.ID, "input")))
        search_box.clear()  # 清空可能存在的旧内容
        search_box.send_keys(doi)  # 输入当前DOI
        
        # 3. 定位并点击搜索/提交按钮
        # 按钮可能是id为‘open’或‘submit’的button或input元素
        submit_button = driver.find_element(By.ID, "open")
        submit_button.click()
        
        print(f"  已提交DOI，等待页面跳转...")
        
        # 4. 等待目标页面加载并定位PDF下载链接或iframe
        # 策略A：等待包含PDF的iframe加载，并切换进去
        try:
            # 首先等待一个代表页面加载完成的元素出现，比如包含PDF的iframe或下载按钮
            pdf_iframe = wait.until(EC.presence_of_element_located((By.ID, "pdf")))
            driver.switch_to.frame(pdf_iframe)
            print(f"  已切换到PDF iframe。")
        except TimeoutException:
            # 策略A失败，尝试策略B：直接寻找PDF下载链接（某些镜像站直接提供链接）
            print(f"  未找到PDF iframe，尝试直接查找下载链接。")
            driver.switch_to.default_content()  # 切回主文档
            
        # 在iframe内或主页面内查找PDF链接或嵌入的PDF对象
        # 常见的PDF链接选择器：a[href*='.pdf'], embed[type='application/pdf'], object[data*='.pdf']
        pdf_element = None
        selectors_to_try = [
            "embed[type='application/pdf']",
            "object[data*='.pdf']",
            "a[href*='.pdf']",
            "iframe[src*='.pdf']"
        ]
        
        for selector in selectors_to_try:
            try:
                pdf_element = driver.find_element(By.CSS_SELECTOR, selector)
                if pdf_element:
                    print(f"  找到PDF元素，选择器: {selector}")
                    # 如果是链接，则点击下载
                    if pdf_element.tag_name == "a":
                        pdf_url = pdf_element.get_attribute("href")
                        print(f"  PDF链接: {pdf_url}")
                        # 直接通过driver.get下载有时不如浏览器自动下载稳定，这里更依赖浏览器的下载设置
                        # 我们可以尝试点击链接，触发浏览器下载
                        pdf_element.click()
                    break
            except NoSuchElementException:
                continue
        
        if not pdf_element:
            print(f"  [警告] 未在页面中找到PDF元素，DOI可能无效或页面结构已变。")
            # 可以在这里截图保存，用于后期排查
            # driver.save_screenshot(f"error_{doi.replace('/', '_')}.png")
        
        # 5. 等待文件下载完成（简易方法：固定等待）
        time.sleep(5)  # 根据网络情况调整等待时间
        
        # 6. 切换回主文档，准备下一次循环
        driver.switch_to.default_content()
        
    except Exception as e:
        print(f"  [错误] 处理DOI '{doi}' 时发生异常: {e}")
        # 发生错误后，最好刷新页面或回到主页，避免残留状态影响下一次操作
        driver.get(BASE_URL)
        time.sleep(2)

print(f"\n所有DOI处理完毕。请检查下载目录: {DOWNLOAD_DIR}")
driver.quit()

4.3 关键逻辑与容错设计解析

这段代码是脚本的核心，有几个关键点需要深入理解：

1. 页面元素定位 ：Sci-Hub的页面结构并非一成不变，不同镜像站、不同时期的前端代码可能有细微差别。代码中使用了 By.ID 来定位搜索框( “input” )和按钮( “open” )，这是基于对常见Sci-Hub页面结构的观察。如果未来网站改版，这些ID可能会变。这时，你需要使用浏览器的开发者工具（F12），手动检查页面元素，找到正确的选择器（如 By.NAME , By.CLASS_NAME , By.CSS_SELECTOR 等）并更新代码。这是自动化脚本维护的常态。

2. 等待策略 ： WebDriverWait 与 expected_conditions 的组合是处理动态页面的黄金法则。 EC.presence_of_element_located 等待元素出现在DOM中， EC.element_to_be_clickable 等待元素可点击。这比简单的 time.sleep(固定秒数) 要高效和健壮得多，因为它只在必要时等待。

3. PDF定位的多重尝试 ：这是脚本最需要鲁棒性的部分。Sci-Hub展示PDF的方式多样：可能通过 <iframe> 嵌入，可能用 <embed> 或 <object> 标签，也可能直接提供一个 .pdf 的下载链接。代码中定义了一个选择器列表 selectors_to_try ，按常见程度依次尝试，只要找到一个就视为成功。这种“防御性编程”思维至关重要。

4. 异常处理与日志 ： try...except 块包裹了核心操作。网络超时( TimeoutException )、元素找不到( NoSuchElementException )或其他未知错误( Exception )都会被捕获，并打印友好的错误信息，同时脚本不会崩溃，而是继续处理下一个DOI。打印详细的进度日志( [{idx}/{len(doi_list)}] )能让你实时监控脚本运行状态。

5. 下载触发与等待 ：我们通过点击PDF链接或依赖 <embed> 标签的自动加载来触发浏览器下载。由于之前已经配置了浏览器的下载偏好（不提示、直接保存到指定目录），文件会自动开始下载。之后的 time.sleep(5) 是一个简单的等待，确保一个文件的下载有足够时间启动。对于大型PDF或慢速网络，你可能需要增加这个时间，或者实现更智能的等待——例如，循环检查下载目录，直到出现一个新的 .pdf 文件。

5. 进阶优化与功能扩展

基础脚本已经可以工作，但要打造一个健壮、高效、用户友好的工具，我们还需要考虑更多。

5.1 智能等待下载完成

固定时间等待( time.sleep )既不优雅也不可靠。更好的方法是监控下载目录的文件变化。

import os
import glob

def wait_for_download_complete(download_dir, timeout=60, check_interval=2):
    """
    等待下载目录中出现新的.pdf文件并确认其下载完成（文件大小不再变化）。
    这是一个简化版，更复杂的实现可以检查浏览器下载状态。
    """
    # 获取下载前目录中所有pdf文件列表
    initial_files = set(glob.glob(os.path.join(download_dir, "*.pdf")))
    
    start_time = time.time()
    while time.time() - start_time < timeout:
        time.sleep(check_interval)
        current_files = set(glob.glob(os.path.join(download_dir, "*.pdf")))
        new_files = current_files - initial_files
        
        if new_files:
            # 找到新文件，检查其是否还在被写入（文件大小是否稳定）
            for file in new_files:
                size_stable = False
                for _ in range(3):  # 连续检查3次
                    size1 = os.path.getsize(file)
                    time.sleep(1)
                    size2 = os.path.getsize(file)
                    if size1 == size2:
                        size_stable = True
                        break
                if size_stable:
                    print(f"    文件下载完成: {os.path.basename(file)}")
                    return True
    print("    下载超时或未检测到新文件。")
    return False

在主循环中，触发下载后，调用 wait_for_download_complete(DOWNLOAD_DIR) 来代替 time.sleep(5) 。

5.2 失败重试与结果记录

网络请求难免失败。为重要的DOI添加重试机制能大幅提升成功率。

max_retries = 3
for retry in range(max_retries):
    try:
        # ... 执行下载操作 ...
        break  # 成功则跳出重试循环
    except Exception as e:
        if retry < max_retries - 1:
            print(f"    第{retry+1}次尝试失败，{e}，{max_retries - retry -1}次后重试...")
            time.sleep(2 * (retry + 1))  # 指数退避等待
        else:
            print(f"    重试{max_retries}次后仍失败，放弃。")
            # 记录失败DOI到文件
            with open("failed_doi.txt", "a") as fail_log:
                fail_log.write(doi + "\n")

同时，将成功和失败的DOI分别记录到不同的日志文件中，便于后续核对和手动补漏。

5.3 使用配置文件管理参数

将下载路径、镜像站地址、重试次数、等待时间等参数从代码中抽离出来，放入一个配置文件（如 config.ini 或 config.yaml ），使得非程序员用户也能轻松修改设置，而无需触碰代码。

# config.ini 示例
[DEFAULT]
download_dir = D:\Literature\Downloaded
doi_file = doi_list.txt
base_url = https://sci-hub.se/
browser = edge  # 可选 'chrome' 或 'edge'
headless = False
max_retries = 3

在脚本中使用 configparser 库来读取这些配置。

5.4 图形用户界面(GUI)封装

对于完全不懂命令行的用户，可以使用 tkinter 或 PyQt 库为脚本包装一个简单的图形界面。界面可以包含：“选择DOI文件”按钮、“选择下载目录”按钮、“选择浏览器”下拉框、“开始下载”按钮以及一个显示实时进度的文本框。这能将工具的使用门槛降到最低。

6. 常见问题排查与实战心得

即使代码写得再严谨，在实际运行中你依然会遇到各种问题。下面是我在多次使用和调试中积累的一些典型问题与解决方案。

6.1 驱动版本不匹配或未找到

• 症状 ：脚本启动时报错，提示“无法找到Chrome/Edge二进制文件”或“This version of ChromeDriver only supports Chrome version XX”。
• 排查 ：首先确认你的浏览器是否开启了自动更新并已升级。然后对比浏览器版本和驱动版本是否一致。
• 解决 ：前往对应的官方下载页面，下载与你的浏览器主版本号完全一致的WebDriver。如果已将驱动放在系统PATH中，确保命令行可以访问到它（在CMD中输入 chromedriver --version 或 msedgedriver --version 测试）。

6.2 页面元素定位失败

• 症状 ：脚本在 find_element 或 wait.until 处超时，抛出 TimeoutException 或 NoSuchElementException 。
• 排查 ：
  1. 手动访问 ：先用浏览器手动访问你设置的 BASE_URL ，确认该镜像站当前可用，且页面布局与代码中预设的选择器一致。
  2. 检查选择器 ：按F12打开开发者工具，使用元素选择器检查搜索框、按钮的ID、Class等属性是否已改变。
  3. 网络延迟 ：增加 WebDriverWait 的等待时间（例如从20秒加到30秒）。
  4. iframe问题 ：Sci-Hub经常使用iframe嵌套PDF。确保在查找PDF元素前，已经正确使用 driver.switch_to.frame() 切换进了正确的iframe。可以在切换前后打印 driver.page_source 来辅助判断。
• 解决 ：更新代码中的元素定位器。如果网站改版较大，可能需要重新分析页面结构，调整定位逻辑。

6.3 文件下载未触发或保存位置不对

• 症状 ：脚本运行无报错，但下载目录是空的，或者文件下载到了浏览器默认目录（如“下载”文件夹）。
• 排查 ：
  1. 检查下载配置 ：仔细核对代码中 download.default_directory 的路径，确保是绝对路径，且格式正确（Windows下使用双反斜杠 \\ 或原始字符串 r"..." ）。
  2. 检查浏览器设置 ：有时浏览器的自身设置会覆盖Selenium的配置。可以手动用该浏览器下载一个文件，看它是否遵循你的默认路径设置。
  3. 触发方式 ：确认脚本成功找到了PDF元素并执行了点击操作。可以在点击前加入 print(“准备点击...”) 的日志，点击后短暂等待并截图，查看页面反应。
• 解决 ：确保下载目录存在且有写入权限。对于Chrome，有时需要额外添加 --disable-gpu 、 --no-sandbox 等启动参数来确保配置生效。最彻底的测试方法是，在无头模式运行前，先在有界面模式下跑一遍，观察浏览器的实际行为。

6.4 访问被阻断或验证码

• 症状 ：页面跳转后显示“Access Denied”、验证码或空白页。
• 排查 ：Sci-Hub及其镜像站为了应对高频率访问，可能会对自动化脚本实施限制。
• 解决 ：
  1. 降低频率 ：在每次下载循环间加入随机延时，模拟人类操作。 time.sleep(random.uniform(5, 15)) 。
  2. 更换User-Agent ：通过浏览器选项设置一个常见的桌面浏览器User-Agent字符串。
  3. 使用代理IP ：如果IP被封锁，可以考虑在浏览器选项中配置代理服务器。但这需要你拥有可靠的代理资源。
  4. 备用镜像 ：准备一个可用的镜像站列表，当主站访问失败时，自动切换到下一个。这是最有效的方法之一。

6.5 实战心得与建议

1. 从小规模测试开始 ：不要一开始就扔进去1000个DOI。先用3-5个DOI进行完整流程测试，确保从读取、访问、下载到保存的整个链路畅通。
2. 善用日志和截图 ：在关键步骤（如提交DOI前、切换iframe后、查找PDF前）和捕获异常时，打印详细的状态信息，甚至保存页面截图。这些信息是离线排查问题的唯一依据。
3. 尊重版权与合理使用 ：自动化工具旨在提升科研效率，请务必遵守你所在机构关于文献获取的规定，仅将工具用于个人学习、研究等合理使用范畴。
4. 代码的维护性 ：将配置、页面定位器（选择器）、核心逻辑分离。这样当Sci-Hub前端变化时，你只需要在一个地方（比如一个专门的 locators.py 文件）修改选择器字符串，而不是在业务代码中到处查找替换。
5. 考虑使用更稳定的方案 ：如果Sci-Hub的网页结构变化过于频繁，维护成本会变高。另一种更底层的思路是，直接分析Sci-Hub的API请求（通过浏览器开发者工具的Network面板观察），尝试用 requests 库模拟其API调用，直接获取PDF的最终下载链接。这种方案更高效且不易受前端改动影响，但实现难度稍高，且需要处理可能的反爬机制。