Python爬虫遇到InsecureRequestWarning？3种方法彻底解决SSL证书验证问题

当你用Python爬取某个HTTPS网站时，控制台突然冒出这样的警告：

InsecureRequestWarning: Unverified HTTPS request is being made...

作为开发者，这种警告就像开车时仪表盘突然亮起的故障灯——虽然暂时不影响运行，但总让人心里不踏实。特别是当你在处理敏感数据或高频请求时，满屏的警告信息不仅干扰调试，还可能掩盖真正重要的错误日志。

1. 为什么会出现SSL证书警告？

每次看到这个警告，我的第一反应都是："我的代码哪里不安全了？"实际上，这个警告是Python的urllib3库发出的安全提醒。当你使用 requests.get(url, verify=False) 时，相当于告诉程序："跳过SSL证书验证，直接连接"。这就像进入一栋大楼时，保安要求检查身份证，而你却说："不用查了，我直接进去"。

现代HTTPS网站的安全证书通常由受信任的机构（如DigiCert、Let's Encrypt）颁发。当遇到以下情况时，证书验证会失败：

• 网站使用自签名证书（常见于内部测试环境）
• 证书已过期或被吊销
• 系统时间不正确（是的，这个低级错误我犯过）
• 中间人攻击（这才是最危险的）

# 典型触发场景示例
import requests

# 以下代码会触发警告
response = requests.get('https://test.example.com', verify=False)

2. 方法一：快速屏蔽警告（适合测试环境）

如果你只是临时需要快速完成测试，这里有个"创可贴"式的解决方案。就像我在调试爬虫时经常做的——先让程序跑起来，回头再处理警告。

import requests
from urllib3.exceptions import InsecureRequestWarning

# 禁用安全警告
requests.packages.urllib3.disable_warnings(category=InsecureRequestWarning)

response = requests.get('https://test.example.com', verify=False)
print(response.status_code)

注意事项 ：

• 这不会解决安全问题，只是隐藏了警告
• 绝对不要在生产环境使用
• 可能导致你忽略真正的安全威胁

提示：如果你同时使用logging模块，可能需要额外配置：

import logging
logging.captureWarnings(True)

3. 方法二：安全处理自签名证书（适合企业内网）

上周我帮某公司处理内部系统爬取时，遇到了自签名证书问题。他们的开发团队说："我们的内网很安全，不需要CA证书"。但作为外部开发者，我需要一种既安全又合规的解决方案。

3.1 获取并验证证书

首先，从目标网站导出证书（以Chrome浏览器为例）：

1. 访问目标网站，点击地址栏的"锁形"图标
2. 选择"证书" → "详细信息" → "复制到文件"
3. 选择Base64编码的X.509格式(.CER)

3.2 在代码中使用自定义证书

import requests

# 指定证书路径
CERT_PATH = '/path/to/your/certificate.pem'

response = requests.get(
    'https://internal.company.com',
    verify=CERT_PATH  # 使用自定义证书验证
)

证书管理最佳实践 ：

场景	推荐方案	风险等级
公开网站	使用默认CA验证	低
企业内网	自签名证书+固定路径	中
开发测试	临时禁用警告	高

4. 方法三：深度修复证书链问题（生产级方案）

真正的解决方案是修复根本原因。去年我接手的一个爬虫项目，因为忽略SSL警告导致数据泄露。以下是专业级处理流程：

4.1 诊断证书问题

使用OpenSSL检查证书链：

openssl s_client -connect example.com:443 -showcerts

常见问题包括：

• 中间证书缺失
• 根证书不受信任
• 证书域名不匹配

4.2 更新证书存储

在Linux系统更新CA证书：

sudo apt-get install ca-certificates
sudo update-ca-certificates

或者在Python代码中指定证书包路径：

import os
import requests

# 使用系统证书存储
os.environ['REQUESTS_CA_BUNDLE'] = '/etc/ssl/certs/ca-certificates.crt'

# 或指定自定义证书包
requests.get('https://example.com', verify='/path/to/cacert.pem')

4.3 高级配置：自定义适配器

对于特殊需求，可以创建自定义HTTP适配器：

from requests.adapters import HTTPAdapter
from urllib3.util.ssl_ import create_urllib3_context

class CustomSSLAdapter(HTTPAdapter):
    def init_poolmanager(self, *args, **kwargs):
        context = create_urllib3_context()
        kwargs['ssl_context'] = context
        return super().init_poolmanager(*args, **kwargs)

session = requests.Session()
session.mount('https://', CustomSSLAdapter())

5. 安全爬虫开发检查清单

根据OWASP安全建议，开发爬虫时应检查：

• [ ] 始终验证SSL证书（生产环境必须）
• [ ] 定期更新CA证书存储
• [ ] 监控证书过期时间
• [ ] 使用证书钉扎（Certificate Pinning）技术
• [ ] 记录所有SSL验证异常

# 证书钉扎示例
FINGERPRINT = "sha256/AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA="

response = requests.get('https://bank.example.com')
cert = response.connection.sock.getpeercert(binary_form=True)
assert hashlib.sha256(cert).digest().hex() == FINGERPRINT

记得第一次遇到SSL警告时，我整整浪费了一天时间尝试各种临时方案。现在我的原则是：在开发环境可以暂时隐藏警告，但上线前必须彻底解决证书问题。毕竟，安全无小事——特别是当你的爬虫处理的是用户数据时。