启动 ──→ 加载 visited_ids（断点恢复）│▼遍历 ID 范围 ──→ 已在 visited_ids？──→ 跳过│ 否▼ │发送请求 ◄──────────────┘│ ├─ UA 随机化│ ├─ 完整请求头伪装│ └─ 429/403/503 退避休眠▼XPath 解析（多路径回退）──→ 正则清洗│▼写入 CSV + flush() + 记录 visited_id│├─ 每次请求

本文介绍了一个Python自动化工具，用于批量下载国家中小学智慧教育平台的教学资源（PPT、教学设计等）。作者通过抓包分析发现平台采用OAuth MAC Token鉴权机制，需动态生成x-nd-auth请求头。文章详细解析了如何从浏览器localStorage提取access_token和mac_key，并实现MAC签名算法（HMAC-SHA256加密）。核心代码包括：1）MAC签名生成器，2）递

想象一个场景：你有一个很聪明的大学毕业生（基础模型），他什么都懂一点，但遇到专业问题（比如给简历打分）就不够精准。微调就是给这个毕业生做"岗前培训"——用专业数据训练他，让他成为某个领域的专家。LoRA（Low-Rank Adaptation，低秩适配）是一种高效的微调技术。全量微调：把整本书每个字都重新写一遍（消耗巨大）LoRA 微调：只在不重要的页码上贴便利贴做笔记（轻量高效）训练速度快显存占

本文详细复现了基于 Hadoop + Hive + DataX + PostgreSQL 的离线数仓搭建全流程。数据从 PostgreSQL 业务库经 DataX 同步至 HDFS ODS 层，再清洗至 DWD 明细层，最终通过 Python 脚本聚合生成 DWS/ADS 指标表。所有配置文件均含行内注释及替换指引，节点规划清晰，附完整脚本，适合初学者快速上手搭建三层数仓分析链路。