1. 项目概述：从“会用”到“好用”的关键一跃

聊到大模型，现在大家都不陌生了。从ChatGPT到国内外的各种开源模型，我们似乎已经习惯了向一个“万能”的AI提问，让它写代码、做总结、搞创作。但用久了你会发现，通用模型就像一个博学但不够“懂你”的朋友。你问它“我们公司的报销流程是怎样的？”，它可能会给你一个标准的、教科书式的财务流程，而不是你公司内部那个需要先走OA审批、再贴发票、最后找财务小张签字的独特流程。你让它写一份你所在行业的市场分析报告，它给出的框架可能很漂亮，但里面的术语、数据口径、行业黑话，总感觉隔了一层。

这就是通用大模型的局限性：它拥有海量的通用知识，但缺乏特定领域、特定任务、甚至是你个人风格的“深度知识”和“精确指令”。而“大模型微调”，就是解决这个问题的核心钥匙。它不是从头开始训练一个模型（那需要天文数字的算力和数据），而是在一个已经非常强大的预训练模型基础上，用你特定的、高质量的数据，对它进行“二次教育”和“定向培养”。这个过程，就像是给一位通才博士进行为期数月的专项博士后训练，让他迅速成为你所在领域的顶尖专家。

我之所以把微调放在学习路线的第四步，是因为它承上启下。在你已经理解了模型的基本原理、掌握了如何与API交互、并能在本地部署运行模型之后，微调是让你真正“拥有”和“定制”模型能力的开始。通过微调，你可以让模型：

  1. 掌握专业领域知识 ：比如法律条文、医疗诊断指南、金融风控规则。
  2. 适配特定任务格式 ：让模型输出的代码符合你公司的编码规范，让生成的报告拥有固定的模板和风格。
  3. 理解私有数据与上下文 ：基于企业内部文档、知识库进行问答，回答的内容更精准、更相关。
  4. 纠正模型偏见或错误 ：针对模型在特定场景下反复出现的错误，通过微调数据进行纠正。

简单说，微调的目标是让大模型从“开箱即用”的通用工具，变成与你业务深度绑定的“专属智能体”。接下来，我会拆解微调的全流程，从核心概念、主流方法到实战中的每一步操作和避坑指南。

2. 微调核心方法论：全量、高效与轻量化的权衡

在动手之前，我们必须搞清楚有哪些“工具”可用，以及各自适合什么场景。微调不是一种单一技术，而是一套方法论的集合，核心在于平衡“效果”、“成本”和“效率”。

2.1 全参数微调：效果的天花板与资源的无底洞

全参数微调，顾名思义，就是在微调过程中，更新预训练模型的所有参数。这是最传统、理论上效果上限最高的方法。

它的工作原理 ：你准备一批高质量的指令-回答对数据，输入模型进行前向传播，计算损失，然后通过反向传播算法，更新模型中每一个神经元的权重。这相当于对整个模型的知识网络进行一次全面的、针对性的调整。

为什么它效果好？ 因为模型的所有能力都被重新校准以适应新任务。对于领域差异极大、任务非常复杂的场景，全参数微调往往能学到更深刻、更泛化的模式。

但为什么大家慎用？ 成本是致命伤。以一个有70亿参数的模型为例，进行全参数微调，你需要：

  • 巨大的显存 ：不仅要加载模型参数（FP16精度下约14GB），还要存储优化器状态、梯度、激活值等。实际训练时，显存占用可能是模型大小的3-4倍，轻松超过40GB。这意味着一块甚至多块顶级消费级GPU（如RTX 4090 24GB）都捉襟见肘，通常需要A100/H100这类专业卡。
  • 漫长的训练时间 ：更新所有参数，计算量巨大。
  • 过拟合风险 ：如果你的领域数据量不够大（比如只有几千条），模型可能会“死记硬背”你的微调数据，反而丧失了原有的通用能力，这种现象称为“灾难性遗忘”。

实操心得 ：全参数微调是“重武器”。我个人的经验是，只有当你的任务与模型预训练任务分布差异极大（例如，用一个通用文本模型去微调做蛋白质结构预测），且你拥有数万条以上高质量标注数据和充足的算力预算时，才考虑它。对于绝大多数业务场景（如客服问答、文本分类、格式生成），我们都有更高效的选择。

2.2 高效微调技术：Parameter-Efficient Fine-Tuning

正是为了克服全参数微调的弊端，PEFT技术应运而生。其核心思想是： 冻结预训练模型的大部分参数，只训练一小部分额外引入的、轻量化的参数 。这样既能适配新任务，又极大降低了计算和存储成本。目前最主流、实践中最常用的PEFT方法是LoRA。

LoRA：低秩适配，四两拨千斤 LoRA的灵感来自于一个发现：模型在适配新任务时，其权重变化具有“低秩”特性。简单类比，想象模型的权重矩阵是一个高维空间中的复杂形状，而针对特定任务需要的调整，其实只是在这个高维空间中一个相对简单的子空间里进行微小的“平移”或“旋转”。

LoRA的具体做法是：

  1. 冻结原模型 ：预训练模型的权重全部固定，不再更新。
  2. 注入适配器 ：在原有的权重矩阵旁，并行地插入一对小的、低秩的矩阵（记为A和B）。例如，对于一个768x768的大权重矩阵W，我们插入一个768xr的矩阵A和一个rx768的矩阵B，其中r（秩）是一个很小的数，比如8或16。
  3. 只训练小矩阵 ：在前向传播时，实际的运算变为 h = Wx + BAx 。其中W是固定的，我们只训练A和B这两个小矩阵。
  4. 合并与部署 ：训练完成后，可以将BA加到原权重W上，得到一个独立的、微调后的模型，推理时没有任何额外开销。

LoRA的优势极其明显 ：

  • 显存占用极低 ：通常只增加原模型0.1%-1%的可训练参数量。微调一个7B模型，可能只需要1-2GB的额外显存，使得在消费级GPU（如24GB的RTX 4090）上微调大模型成为可能。
  • 训练速度快 ：参数少，自然训练快。
  • 避免灾难性遗忘 ：因为原模型参数基本不动，保留了绝大部分通用知识。
  • 模块化与可组合 ：可以为不同任务训练不同的LoRA适配器，像换“技能卡”一样灵活切换。

LoRA的变种与选择 ：

  • QLoRA ：在LoRA的基础上，进一步将原模型权重量化为4-bit（如NF4格式），同时使用双重量化等技术。这能将模型加载显存再降低数倍，实现了在单张消费卡上微调30B甚至更大模型的奇迹。工具上， bitsandbytes 库是实现QLoRA的基石。
  • Adapter ：另一种PEFT方法，在Transformer的每个层后面插入一个小型前馈网络。但相比LoRA，Adapter会引入额外的推理延迟，而LoRA在合并后零延迟，因此LoRA目前更受欢迎。

注意事项 ：LoRA虽好，但超参数选择有讲究。 r （秩）的大小是关键，太小可能学不到足够复杂的模式，太大会增加成本且可能过拟合。通常从8开始尝试。 alpha （缩放因子）影响适配器对原模型的干预强度，一般设置为 r 的两倍是一个不错的起点。另外，将LoRA应用到哪些层（通常建议 query , value 投影层）也需要根据任务调整。

2.3 提示词微调与指令微调：数据为王的艺术

无论采用哪种参数更新方法，微调的本质都是“用数据教模型”。因此，数据的准备和质量，直接决定了微调的成败。这里主要涉及两种数据范式：

指令微调 ：这是让模型学会遵循人类指令的关键步骤。数据格式通常是 {“instruction”: “...”, “input”: “...”, “output”: “...”} 。例如： 

{
  "instruction": "将以下中文翻译成英文。",
  "input": "今天天气真好。",
  "output": "The weather is really nice today."
}

指令微调的目标是让模型理解“当人类提出某种要求时，我应该以何种格式和内容来回应”。目前大多数优秀的开源聊天模型（如Qwen、Llama的Chat版本），都已经过大规模的指令微调。

提示词微调 ：当你已经有了一个指令遵循能力不错的模型，但希望它在某个更具体的任务上表现更好时，就需要提示词微调。这时，你的数据更贴近真实使用场景。例如，对于一个代码补全模型： 

{
  "instruction": "补全以下Python函数，实现快速排序。",
  "input": "def quicksort(arr):",
  "output": "    if len(arr) <= 1:\n        return arr\n    pivot = arr[len(arr) // 2]\n    left = [x for x in arr if x < pivot]\n    middle = [x for x in arr if x == pivot]\n    right = [x for x in arr if x > pivot]\n    return quicksort(left) + middle + quicksort(right)"
}

数据准备的核心原则 ：

  1. 高质量 ：输出必须是准确、无误的。垃圾数据进，垃圾模型出。
  2. 多样性 ：指令和输入要覆盖任务可能的各种表述和场景。
  3. 一致性 ：相同语义的指令，应期望得到相同格式的输出。
  4. 适量 ：对于LoRA微调，通常几百到几千条高质量数据就能有显著提升。盲目堆砌数万条低质数据不如千条精华。

3. 实战工具链：从框架选择到训练启动

理论清楚了，我们进入实战环节。工欲善其事，必先利其器。选择一套顺手的工具，能让你事半功倍。

3.1 主流微调框架横评

目前社区最活跃、最易用的两个微调框架是 LLaMA-Factory 和 Axolotl 。此外，Hugging Face的 TRL 库结合 peft 也是强大的底层选择。

1. LLaMA-Factory：一站式图形化与脚本的完美结合 这是一个国产的优秀项目，它的设计理念非常贴合工程师和研究员的需求。

  • 核心优势 ：
    • Web UI支持 ：提供了直观的图形界面，你可以通过网页点选方式配置模型、数据、训练参数（LoRA/全量）、启动训练和推理。这对初学者和快速原型验证极其友好。
    • 脚本支持 ：同时提供了完整的命令行脚本，满足自动化流水线和深度定制的需求。
    • 开箱即用 ：集成了大量主流模型（Llama、Qwen、ChatGLM等）的配置模板，以及多种数据集格式的预处理逻辑。
    • 功能全面 ：支持全参数微调、LoRA、QLoRA，支持单卡、多卡并行，集成FlashAttention加速，甚至支持模型评估和可视化。
  • 适合人群 ：几乎所有类型的用户，尤其是希望快速上手、不想在环境配置上花费太多时间的实践者。

2. Axolotl：配置驱动，灵活透明 Axolotl 的特点是采用一个YAML配置文件来定义整个训练任务，非常清晰和可复现。

  • 核心优势 ：
    • 配置即代码 ：所有参数（模型、数据路径、训练超参、LoRA设置）在一个YAML文件中定义，版本管理方便，实验复现简单。
    • 社区活跃 ：有大量预定义的配置文件可供参考，覆盖各种模型和任务。
    • 底层控制力强 ：虽然也有简易启动方式，但它更接近底层（基于 transformers 和 deepspeed ），给高级用户更多控制空间。
  • 适合人群 ：喜欢可复现实验的研究员、需要将微调流程工程化的开发者。

3. TRL + PEFT + Transformers：原教旨主义的灵活组合 如果你希望从最底层理解每一步，或者有极其特殊的定制需求，可以直接使用Hugging Face的这套组合拳。

  • transformers ：加载模型和分词器。
  • peft ：实现LoRA等PEFT方法。
  • trl ：提供了 SFTTrainer 这个专门为监督微调优化的训练器，简化了训练循环。
  • 适合人群 ：研究者、需要深度定制训练流程的高级开发者。

实操心得 ：对于绝大多数应用开发者和入门者，我强烈推荐从 LLaMA-Factory 开始。它的Web UI能让你在10分钟内跑起第一个微调实验，直观地看到效果，建立信心。当你有更复杂的需求时，再深入研究其脚本或转向Axolotl。在本次实战演示中，我们将以LLaMA-Factory为例。

3.2 环境搭建与数据准备实战

假设我们选择LLaMA-Factory，任务是对 Qwen2.5-7B-Instruct 模型进行LoRA微调，让它更好地撰写技术博客大纲。

步骤1：环境搭建 

# 1. 克隆项目
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 2. 创建并激活虚拟环境（推荐）
conda create -n llama_factory python=3.10
conda activate llama_factory

# 3. 安装依赖（使用CUDA 11.8为例）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 如果需要GPU支持，确保torch与CUDA版本匹配
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

步骤2：准备数据集 LLaMA-Factory支持多种格式，最简单的是JSON文件。我们在 data/ 目录下创建 tech_blog_outline.json ： 

[
  {
    "instruction": "请为‘如何从零开始微调一个大语言模型’这个主题，生成一篇技术博客的详细大纲。要求包含引言、核心方法论、实战步骤、常见问题等部分，大纲需具体到二级标题。",
    "input": "",
    "output": "## 引言\n- 大模型微调的意义：从通用到专属的跨越\n- 本文目标与读者定位\n\n## 核心方法论剖析\n### 全参数微调：深度定制与资源挑战\n### 高效微调技术：LoRA的原理与优势\n### 提示词工程与指令微调\n\n## 实战：使用LLaMA-Factory微调Qwen模型\n### 环境搭建与数据准备\n### 配置详解与训练启动\n### 模型合并与推理测试\n\n## 避坑指南与常见问题\n### 数据质量是关键\n### 超参数调优心得\n### 效果评估方法\n\n## 总结与展望"
  },
  {
    "instruction": "为‘深度学习模型部署的五大优化策略’撰写博客大纲。",
    "input": "",
    "output": "## 引言：模型部署的挑战与优化价值\n\n## 策略一：模型压缩与量化\n### 知识蒸馏\n### 权重量化（INT8/FP16）\n### 剪枝\n\n## 策略二：推理引擎优化\n### TensorRT集成\n### ONNX Runtime应用\n### 自定义算子融合\n\n## 策略三：硬件适配与利用\n### GPU CUDA核心优化\n### CPU推理加速（MKL-DNN）\n### 边缘设备适配\n\n## 策略四：服务化与批处理\n### 动态批处理（Dynamic Batching）\n### 异步推理\n### 请求队列管理\n\n## 策略五：监控与自动化扩缩容\n### 性能指标监控\n### 基于负载的自动扩缩容\n\n## 总结：构建高效稳定的模型服务"
  }
  // ... 可以继续添加更多样本，建议至少准备50-100条高质量数据
]

步骤3：数据集配置 在 LLaMA-Factory/dataset_info.json 中注册我们的数据集： 

{
  "tech_blog_outline": {
    "file_name": "tech_blog_outline.json",
    "formatting": "sharegpt" // 使用指令-输入-输出的格式
  }
}

3.3 训练配置详解与启动

我们使用LLaMA-Factory的Web UI来配置。

  1. 启动Web UI ： 

    python src/webui.py

    浏览器打开 http://localhost:7860 。

  2. 模型配置 ：

    • 模型路径 ：可以选择从Hugging Face下载（如 Qwen/Qwen2.5-7B-Instruct ），或者填写本地模型路径。
    • 模型精度 ：选择 bf16 以平衡精度和速度。如果显存紧张，可以选 fp16 。

  3. 训练配置 ：

    • 训练方法 ：选择 LoRA 。
    • LoRA配置 ：
      • lora_rank (秩 r)：设置为 8 。
      • lora_alpha ：设置为 16 。
      • lora_dropout ：设置为 0.05 ，防止过拟合。
      • target_modules ：通常选择 q_proj, v_proj （即Query和Value投影层）。
    • 数据集 ：选择我们注册的 tech_blog_outline 。
    • 训练参数 ：
      • per_device_train_batch_size ：根据显存调整，7B模型在24G显存上可设为 4 或 8 。
      • gradient_accumulation_steps ：如果 batch_size 小，可以设为 4 或 8 来增大有效批次大小。
      • learning_rate ：LoRA学习率可以设大一点，如 1e-4 到 5e-4 。
      • num_train_epochs ：对于小数据集，3-5个epoch通常足够。
      • max_length ：根据你的输入输出最大长度设置，如 1024 。
      • logging_steps ：设为 10 ，方便观察训练过程。
      • save_steps ：设为 100 ，定期保存检查点。
      • warmup_steps ：设为总步数的10%，帮助稳定训练初期。

  4. 开始训练 ： 点击“开始”按钮。训练日志会在Web UI和终端同时输出。重点关注 loss 下降曲线，它应该平稳下降并逐渐趋于平缓。

常见问题1：训练Loss震荡或不下降

  • 可能原因1：学习率太大 。尝试将学习率降低一个数量级（如从5e-4降到5e-5）。
  • 可能原因2：数据质量有问题 。检查数据集中是否有错误的格式或矛盾的样本。
  • 可能原因3：批次大小太小 。尝试增大 per_device_train_batch_size 或 gradient_accumulation_steps 。
  • 排查技巧 ：先用1-2条数据跑1-2个step，看loss是否能快速下降（过拟合这几条数据），这是一个快速验证数据流和模型是否正常的好方法。

4. 模型评估、合并与部署推理

训练完成后，我们得到了一个LoRA适配器（一组 .safetensors 文件），它需要和原模型结合才能使用。

4.1 模型评估与测试

在LLaMA-Factory的“评估”或“推理”标签页，你可以加载训练好的LoRA适配器进行测试。

  • 输入 ：“请为‘云原生机器学习平台架构设计’生成博客大纲。”
  • 观察输出 ：是否结构清晰、符合要求、包含了预期的技术要点？与微调前的基础模型输出对比，是否有明显改进？

更系统的评估方法 ：

  1. 人工评估 ：准备一个包含20-30个未见过的测试指令集，让领域专家对输出进行打分（如相关性、完整性、格式正确性，1-5分）。
  2. 自动评估 ：对于文本生成任务，可以使用 ROUGE 、 BLEU 分数（与参考大纲对比），但这类指标对于大纲生成不一定完全准确。更实用的方法是使用一个强大的模型（如GPT-4）作为裁判，对输出进行评分。

4.2 模型合并与导出

为了部署方便，我们通常将LoRA权重合并到基础模型中，得到一个完整的、独立的模型文件。

在LLaMA-Factory中，可以在“模型”标签页使用“合并LoRA权重”功能。或者使用命令行： 

python src/export_model.py \
    --model_name_or_path /path/to/base_model \
    --adapter_name_or_path /path/to/lora_adapter \
    --template default \
    --finetuning_type lora \
    --export_dir /path/to/merged_model \
    --export_size 2 \ # 导出精度，2表示FP16
    --export_legacy_format false

合并后的模型就是一个标准的Hugging Face格式模型，可以用 transformers 库直接加载。

4.3 部署推理

合并后的模型可以像任何其他模型一样部署：

  • 本地API服务 ：使用 FastAPI 或 Flask 封装模型推理。
  • 集成到应用 ：直接在你的Python代码中加载使用。
  • 使用高效推理引擎 ：为了提升推理速度，可以转换为 vLLM 、 TGI 或 ONNX 格式进行部署。

一个简单的推理示例 ： 

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = "/path/to/your/merged_model"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto"  # 自动分配到GPU
)

prompt = "请为‘如何设计一个高可用的Redis集群’生成博客大纲。"
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

inputs = tokenizer(text, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=500, temperature=0.7)
response = tokenizer.decode(outputs[0][len(inputs.input_ids[0]):], skip_special_tokens=True)
print(response)

5. 微调全流程避坑指南与高阶技巧

微调是一个实验性很强的过程，这里总结一些我踩过坑后得到的经验。

5.1 数据准备的魔鬼细节

  1. 质量 > 数量 ：100条精心构造、覆盖全面的数据，远胜于1万条爬取的、噪声大的数据。在构造数据时，可以请多位领域专家交叉校验输出结果。
  2. 格式一致性 ：确保所有样本的指令、输入、输出格式严格一致。不一致的格式会让模型困惑。例如，如果你决定输出用Markdown列表，那么所有样本都应如此。
  3. 数据清洗 ：去除HTML标签、乱码、无关的特殊字符。对于从网络爬取的数据，这是一项必要但繁琐的工作。
  4. 数据增强 ：如果数据量有限，可以对现有数据进行 paraphrasing（改写），生成语义相同但表述不同的新样本。

5.2 超参数调优心法

超参数没有银弹，但有一些启发性原则：

  • 学习率 ：这是最重要的参数。对于全量微调，通常很小（5e-6到5e-5）；对于LoRA，可以大一些（1e-4到5e-4）。使用学习率预热（warmup）有助于稳定训练初期。
  • 批次大小 ：在显存允许范围内尽可能大。大的批次大小通常使训练更稳定，收敛更快。如果显存不足，就用 gradient_accumulation_steps 来模拟大批次。
  • 训练轮数 ：小数据集（<1000条）容易过拟合，3-5个epoch足够。大数据集可以训练1-2个epoch。一定要在验证集上监控性能，一旦验证集loss开始上升，就应提前停止。
  • LoRA Rank (r) ：从4、8、16开始尝试。任务越复杂，可能需要越大的r。但r=64以上通常收益递减。
  • LoRA Alpha ：控制适配器输出的缩放。通常设为r的2倍是一个好的起点。你可以将其理解为适配器学习率的另一种形式。

5.3 效果评估与迭代

不要只盯着训练loss。建立一个快速的评估流水线：

  1. 保留一个测试集 ：训练时绝对不能看到的数据。
  2. 定义评估指标 ：
    • 自动化指标 ：对于有标准答案的任务（如分类、抽取），用准确率、F1值。
    • 人工评估指标 ：对于生成任务，设计评分卡，如：
      • 相关性 ：输出是否切题？（1-5分）
      • 完整性 ：是否涵盖了所有要点？（1-5分）
      • 格式正确性 ：是否符合要求的格式？（1-5分）
  3. A/B测试 ：将微调后的模型和基础模型在线上或对内部用户进行盲测，收集真实反馈。

5.4 高阶技巧：从SFT到更复杂的微调

当你掌握了基础微调后，可以探索更高级的技术：

  • 持续预训练 ：如果你的领域有大量无标注文本（如医学文献、法律条文），可以先在领域文本上继续训练模型（只使用语言模型损失），再进行指令微调。这能大幅提升模型的领域知识。
  • 多任务微调 ：准备多种任务的数据（如摘要、翻译、分类）一起微调，可以让模型获得更通用的指令遵循能力，但需要精心平衡不同任务的数据比例。
  • 基于人类反馈的强化学习 ：这是让模型输出更符合人类偏好的终极方法。首先进行SFT，然后收集人类对模型多个输出的排序数据，训练一个奖励模型，最后用强化学习算法（如PPO）微调模型以最大化奖励。这个过程复杂但能显著提升输出质量。

微调大模型，是一个将通用智能转化为专属生产力的核心技能。它没有想象中那么神秘，但充满细节和技巧。核心在于理解“数据驱动”的本质：你的数据质量，直接定义了模型能力的上限。从一个小而精的数据集开始，选择一个像LLaMA-Factory这样易用的工具，在消费级GPU上跑通第一个LoRA微调实验，你会获得巨大的成就感。然后，再逐步深入，去探索数据构造的艺术、超参数调优的科学，以及如何将微调好的模型优雅地集成到你的产品中去。这条路，每一步都算数。

# LoRA # LLaMA-Factory
Logo
亚马逊云科技技术品牌专区

更多推荐

open-code-review Codex 插件教程：对话式调用评审技能指南

本文是一份面向新手的 **open-code-review Codex 插件教程**，教你在 Codex 中通过对话式方式调用 open-code-review 的 AI 代码评审技能。open-code-review 是阿里巴巴开源的 AI 代码评审工具，采用"确定性流水线 + LLM Agent"混合架构，内置多语言评审规则（NPE、线程安全、XSS、SQL 注入等），可在 Codex 里用一

avatar 亚马逊云科技技术品牌专区

OBS Studio 完整指南：免费开源录屏与直播软件从零上手

想做一场像模像样的直播，或者把屏幕内容录成教程视频，但一想到商用软件的订阅费就有些犹豫？其实你不需要花一分钱。OBS Studio 是一款免费开源的直播与录屏软件，支持 Windows、macOS 和 Linux，采集、混音、编码、推流、录制，一条流水线全包了。## 先搞清楚 OBS Studio 是什么OBS Studio 是一个"场景化"的采集合成工具：你把摄像头、窗口、浏览器、图片、

avatar 亚马逊云科技技术品牌专区

如何用MediaCrawler爬取小红书抖音数据？7大平台爬虫从安装到实战完整指南

MediaCrawler 是一个支持小红书、抖音、快手、B站、微博、百度贴吧、知乎的开源自媒体数据采集工具。它能按关键词、按帖子、按创作者主页三种方式抓取笔记/视频内容、评论甚至二级评论，并把结果存成 JSON、CSV、Excel 或数据库。适合做市场调研、竞品监控、内容选题的运营人员，以及想要现成爬虫框架而不想从零写 JS 逆向的开发者。## 从一次"手动抄数据"说起想象这个场景：你负责

avatar 亚马逊云科技技术品牌专区