如果你最近关注AI大模型，可能会发现一个有趣的现象：当OpenAI、Google、Anthropic等巨头在闭源和商业化道路上高歌猛进时，Meta却选择了一条截然不同的路——持续、坚定地开源其Llama系列大模型。从Llama 2到Llama 3，再到最近的Llama 3.1，Meta不仅没有收紧，反而将模型做得更大、更强，并完全免费开放。

这背后绝不仅仅是“技术情怀”。当Meta CEO马克·扎克伯格亲自为Llama 3.1的发布站台点赞，并强调“开源是构建未来AI的正确方式”时，一个清晰的信号已经释放：Meta正在下一盘大棋。这盘棋的目标，远不止是打造一个优秀的模型，而是要重新定义AI基础设施的竞争规则，并试图将整个开发者生态和行业应用，拉入自己的轨道。

对于开发者、研究者和企业技术决策者而言，理解Meta的“开源战略”以及Llama系列的真实能力、部署成本和应用边界，变得至关重要。这不再是一个“又一个开源模型”的新闻，而是关乎你未来技术选型、成本结构和研发效率的实战问题。本文将深入拆解Meta Llama的“强势回归”究竟意味着什么，并提供从模型选择、本地部署到实战应用的完整指南。

1. 为什么说Llama的“回归”是战略性的？

在讨论技术细节之前，我们必须先理解Meta动作背后的逻辑。很多人将开源简单地理解为“做慈善”或“技术布道”，但对于Meta这样的公司，每一次重大开源决策都是精密的商业计算。

首先，是生态位卡位。 在GPT-4、Claude 3等闭源模型形成“性能高墙”和“API依赖”的当下，市场急需一个足够强大、可私有化部署的“基准选项”。Llama系列精准地填补了这个空白。它让无数无法承担高昂API费用、或对数据隐私有严格要求的公司（如金融、医疗、政府机构）看到了希望。Meta通过提供这个“选项”，成为了事实上的开源标准制定者。

其次，是数据与反馈的飞轮。 开源最大的好处不是名声，而是无数开发者自发进行的测试、调优、适配和场景探索。每一次社区提交的Issue、每一次在Hugging Face上的微调实验、每一个基于Llama构建的创业公司，都在为Meta反哺宝贵的实战数据和需求洞察。这比任何内部测试团队都要高效和全面。

最后，是人才与影响力的吸附。 最顶尖的AI人才往往倾向于在开放、有影响力的技术栈上工作。当一个模型成为学术界和工业界事实上的研究基准和开发基线时，它就能吸引全球最聪明的大脑为其贡献代码、论文和创意。这种软实力的积累，长期来看可能比短期商业收入更有价值。

因此，扎克伯格的“点赞”，点赞的不是模型参数本身，而是这套正在高效运转的战略机器。对于技术从业者，我们的关注点则需要更务实： Llama现在到底有多能打？我能不能用起来？用它来解决我的问题，性价比如何？

2. Llama 3.1 家族全景：从8B到405B，如何选择？

选择Llama的第一步，是搞清楚它庞大的家族谱系。Llama 3.1并非单一模型，而是一个覆盖不同场景的模型矩阵。盲目追求参数最大并不明智，关键是要匹配你的资源约束和任务需求。

2.1 模型规格与定位

根据官方发布的信息，Llama 3.1系列主要包含以下规格（注：具体参数可能随版本更新，以下为典型代表）：

模型规模 参数量 主要定位 适用场景 硬件门槛（最低推荐）
Llama 3.1 8B 80亿 边缘/入门级 本地对话、代码补全、轻量级文本生成 消费级GPU (16GB VRAM) 或高端CPU
Llama 3.1 70B 700亿 主力/平衡型 复杂推理、高质量内容创作、企业级应用 单张A100/H100 或 多张消费级GPU
Llama 3.1 405B 4050亿 尖端/研究型 前沿研究、超级复杂任务、替代闭源顶级模型 多张顶级专业GPU集群

核心判断：

  • 对于绝大多数个人开发者和中小团队，8B和70B是主战场。 8B版本在消费级硬件上已能提供令人惊讶的流畅体验，是入门和原型验证的首选。70B版本则在能力上实现了质的飞跃，是追求接近GPT-4级别性能但又必须私有化部署时的核心选择。
  • 405B是“战略武器” ，主要用于展示技术肌肉、锚定性能天花板，以及供少数有雄厚算力资源的机构进行研究。普通团队短期内无需考虑。

2.2 Instruct vs. Base：你该下载哪一个？

在Hugging Face或官方页面，你会看到两种类型的模型： Llama-3.1-8B 和 Llama-3.1-8B-Instruct 。

  • Base Model（基础模型） ：在大量文本上训练而成，拥有强大的语言理解和生成潜力，但 没有经过对话指令对齐 。如果你直接问它问题，它可能会继续以“文档”的形式写下去，而不是以“助手”的身份回答。它适用于：

    • 作为 预训练模型 ，供你在此基础上进行 全参数微调（Fine-tuning） 或 指令微调（Instruction Tuning） ，以定制专属模型。
    • 进行 文本续写、填充 等任务。

  • Instruct Model（指令模型） ：在Base Model基础上，使用了监督微调（SFT）和人类反馈强化学习（RLHF）等技术，使其能够更好地理解并遵循人类指令。它适用于：

    • 开箱即用的对话应用 。
    • 大多数RAG（检索增强生成）系统的核心LLM 。
    • 无需重新训练，直接部署 的场景。

给你的建议：除非你要从头训练一个专业模型，否则99%的情况下，请直接下载 -Instruct 版本。

3. 环境准备：从零开始部署Llama 3.1

理论清晰后，我们进入实战环节。部署一个大模型听起来复杂，但借助现代工具链，过程已经大大简化。我们以最实用的 Llama 3.1 8B Instruct 模型在 Linux/Windows WSL2 环境下的部署为例。

3.1 硬件与软件基础

  1. 硬件要求 ：
    • GPU路径（推荐） ：NVIDIA GPU，显存 >= 16GB（如RTX 4080, RTX 4090, RTX 3090）。8B模型量化后可在更小显存运行。
    • CPU路径（备用） ：强劲的CPU（如Intel i7/i9或AMD Ryzen 7/9）和至少32GB内存。速度会慢很多，但可行。
  2. 软件环境 ：
    • 操作系统 ：Ubuntu 20.04/22.04 LTS，或 Windows 10/11 下的 WSL2 (Ubuntu发行版)。
    • Python ：版本 3.9 或 3.10。
    • CUDA （如使用GPU）：版本 11.8 或 12.1，需与PyTorch版本匹配。
    • 工具链 ： git , conda 或 venv （虚拟环境管理）。

3.2 创建虚拟环境与安装依赖

使用Conda管理环境可以避免依赖冲突，是深度学习项目的标准做法。

# 1. 创建并激活一个名为 llama 的虚拟环境，指定Python版本
conda create -n llama python=3.10 -y
conda activate llama

# 2. 安装PyTorch（请根据你的CUDA版本去官网获取最新命令）
# 例如，对于CUDA 11.8
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 3. 安装模型运行和加速的核心库
pip install transformers accelerate bitsandbytes
# `transformers`: Hugging Face核心库，用于加载模型
# `accelerate`: Hugging Face的分布式加速库
# `bitsandbytes`: 实现4-bit/8-bit量化，极大降低显存占用

# 4. 安装一个高效的WebUI（可选，但强烈推荐用于测试和交互）
pip install gradio

4. 核心部署流程：两种主流方法详解

部署Llama模型，目前主流有两种路径：一是使用 Hugging Face transformers 库 进行编程式调用，灵活性强；二是使用 Ollama 这类一体化工具，简单快捷。我们分别介绍。

4.1 方法一：使用 Hugging Face Transformers（编程式，灵活）

这种方式适合将模型集成到你的Python应用程序中。

第一步：获取模型访问权限 Llama模型需要先在Hugging Face上同意许可协议。访问 https://huggingface.co/meta-llama ，用你的账号登录，找到对应的模型页面（如 meta-llama/Llama-3.1-8B-Instruct ），点击“Agree and access repository”。

第二步：使用Hugging Face CLI登录（或在代码中设置token） 

pip install huggingface-hub
huggingface-cli login

在提示中输入你的Hugging Face访问令牌（可在网站设置中创建）。

第三步：编写Python加载与推理脚本 创建一个文件，例如 run_llama.py 。

# run_llama.py
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 设置模型名称
model_id = "meta-llama/Llama-3.1-8B-Instruct"

# 1. 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 2. 加载模型
# 使用 `bitsandbytes` 进行4-bit量化，这是让大模型在消费级显卡上运行的关键！
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16, # 半精度加载，节省显存
    device_map="auto", # 自动分配模型层到可用设备（GPU/CPU）
    load_in_4bit=True, # 启用4-bit量化
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_quant_type="nf4", # 使用NF4量化类型，精度损失较小
)

# 3. 构建对话提示词（Llama 3.1 使用了新的对话模板）
def build_llama3_prompt(messages):
    """
    根据Llama 3.1的指令格式构建提示词。
    messages: 列表，每个元素是字典，包含 `role` (system, user, assistant) 和 `content`。
    """
    B_INST, E_INST = "<|start_header_id|>", "<|end_header_id|>"
    B_SYS, E_SYS = "<|begin_of_text|><|start_header_id|>system<|end_header_id|>", ""
    BOS, EOS = "<|begin_of_text|>", "<|end_of_text|>"

    if messages[0]["role"] != "system":
        messages = [{"role": "system", "content": "You are a helpful AI assistant."}] + messages

    prompt = ""
    for message in messages:
        if message["role"] == "system":
            prompt += f"{B_SYS}{message['content']}{E_SYS}"
        elif message["role"] == "user":
            prompt += f"{B_INST}user{E_INST}\n\n{message['content']}<|eot_id|>"
        elif message["role"] == "assistant":
            prompt += f"{B_INST}assistant{E_INST}\n\n{message['content']}<|eot_id|>"
    prompt += f"{B_INST}assistant{E_INST}\n\n"
    return prompt

# 4. 准备对话
conversation = [
    {"role": "user", "content": "用Python写一个快速排序函数，并加上详细注释。"}
]
prompt_text = build_llama3_prompt(conversation)

# 5. 编码并生成
inputs = tokenizer(prompt_text, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=512, # 生成的最大新token数
        temperature=0.7, # 控制随机性：越低越确定，越高越有创意
        do_sample=True,
        top_p=0.9, # 核采样参数
    )

# 6. 解码输出
# 注意：生成的输出包含了输入的提示词，我们需要截取助理的回复部分
full_output = tokenizer.decode(outputs[0], skip_special_tokens=False)
# 简单截取：找到最后一个“assistant”标签后的内容
assistant_response = full_output.split("<|start_header_id|>assistant<|end_header_id|>\n\n")[-1]
assistant_response = assistant_response.split("<|eot_id|>")[0] # 去掉结束标记
print("Assistant:", assistant_response)

关键点解析：

  • load_in_4bit=True ：这是 消费级显卡运行大模型的灵魂 。它将模型权重从原始的16位浮点数压缩为4位整数，显存占用降至约1/4，而性能损失很小。
  • device_map=“auto” ：让 accelerate 库自动决定将模型的每一层放在哪个设备上（比如GPU显存不够时，部分层会自动放到CPU内存），极大简化了部署。
  • 对话模板 ：Llama 3.1使用了新的特殊标记（如 <|start_header_id|> ），必须按照其格式构建提示词，否则模型无法正确理解对话上下文。

4.2 方法二：使用 Ollama（一键式，最简单）

如果你不想写任何代码，只想快速在本地跑起来一个对话服务，Ollama是目前最完美的选择。它相当于一个本地版的“模型商店+运行时引擎”。

第一步：安装Ollama 访问 https://ollama.com/ ，根据你的操作系统（Windows/macOS/Linux）下载并安装。

第二步：拉取并运行Llama 3.1模型 安装后，打开终端（或命令行），一行命令即可。

# 拉取并运行 Llama 3.1 8B 指令微调版
ollama run llama3.1:8b

# 如果你想运行 70B 版本（需要足够内存/显存）
# ollama run llama3.1:70b

首次运行会自动从官网下载模型。下载完成后，会直接进入交互式对话界面。

第三步：在代码中调用Ollama服务 Ollama在本地启动了一个API服务（默认端口11434），你可以像调用OpenAI API一样调用它。

# test_ollama.py
import requests
import json

def ask_ollama(prompt, model="llama3.1:8b"):
    url = "http://localhost:11434/api/generate"
    payload = {
        "model": model,
        "prompt": prompt,
        "stream": False # 设为True可以流式输出
    }
    response = requests.post(url, json=payload)
    if response.status_code == 200:
        return response.json()["response"]
    else:
        return f"Error: {response.status_code}"

# 提问
question = "解释一下量子计算的基本原理。"
answer = ask_ollama(question)
print(f"Q: {question}")
print(f"A: {answer}")

Ollama的优势在于其极致的易用性和丰富的社区模型库（ ollama list 查看）。它自动处理了模型加载、量化、上下文管理等所有复杂问题。

5. 运行验证与效果测试

部署完成后，如何验证模型是否正常工作并评估其能力？不要只问“你好”，设计一些有区分度的测试。

测试脚本示例： 

# evaluate_llama.py
def test_capabilities(model_pipeline):
    tests = [
        {
            "type": "代码生成",
            "prompt": "写一个Python函数，接收一个整数列表，返回所有偶数的平方和。"
        },
        {
            "type": "逻辑推理",
            "prompt": "如果所有猫都怕水，而我的宠物汤姆是一只猫，那么汤姆怕水吗？请一步步推理。"
        },
        {
            "type": "知识问答",
            "prompt": "简要说明Transformer架构中‘自注意力机制’的核心思想。"
        },
        {
            "type": "创意写作",
            "prompt": "以‘清晨的AI实验室’为开头，写一段100字左右的科幻微小说。"
        }
    ]

    for test in tests:
        print(f"\n=== 测试类型：{test['type']} ===")
        print(f"输入：{test['prompt']}")
        # 这里需要根据你选择的部署方式（transformers或Ollama）调用模型
        # 假设使用一个通用的 generate_text 函数
        response = generate_text(test['prompt']) 
        print(f"输出：{response}")
        print("-" * 50)

# 将上述测试用例应用到你的模型上

预期与评估：

  • 代码生成 ：应能输出语法正确、功能准确的代码，并可能有简短解释。
  • 逻辑推理 ：应能展示清晰的推理链条（“因为所有猫都怕水，汤姆是猫，所以汤姆怕水”）。
  • 知识问答 ：应能准确概括技术概念，而非泛泛而谈。
  • 创意写作 ：应能保持主题连贯，并有一定的新颖性。

如果模型能较好地完成这些任务，说明部署成功，且模型基础能力达标。

6. 常见问题与深度排查指南

在实际部署中，你几乎一定会遇到问题。以下是高频问题及解决方案。

问题现象 可能原因 排查步骤 解决方案
CUDA out of memory 显存不足。即使量化后，如果上下文长度（ max_length ）设置过长或批次过大，也会爆显存。 1. 运行 nvidia-smi 查看显存占用。
2. 检查代码中的 max_new_tokens 、 batch_size 参数。		 1. 减小 max_new_tokens 。
2. 启用更激进的量化 ：尝试 load_in_4bit=True 并搭配 bnb_4bit_compute_dtype=torch.bfloat16 。
3. 使用 CPU卸载 ：在 from_pretrained 中设置 device_map=“auto” ，并确保系统内存足够。
Could not locate zlibwapi.dll (Windows) Windows系统缺少必要的运行时库。 检查错误信息是否指向特定的dll文件。 安装 Microsoft Visual C++ Redistributable 。可以从微软官网下载最新版本安装。
模型下载极慢或失败 网络连接Hugging Face不稳定，或未正确设置访问令牌。 1. 运行 huggingface-cli login 确认登录成功。
2. 尝试使用国内镜像源。		 1. 使用镜像站 ：设置环境变量 HF_ENDPOINT=https://hf-mirror.com 。
2. 手动下载 ：从镜像站或社区下载模型文件到本地，然后从本地路径加载 ( from_pretrained(“./local/path”) )。
Ollama 启动失败 端口被占用，或安装不完整。 1. 检查11434端口： netstat -ano | findstr :11434 (Win) 或 lsof -i:11434 (Linux/Mac)。
2. 查看Ollama日志。		 1. 杀死占用进程 或更改Ollama端口 ( ollama serve --port 11435 )。
2. 重新安装Ollama ，并以管理员/root权限运行。
生成内容质量差、胡言乱语 提示词格式错误，温度参数过高，或模型文件损坏。 1. 检查是否使用了正确的 对话模板 （见4.1节）。
2. 将 temperature 调低至0.1-0.3再测试。		 1. 严格遵循官方提示词格式 。
2. 验证模型完整性 ：重新下载或检查文件哈希值。
3. 对于Ollama，尝试 ollama rm llama3.1:8b && ollama pull llama3.1:8b 。
推理速度非常慢（CPU模式） 纯CPU推理，未使用任何加速。 查看任务管理器，确认CPU占用率是否饱和。 1. 使用GPU 是根本解决方案。
2. 若只能用CPU，尝试：
- 使用 llama.cpp 项目进行高度优化的CPU推理。
- 确保已安装 intel-openmp 或 openblas 等数学库加速。

7. 最佳实践与进阶应用方向

成功运行只是第一步。要将Llama用于实际项目，还需要遵循一系列最佳实践。

7.1 提示工程（Prompt Engineering）

Llama 3.1虽然经过了指令微调，但好的提示词能极大提升输出质量。

  • 系统提示词（System Prompt） ：这是设定AI角色和行为准则的关键。不要只写“你是一个助手”。 
    # 好的系统提示词示例
system_prompt = """你是一位资深Python开发专家和教师。你的回答应准确、清晰，并优先提供可直接运行的代码示例。如果用户的问题存在歧义，你会礼貌地请求澄清。你的知识截止日期为2024年7月。"""
  • 结构化思维链（Chain-of-Thought） ：对于复杂问题，要求模型“一步步思考”。 
    用户：某商品原价200元，先涨价10%，再降价10%，最后价格是多少？
系统：请一步步计算，并给出最终答案。
  • 少样本学习（Few-Shot Learning） ：在提示词中提供一两个输入输出的例子，让模型快速掌握任务格式。 
    请将以下中文情感转换为表情符号：
输入：我非常开心。 输出：😄
输入：这真让人失望。 输出：😞
输入：我感到很惊讶。
输出：

7.2 构建RAG（检索增强生成）系统

这是当前让大模型落地企业知识库最有效的架构。核心思想是：不让模型凭空回忆，而是先从你的私有文档库中检索相关信息，再让模型基于这些信息生成答案。

简易RAG流程：

  1. 文档加载与切分 ：将PDF、Word、TXT等文档加载，并按语义切分成片段（Chunk）。
  2. 向量化与存储 ：使用嵌入模型（如 BGE 、 text-embedding-3 ）将文本片段转换为向量，存入向量数据库（如 ChromaDB , Milvus , Qdrant ）。
  3. 检索 ：将用户问题也转换为向量，在数据库中查找最相似的文本片段。
  4. 生成 ：将检索到的片段作为上下文，与用户问题一起送给Llama，让它生成最终答案。
# 一个极简的RAG示例框架
from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import TextLoader
# ... 假设已有初始化好的 llm (Llama模型)

# 1. 加载文档
loader = TextLoader("./knowledge_base.txt")
documents = loader.load()

# 2. 分割文档
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
texts = text_splitter.split_documents(documents)

# 3. 创建向量库
embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5")
vectorstore = Chroma.from_documents(texts, embeddings)

# 4. 检索
query = "我们公司的年假政策是怎样的？"
docs = vectorstore.similarity_search(query, k=3) # 检索最相关的3个片段
context = "\n\n".join([doc.page_content for doc in docs])

# 5. 构建增强提示词
prompt = f"""基于以下上下文信息，回答用户的问题。如果上下文没有提供足够信息，请直接说“根据现有信息无法回答”。
上下文：
{context}

问题：{query}
答案："""
answer = llm.invoke(prompt) # 调用Llama生成

7.3 性能优化与生产部署

  • 量化策略 ：
    • 4-bit量化（推荐） ：在几乎不损失精度的情况下，将显存需求降低至1/4。使用 bitsandbytes 库的 load_in_4bit=True 。
    • 8-bit量化 ：更快的推理速度，更少的精度损失，适合对速度要求高的场景。
    • GPTQ/AWQ ：更高级的事后量化技术，能获得更好的精度-速度权衡，需要专门的库（如 auto-gptq , autoawq ）加载。
  • 推理后端 ：
    • vLLM ：专为高吞吐量、低延迟的大模型推理设计，支持连续批处理和PagedAttention， 生产部署首选 。
    • TGI ：Hugging Face的推理服务器，功能强大，支持张量并行、权重共享。
  • 硬件选择 ：
    • 单卡 ：RTX 4090 (24GB) 是运行70B量化版的性价比之选。
    • 多卡 ：使用 accelerate 或 vLLM 的分布式推理，将模型层拆分到多个GPU上。

8. 总结：Llama带来的机会与挑战

Meta携Llama 3.1的强势回归，并不仅仅是发布了一个强大的模型，更是为整个AI应用生态投下了一枚“开源基石”。对于开发者而言，这意味着：

机会在于：

  1. 成本可控 ：摆脱了对闭源API的依赖和持续计费，尤其适合数据敏感、调用量大的场景。
  2. 深度定制 ：你可以对模型进行全参数微调，让它彻底掌握你的专业领域知识（如法律、医疗、金融）。
  3. 数据安全 ：所有数据都在本地或私有云中流转，满足了最严格的数据合规要求。
  4. 技术自主 ：避免了因服务商政策变化、服务中断带来的业务风险。

挑战在于：

  1. 工程复杂度 ：从模型部署、服务化、监控到版本更新，所有基础设施都需要自己搭建和维护，技术栈门槛不低。
  2. 性能调优 ：如何用有限的硬件资源获得最优的响应速度和并发能力，需要持续的调优。
  3. 持续进化 ：开源模型迭代快，你需要建立一套流程来评估和升级模型版本。

给你的最终建议是：

  • 从8B开始 ：如果你或你的团队是第一次接触本地大模型，用 Llama 3.1 8B 在Ollama上跑起来，感受其能力边界。
  • 用70B攻坚 ：当8B无法满足复杂任务需求时，在合适的硬件上部署70B版本，它很可能是当前开源领域“性价比”的标杆。
  • 拥抱RAG模式 ：不要试图让模型记住所有知识。将Llama作为强大的“推理大脑”，结合你内部的向量化知识库（RAG），是解决专业领域问题的最优路径。
  • 关注生态工具 ：整个开源生态（如LangChain, LlamaIndex, vLLM, Ollama）正在围绕Llama等优秀开源模型飞速发展。站在这些“巨人”的肩膀上，能让你事半功倍。

Llama的回归，标志着大模型竞争进入了“下半场”——从比拼少数几个模型的绝对性能，转向比拼谁能构建更繁荣、更易用的应用生态。作为开发者，我们不再是单纯的API调用者，而是拥有了塑造AI应用形态的更深层工具。理解它，部署它，并在此基础上构建真正有价值的产品，是当下最值得投入的技术方向之一。

Logo
亚马逊云科技技术品牌专区

更多推荐

agentmemory + Claude Code：一段可直接粘贴的完整插件安装教程

agentmemory 是一款为 AI 编码智能体打造的持久记忆层，本教程带你用一条命令 + 两条斜杠命令，把它完整装进 Claude Code：自动捕获每次工具调用、压缩成可搜索的记忆，并在下个会话开始时自动注入上下文。全程无需配置 MCP，无需手写任何 JSON，装完即用。[![agentmemory 记忆演示：会话记忆被自动捕获并语义检索](https://raw.gitcode.com

avatar 亚马逊云科技技术品牌专区

117% 提速 + 50% 显存节约：LLaMA-Factory 微调 LLM 的性能优化深度揭秘

微调 7B 模型动辄数小时，4096 序列直接 OOM，LLM 微调还在被"慢"和"爆显存"卡住脖子？最新评测显示，LLaMA-Factory 通过 Liger Kernel 实现比 FlashAttention-2 快 117% 的训练速度，显存直接砍半，14.3GB 峰值即可跑通 7B 全参 SFT。读完本文，你将掌握这套性能优化方案的原理、配置与落地步骤。[![LLaMA-Factory

avatar 亚马逊云科技技术品牌专区

Scrapling 快速上手：pip 一条命令装好，跑通你的第一次抓取

做网页采集的人都踩过同一个坑：今天写好的选择器，明天网站换个版式就全线失效；碰上带验证墙的目标站，脚本直接吃回一张"你不是机器人"的提示页。Scrapling 是一个自适应的 Python Web 抓取框架，定位是"从单条请求到大规模爬虫通吃"——它的解析器会记住你选过的元素，页面改版后还能自动找回；它的抓取器则能开箱绕过常见的反爬机制。这篇 Scrapling 安装与上手指南会带你用最短路径装好

avatar 亚马逊云科技技术品牌专区