最近在折腾LLM大模型，从选型到部署踩了不少坑，这里把经验总结成实操指南，适合刚入门的小伙伴快速避坑。

一、新手常见痛点

1. 模型选择困难：7B/13B/70B参数模型怎么选？Chat模型还是Base模型？
2. 资源焦虑：显存不足时连7B模型都跑不动
3. 部署复杂：转换模型格式、处理依赖冲突、API封装全是坑
4. 性能低下：没做优化的原生推理速度慢到怀疑人生

二、技术选型对比

• HuggingFace Transformers
• 优点：模型丰富，API统一，社区活跃

• 适合：快速实验和原型开发

• LangChain

• 优点：组件化设计，方便构建复杂应用

• 适合：需要连接外部数据源的场景

• vLLM

• 优点：推理性能优化极致
• 适合：生产环境高并发需求

三、核心实现步骤

1. 基础模型加载（Python示例）

from transformers import AutoModelForCausalLM, AutoTokenizer

# 选择适合自己显卡的模型（这里以ChatGLM3-6B为例）
model_name = "THUDM/chatglm3-6b"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",  # 自动分配GPU/CPU
    torch_dtype="auto", # 自动选择精度
    trust_remote_code=True
)

2. 性能优化技巧

模型量化（8bit示例）

from transformers import BitsAndBytesConfig

quant_config = BitsAndBytesConfig(
    load_in_8bit=True,
    bnb_4bit_compute_dtype=torch.float16
)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=quant_config,
    device_map="auto"
)

批处理优化

# 将多个请求拼接后统一推理
inputs = tokenizer(["你好", "今天天气不错"], padding=True, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=50)

四、生产环境考量

1. 内存管理：
2. 使用device_map="auto"自动卸载未使用层

3. 开启torch.backends.cuda.enable_mem_efficient_sdp(True)

4. API封装：

5. 使用FastAPI暴露HTTP接口

6. 添加请求队列防止过载

7. 并发处理：

8. 建议使用vLLM的continuous batching
9. 设置合理的max_batch_size

五、5个常见避坑指南

1. OOM错误：先尝试8bit量化，还不行就用--device_map="cpu"部分卸载
2. Token超限：设置max_new_tokens并添加长度检查
3. 中文乱码：确保tokenizer加载了正确的vocab文件
4. 依赖冲突：使用conda创建独立环境
5. 响应缓慢：开启torch.compile()模型加速

六、动手挑战

任务：微调一个客服机器人 1. 准备数据集：整理10组常见问答对 2. 使用LoRA进行轻量化微调 3. 测试"请问退货流程"等问题的回答质量

# LoRA微调代码框架
from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=8,
    target_modules=["query_key_value"],
    lora_alpha=16
)
model = get_peft_model(model, lora_config)

经过这一套流程走下来，基本就能避开新手期90%的坑了。建议先从6B/7B级别模型练手，等熟悉了再挑战更大的模型。