从零到Kaggle：用沐神方法论5步攻克房价预测挑战

为什么你需要这篇指南

第一次打开Kaggle竞赛页面时，那种扑面而来的压迫感我至今记忆犹新——密密麻麻的英文文档、五花八门的特征工程技巧、让人眼花缭乱的模型调参报告。作为《动手学深度学习》课程的忠实学习者，我发现沐神（李沐）的教学精髓恰恰能化解这种焦虑： 用工程化思维拆解复杂问题 。本文将分享如何用五个标准化步骤，在Kaggle房价预测竞赛中快速构建第一个有竞争力的解决方案。

关键提示：本文使用的技术栈完全基于PyTorch框架，适合已有Python基础但缺乏实战经验的开发者

1. 竞赛理解与数据初探

在下载任何数据之前，先花15分钟做三件事：

1. 阅读竞赛说明的Evaluation部分，明确评分标准是RMSLE（均方根对数误差）
2. 浏览Discussion区的置顶帖，通常会有官方数据说明
3. 查看现有Notebooks中得票最高的EDA（探索性数据分析）案例

对于房价预测数据集，重点关注以下特征：

• 数值型特征 ：占地面积、房间数、建造年份等
• 类别型特征 ：房屋类型、所在学区、装修等级等
• 特殊字段 ：交易日期、地理坐标等

import pandas as pd

# 快速查看数据概况
train_data = pd.read_csv('train.csv')
print(f"训练集形状: {train_data.shape}")
print(f"缺失值统计:\n{train_data.isnull().sum().sort_values(ascending=False)[:10]}")

2. 沐神式数据预处理三板斧

2.1 对数变换处理长尾分布

房价数据通常呈现右偏分布，对数变换能有效缓解这个问题：

import numpy as np

# 对价格和面积类特征进行log(1+x)变换
price_features = ['Last Sold Price', 'Tax Assessed Value']
for col in price_features:
    train_data[col] = np.log1p(train_data[col])

2.2 智能填充缺失值

比起简单用0或均值填充，沐神推荐的方法更优雅：

# 先用后向填充，再用前向填充，最后补0
all_features = all_features.fillna(method='bfill').fillna(method='ffill').fillna(0)

2.3 特征标准化与编码

from sklearn.preprocessing import StandardScaler

# 数值特征标准化
scaler = StandardScaler()
numeric_features = all_features.select_dtypes(include=['float64']).columns
all_features[numeric_features] = scaler.fit_transform(all_features[numeric_features])

# 类别特征One-Hot编码
all_features = pd.get_dummies(all_features, dummy_na=True)

3. 构建基线模型：MLP的工程实现

采用三层全连接网络作为基线，注意这三个设计要点：

1. 隐藏层维度按4:1比例递减
2. 使用ReLU激活函数避免梯度消失
3. 输出层不设激活函数（回归任务）

import torch.nn as nn

class HousePriceMLP(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(input_dim, 256),
            nn.ReLU(),
            nn.Linear(256, 64),
            nn.ReLU(),
            nn.Linear(64, 1)
        )
        
    def forward(self, X):
        return self.net(X)

4. 训练监控与可视化

强烈推荐使用Weights & Biases（W&B）工具监控训练过程：

import wandb

# 初始化W&B
wandb.init(project="kaggle-house-price")

# 在训练循环中添加日志记录
for epoch in range(epochs):
    # ...训练代码...
    wandb.log({
        "train_loss": current_loss,
        "learning_rate": optimizer.param_groups[0]['lr']
    })

典型训练过程中需要关注的三个关键指标：

1. 训练损失曲线 ：观察是否收敛
2. 验证集表现 ：防止过拟合
3. 梯度分布 ：检查是否存在爆炸/消失

5. 提交生成与技巧总结

生成符合Kaggle要求的提交文件时，注意反向转换对数价格：

# 将预测结果转换回原始尺度
test_preds = np.expm1(net(test_features).detach().numpy())

# 构建提交DataFrame
submission = pd.DataFrame({
    'Id': test_data['Id'],
    'Sold Price': test_preds.flatten()
})
submission.to_csv('submission.csv', index=False)

三个提升成绩的实用技巧：

1. 尝试将经纬度坐标转换为地区聚类特征
2. 对建造年份做分箱处理（每10年一个区间）
3. 添加房屋年龄特征（当前年份-建造年份）

常见问题排雷指南

Q：为什么我的loss出现NaN？ A：通常由梯度爆炸引起，可以尝试：

• 减小学习率（建议初始值0.001）
• 增加weight_decay参数（0.01~0.1）
• 添加梯度裁剪（torch.nn.utils.clip_grad_norm_）

Q：如何选择合理的epoch数？ A：先用小epoch（如50轮）观察loss曲线，当验证集误差连续5轮不下降时停止

Q：特征工程应该做多复杂？ A：首次提交保持简单，后续迭代中逐步添加：

1. 二阶特征组合（如面积×房间数）
2. 统计特征（同邮编区的价格中位数）
3. 时间序列特征（上次交易距今月数）